Wielkość efektu — dlaczego liczy się bardziej niż sama istotność

W wielu raportach badawczych najważniejsza liczba jest tą, której brakuje. Jest p-wartość, jest gwiazdka przy wyniku, jest słowo „istotny”. Nie ma odpowiedzi na pytanie, które naprawdę interesuje czytelnika: a jak duży jest ten efekt? Na to odpowiada wielkość efektu.

Co to jest

Wielkość efektu to miara siły zależności lub różnicy, niezależna od wielkości próby. Dwie sprawy są tu kluczowe. Po pierwsze, mówi o sile, nie o samym istnieniu efektu. Po drugie, nie rośnie tylko dlatego, że zebrano więcej danych — opisuje rzecz w świecie, a nie pewność, z jaką ją widzimy.

Najczęściej spotyka się trzy rodziny miar:

• d Cohena — różnica między dwiema średnimi wyrażona w jednostkach odchylenia standardowego.
• eta-kwadrat — udział wariancji wyniku wyjaśniony przez badany czynnik.
• współczynnik r — siła związku między dwiema zmiennymi, znana też z korelacji.

Jak je czytać

Dla d Cohena krążą poglądowe progi: 0,2 to efekt mały, 0,5 umiarkowany, 0,8 duży. Wartość mówi, o ile odchyleń standardowych różnią się grupy — d = 0,8 oznacza różnicę o cztery piąte odchylenia, czyli zauważalną gołym okiem.

Dla eta-kwadrat liczba to ułamek wyjaśnionej wariancji: 0,06 znaczy, że badany czynnik tłumaczy 6% zróżnicowania wyniku. Reszta leży gdzie indziej.

Dla r zakres biegnie od -1 do 1, a kwadrat tej wartości znów daje udział wspólnej wariancji.

Jedno zastrzeżenie do wszystkich tych progów: są orientacyjne. Efekt d = 0,3 może być znikomy w jednym kontekście i ważny w innym — sens nadaje mu dopiero dziedzina i stawka decyzji, nie tabelka.

Dlaczego ważniejsza od samej istotności

Tu jest sedno, i ma jedną przyczynę: istotność statystyczna zależy od wielkości próby. Przy bardzo licznej próbie nawet mikroskopijna różnica przekroczy próg istotności i dostanie gwiazdkę. P-wartość powie wtedy „efekt jest”, a nie powie „efekt jest tak mały, że nikogo nie obchodzi”.

Wielkość efektu domyka tę lukę. Rozdziela dwa pytania, które istotność skleja w jedno: czy efekt da się odróżnić od zera (na to odpowiada p) i czy jest na tyle duży, by miał znaczenie (na to odpowiada wielkość efektu). Pełny obraz wymaga obu liczb. Sama istotność bez wielkości efektu to połowa zdania.

Działa to też w drugą stronę. Badanie na małej próbie może dać efekt spory, ale „nieistotny” — bo danych było za mało, by go pewnie odróżnić od szumu. Wielkość efektu ujawnia wtedy, że coś tam jednak jest i warto sprawdzić to porządniej, zamiast pochować wynik jako „nic ciekawego”.

Po co to w praktyce

Wielkość efektu jest walutą, w której mierzy się rzeczy naprawdę istotne dla praktyki. Czy interwencja zmieniła coś na tyle, by warto ją wdrażać. Czy predyktor wnosi dość, by go uwzględniać. Czy różnica między grupami jest praktyczna, czy tylko dostrzegalna. To także podstawa rozsądnego planowania badania — analiza mocy, która mówi, ilu badanych potrzeba, startuje właśnie od zakładanej wielkości efektu.

Jeśli interpretujesz wyniki badania albo projektujesz analizę i chcesz, żeby raport mówił nie tylko „efekt jest”, lecz „efekt jest taki duży” — daj znać, pomogę dobrać i opisać właściwe miary.