Regresja do średniej — pułapka przy ocenie zmiany i skuteczności

Regresja do średniej to jeden z tych mechanizmów, które wyglądają na magię, dopóki się ich nie zrozumie, a potem widać je wszędzie. Stoi za niezliczonymi błędnymi wnioskami o tym, że „coś zadziałało” — w terapii, w szkoleniach, w medycynie, w zarządzaniu. I prawie zawsze pozostaje niezauważone.

Co to jest

Regresja do średniej to zjawisko statystyczne: jeśli pomiar dał wynik skrajny, kolejny pomiar tej samej osoby zwykle wypada bliżej średniej — nawet jeśli nic się naprawdę nie zmieniło.

Skąd to się bierze? Każdy wynik testu to dwie rzeczy złożone razem: rzeczywisty poziom cechy plus przypadkowy składnik błędu pomiaru. Żeby uzyskać wynik wyjątkowo wysoki, zwykle musi się złożyć jedno z drugim — wysoka cecha i przychylny przypadek (dobry dzień, łatwa wersja, szczęśliwe zgadnięcie). Ten przypadkowy składnik z definicji się nie powtarza. Przy drugim pomiarze cecha zostaje, ale szczęśliwy przypadek znika — i wynik osuwa się ku średniej. To samo działa w dół: bardzo niski wynik częściowo zawdzięcza pechowi, który przy powtórzeniu nie wraca.

Im mniej rzetelny pomiar, tym silniejsza regresja — bo tym większy udział błędu w wyniku. To bezpośrednia konsekwencja tego, co opisuje rzetelność: pomiar idealnie rzetelny nie miałby składnika losowego i nie regresowałby wcale.

Dlaczego to pułapka

Tu zaczyna się prawdziwy problem, bo regresja do średniej idealnie podszywa się pod skuteczność.

Pomyśl, kto trafia do interwencji — terapii, programu naprawczego, szkolenia wyrównawczego. Niemal zawsze są to osoby z wynikami skrajnymi: najbardziej zestresowane, najgorzej radzące sobie, z najwyższym poziomem objawów. Czyli dokładnie ta grupa, której wyniki przy powtórnym pomiarze i tak przesunęłyby się ku średniej — niezależnie od jakiejkolwiek interwencji.

I oto pułapka się zatrzaskuje. Mierzymy przed, podajemy interwencję, mierzymy po. Wynik się poprawił. Wniosek nasuwa się sam: zadziałało. Tyle że część tej poprawy — czasem cała — to zwykła regresja do średniej. Przypisalibyśmy ją interwencji, gdyby nawet badani przez ten czas nie robili nic.

To samo zniekształca codzienne sądy. Skarcony po fatalnym występie wykonawca następnym razem wypada lepiej, więc kara „działa”. Pochwalony po świetnym występie następnym razem wypada gorzej, więc pochwała „rozleniwia”. W obu przypadkach to po prostu regresja — a wyciąga się z niej wnioski o tym, jak traktować ludzi.

Jak się przed nią bronić

Dobra wiadomość: są na to konkretne narzędzia.

Grupa porównawcza. To najważniejsze. Weź drugą grupę z równie skrajnymi wynikami początkowymi, która nie dostaje interwencji, i zmierz ją tak samo. Ona też podlega regresji — więc i u niej wyniki się poprawią. Realny efekt interwencji to dopiero ta poprawa, która jest ponad poprawę grupy porównawczej. Bez tego porównania nie da się oddzielić działania od regresji.

Próg rzetelnej zmiany. Zanim ogłosisz, że konkretna osoba się zmieniła, sprawdź, czy jej zmiana przekracza to, co da się wytłumaczyć samym błędem pomiaru. Służy do tego rzetelna zmiana wyniku — wskaźnik mówiący, jak duża musi być różnica, by potraktować ją jako realną, a nie jako szum. Zmiana mniejsza niż ten próg może być w całości regresją.

Świadomość przy doborze. Gdy selekcjonujesz po skrajnym wyniku, z góry zakładaj, że część późniejszej poprawy będzie regresją — i nie zapisuj jej na konto interwencji bez grupy porównawczej. To też uczciwsza ocena tego, jak duży jest efekt, który naprawdę wytworzyłeś.

Regresja do średniej nie jest dziwactwem statystyki — to nieunikniony skutek tego, że pomiar zawiera błąd, a do działania wybieramy skrajnych. Oceniasz skuteczność interwencji albo zmianę wyniku w czasie i chcesz mieć pewność, że mierzysz realny efekt, a nie powrót do średniej? Napisz — pomogę zaprojektować ocenę, której regresja nie oszuka.