Rzetelność test-retest — czy wynik utrzymuje się w czasie

Wypełniasz ten sam kwestionariusz dziś i za trzy tygodnie. Jeśli nic istotnego się w tobie nie zmieniło, wyniki powinny być zbliżone. Jeśli się rozjeżdżają — narzędzie jest chwiejne. Rzetelność test-retest sprowadza tę intuicję do liczby.

Co to jest

Test-retest to rodzaj rzetelności, który mówi o stabilności wyniku w czasie. Mechanizm jest bezpośredni: ta sama osoba wypełnia to samo narzędzie dwukrotnie, w pewnym odstępie, a oba pomiary się koreluje.

Wysoka korelacja znaczy, że narzędzie daje powtarzalny rezultat — sygnał dominuje nad przypadkowym błędem. Niska korelacja znaczy, że albo narzędzie jest pełne szumu, albo mierzona cecha realnie się zmieniła. Rozróżnienie tych dwóch przyczyn jest sednem całej sprawy.

To inne pytanie niż zgodność wewnętrzna. Tamta mówi, czy pozycje idą razem w jednym pomiarze. Test-retest mówi, czy wynik trzyma się w dwóch pomiarach rozłożonych w czasie. Narzędzie może być świetne pod jednym względem i słabe pod drugim.

Odstęp ma znaczenie

Cały wynik zależy od tego, ile czasu minie między pomiarami. To nie szczegół techniczny, tylko decyzja, która kształtuje liczbę.

Za krótki odstęp zawyża rzetelność. Po kilku dniach respondent pamięta, jak odpowiadał, i odtwarza poprzednie odpowiedzi zamiast reagować na nowo. Korelacja wychodzi wysoka, ale częściowo z pamięci, nie ze stabilności cechy.

Za długi odstęp zaniża rzetelność. Po pół roku cecha mogła się realnie zmienić — i wtedy niska korelacja nie jest winą narzędzia, tylko odzwierciedleniem prawdziwej zmiany. Dla większości narzędzi rozsądny kompromis to od dwóch do kilku tygodni.

Dochodzi efekt wprawy. Przy testach zdolności samo rozwiązanie zadania za pierwszym razem podnosi wynik za drugim — respondent nauczył się typu zadania. To systematyczne przesunięcie, które trzeba mieć z tyłu głowy przy interpretacji.

Kiedy ma sens, a kiedy myli

Tu pada najważniejsze rozróżnienie. Test-retest pasuje do cech trwałych i myli przy stanach.

Cecha trwała — ekstrawersja, zdolność werbalna, sumienność — z definicji ma się utrzymywać w czasie. Jeśli narzędzie ją mierzy dobrze, dwa pomiary powinny być zbliżone. Tu niska korelacja to realny problem.

Stan — nastrój, poziom lęku w danej chwili, zmęczenie — z definicji się zmienia. Narzędzie mierzące chwilowy lęk powinno dać różne wyniki, gdy między pomiarami zmieniła się sytuacja. Wysoka korelacja test-retest byłaby tu wręcz podejrzana: znaczyłaby, że narzędzie nie wyłapuje zmiany, którą miało wyłapywać.

Stąd praktyczny wniosek: zanim zażądasz wysokiego test-retest, zapytaj, co narzędzie ma mierzyć. Stabilność jest zaletą tylko wtedy, gdy mierzona rzecz jest stabilna.

Co z tego wynika

Test-retest to potrzebny, ale wąsko działający wskaźnik. Nie zastępuje zgodności wewnętrznej ani trafności — odpowiada wyłącznie na pytanie o stabilność w czasie. I tę odpowiedź trzeba czytać razem z tym, czym jest mierzona cecha.

Jeśli projektujesz badanie z pomiarem powtarzanym i zastanawiasz się, jak dobrać odstęp albo zinterpretować zmianę wyniku — napisz.