Rzetelność i trafność: dwie rzeczy, które łatwo pomylić

To są dwa najważniejsze słowa w psychometrii i dwa najczęściej mylone. W skrócie: rzetelność to powtarzalność pomiaru, trafność to jego sens. Można mieć pierwsze bez drugiego, i to jest dokładnie ta sytuacja, w której narzędzie wygląda profesjonalnie, a nie nadaje się do niczego.

Rzetelność: czy pomiar jest stabilny

Rzetelność mówi, ile w wyniku jest sygnału, a ile przypadkowego błędu. Im mniej szumu, tym bardziej ten sam człowiek dostanie ten sam wynik w tych samych warunkach.

Sprawdza się ją na kilka sposobów:

• Zgodność wewnętrzna: czy pozycje jednej skali idą razem. To domena alfy Cronbacha i omegi.
• Stabilność w czasie (test-retest): czy wynik się utrzymuje, gdy nic istotnego się nie zmieniło.
• Zgodność sędziów, gdy wynik zależy od oceniającego, czy dwóch niezależnych ekspertów ocenia podobnie.

Każdy z tych rodzajów odpowiada na inne pytanie i każdy może wypaść inaczej. Wysoka zgodność wewnętrzna nie gwarantuje stabilności w czasie.

Trafność: czy mierzysz to, co chciałeś

Trafność to trudniejsze i ważniejsze pytanie: czy ten wynik naprawdę mówi o konstrukcie, który masz na myśli, a nie o czymś obok. Klasycznie wyróżnia się trzy spojrzenia.

Pierwszy: trafność treściowa. Czy pozycje pokrywają cały konstrukt, a nie tylko jego wygodny fragment. Skala lęku, która pyta wyłącznie o objawy z ciała, pomija lęk poznawczy, i jest treściowo wąska.

Drugi: trafność kryterialna. Czy wynik wiąże się z czymś zewnętrznym, co już znamy. Równolegle (z innym, uznanym narzędziem) albo prognostycznie (z przyszłym zachowaniem). Test rekrutacyjny, który nie przewiduje późniejszej efektywności, jest kryterialnie nietrafny, niezależnie od tego, jak ładnie wygląda.

Trzeci: trafność teoretyczna. Czy narzędzie zachowuje się tak, jak przewiduje teoria: koreluje z tym, z czym powinno, i nie koreluje z tym, z czym nie powinno. Tu zwykle wchodzi analiza czynnikowa i cała sieć powiązań z innymi zmiennymi.

Dlaczego kolejność ma znaczenie

Rzetelność jest warunkiem trafności, nie odwrotnie. Jeśli pomiar jest chwiejny, nie może wiernie oddawać żadnego konstruktu: szum zjada sygnał. Dlatego rzetelność liczy się najpierw: jest progiem wejścia.

Ale, i tu jest sedno, rzetelność bez trafności jest pusta. Można stabilnie, powtarzalnie mierzyć coś, co nie jest tym, co deklarujesz. Kwestionariusz „kompetencji przywódczych”, który w istocie mierzy pewność siebie, bywa idealnie rzetelny. I właśnie dlatego jest groźny: liczby się zgadzają, a decyzja zapada na złej podstawie.

To rozróżnienie jest praktyczne, nie akademickie. Większość narzędzi, które „działają” w organizacjach, ma przyzwoitą rzetelność i nikt nie sprawdził ich trafności. Jeśli na podstawie wyniku zapadają decyzje o ludziach, warto wiedzieć, którą z tych dwóch rzeczy faktycznie się ma. Pomogę to sprawdzić, albo zbudować narzędzie, które ma obie.