Rzetelność i trafność — dwie rzeczy, które łatwo pomylić

To są dwa najważniejsze słowa w psychometrii i dwa najczęściej mylone. W skrócie: rzetelność to powtarzalność pomiaru, trafność to jego sens. Można mieć pierwsze bez drugiego — i to jest dokładnie ta sytuacja, w której narzędzie wygląda profesjonalnie, a nie nadaje się do niczego.

Rzetelność — czy pomiar jest stabilny

Rzetelność mówi, ile w wyniku jest sygnału, a ile przypadkowego błędu. Im mniej szumu, tym bardziej ten sam człowiek dostanie ten sam wynik w tych samych warunkach.

Sprawdza się ją na kilka sposobów:

• Zgodność wewnętrzna — czy pozycje jednej skali idą razem. To domena alfy Cronbacha i omegi.
• Stabilność w czasie (test–retest) — czy wynik się utrzymuje, gdy nic istotnego się nie zmieniło.
• Zgodność sędziów — gdy wynik zależy od oceniającego, czy dwóch niezależnych ekspertów ocenia podobnie.

Każdy z tych rodzajów odpowiada na inne pytanie i każdy może wypaść inaczej. Wysoka zgodność wewnętrzna nie gwarantuje stabilności w czasie.

Trafność — czy mierzysz to, co chciałeś

Trafność to trudniejsze i ważniejsze pytanie: czy ten wynik naprawdę mówi o konstrukcie, który masz na myśli, a nie o czymś obok. Klasycznie wyróżnia się trzy spojrzenia.

Pierwszy: trafność treściowa. Czy pozycje pokrywają cały konstrukt, a nie tylko jego wygodny fragment. Skala lęku, która pyta wyłącznie o objawy z ciała, pomija lęk poznawczy — i jest treściowo wąska.

Drugi: trafność kryterialna. Czy wynik wiąże się z czymś zewnętrznym, co już znamy. Równolegle (z innym, uznanym narzędziem) albo prognostycznie (z przyszłym zachowaniem). Test rekrutacyjny, który nie przewiduje późniejszej efektywności, jest kryterialnie nietrafny — niezależnie od tego, jak ładnie wygląda.

Trzeci: trafność teoretyczna. Czy narzędzie zachowuje się tak, jak przewiduje teoria — koreluje z tym, z czym powinno, i nie koreluje z tym, z czym nie powinno. Tu zwykle wchodzi analiza czynnikowa i cała sieć powiązań z innymi zmiennymi.

Dlaczego kolejność ma znaczenie

Rzetelność jest warunkiem trafności, nie odwrotnie. Jeśli pomiar jest chwiejny, nie może wiernie oddawać żadnego konstruktu — szum zjada sygnał. Dlatego rzetelność liczy się najpierw: jest progiem wejścia.

Ale — i tu jest sedno — rzetelność bez trafności jest pusta. Można stabilnie, powtarzalnie mierzyć coś, co nie jest tym, co deklarujesz. Kwestionariusz „kompetencji przywódczych”, który w istocie mierzy pewność siebie, bywa idealnie rzetelny. I właśnie dlatego jest groźny: liczby się zgadzają, a decyzja zapada na złej podstawie.

To rozróżnienie jest praktyczne, nie akademickie. Większość narzędzi, które „działają” w organizacjach, ma przyzwoitą rzetelność i nikt nie sprawdził ich trafności. Jeśli na podstawie wyniku zapadają decyzje o ludziach, warto wiedzieć, którą z tych dwóch rzeczy faktycznie się ma. Pomogę to sprawdzić — albo zbudować narzędzie, które ma obie.