Trafność zbieżna i różnicowa — z czym test koreluje

Żeby udowodnić, że test mierzy lęk, nie wystarczy pokazać, że koreluje z innym testem lęku. Trzeba też pokazać, że nie koreluje równie mocno z inteligencją, samooceną i wszystkim innym. Trafność zbieżna i różnicowa to dwie strony tej samej monety — i razem stanowią rdzeń dowodu trafności.

Dwa kierunki jednego pytania

Obie należą do trafności teoretycznej. Sprawdzają, czy narzędzie wpisuje się w sieć powiązań przewidzianą przez teorię konstruktu. Robią to z dwóch przeciwnych stron.

Trafność zbieżna to zgodność z miarami podobnego konstruktu. Jeśli twój test mierzy lęk, jego wynik powinien wyraźnie korelować z innymi, uznanymi miarami lęku — niezależnie od tego, jakim sposobem je zebrano. Wysoka zbieżność mówi: „to narzędzie mierzy coś, co inni też nazywają lękiem”.

Trafność różnicowa — nazywana też dyskryminacyjną — to brak silnego związku z konstruktami odmiennymi. Test lęku może lekko korelować z depresją, bo te stany się przenikają. Ale nie powinien korelować z inteligencją werbalną tak samo mocno jak z innym testem lęku. Różnicowanie mówi: „to narzędzie odróżnia swój konstrukt od sąsiednich”.

Czemu potrzeba obu

Sama zbieżność nie wystarcza, i to jest cała pointa. Wyobraź sobie test, który koreluje wysoko z miarą lęku — wygląda świetnie. Ale ten sam test koreluje równie wysoko z miarą depresji, ze stresem, z neurotyzmem i z ogólnym złym samopoczuciem. Wtedy nie mierzy lęku. Mierzy coś szerokiego i mglistego — ogólny dyskomfort — a etykieta „lęk” jest na wyrost.

Dopiero zestawienie: wysoka korelacja tam, gdzie powinna być, i wyraźnie niższa tam, gdzie być nie powinna, dowodzi, że narzędzie trafia w swój, a nie cudzy konstrukt. Zbieżność bez różnicowania to połowa dowodu, i to mniej istotna połowa.

Macierz wielu cech–wielu metod

Klasyczne narzędzie do badania obu naraz to macierz wielu cech–wielu metod. Pomysł: mierzysz kilka konstruktów (cech) kilkoma różnymi metodami i układasz wszystkie korelacje w jedną tabelę.

Po co ten zachód. Bo zgodność dwóch pomiarów może brać się z dwóch źródeł: ze wspólnego konstruktu albo ze wspólnej metody. Dwa kwestionariusze samoopisowe potrafią korelować po prostu dlatego, że oba są samoopisowe — wspólny styl odpowiadania, a nie wspólna cecha. Macierz pozwala te dwa źródła rozdzielić: trafność jest mocna, gdy ten sam konstrukt mierzony różnymi metodami wciąż zgadza się ze sobą, a różne konstrukty mierzone tą samą metodą jednak się rozchodzą.

To podejście jest spokrewnione z logiką analizy czynnikowej: w obu chodzi o to, by oddzielić prawdziwą strukturę konstruktów od artefaktów pomiaru.

Co z tego wynika

Trafność zbieżna i różnicowa to nie ozdobnik raportu — to najmocniejszy praktyczny test, czy etykieta na narzędziu odpowiada jego zawartości. Brak różnicowania jest częstą, cichą wadą: narzędzie mierzy coś szerszego niż obiecuje i robi to przekonująco.

Jeśli walidujesz narzędzie i chcesz dobrać miary zbieżne oraz różnicowe, które naprawdę przetestują jego trafność — odezwij się.