Trafność treściowa — czy pozycje pokrywają cały konstrukt

Skala lęku, która pyta wyłącznie o kołatanie serca i pocenie dłoni, mierzy lęk — ale tylko jego cielesną część. Pomija lęk poznawczy: natrętne myśli, zamartwianie się, katastrofizowanie. To narzędzie nie kłamie, ono jest niekompletne. Trafność treściowa jest właśnie o tej kompletności.

Co to jest

Trafność treściowa to odmiana trafności, która pyta, czy pozycje testu pokrywają cały konstrukt, a nie tylko jego wygodny fragment. Dwa warunki muszą być spełnione: żaden istotny obszar konstruktu nie może zostać pominięty i żadna pozycja nie może wykraczać poza konstrukt.

Sednem jest reprezentatywność. Konstrukt — lęk, kompetencje przywódcze, sumienność — ma wiele aspektów. Dobra skala próbkuje je wszystkie proporcjonalnie. Słaba skupia się na tym, co łatwo zapytać, i milcząco gubi resztę.

Jak się ją ocenia

Tu psychometria robi krok w bok od statystyki. Trafności treściowej nie liczy się ze współczynnika — ocenia się ją merytorycznie. Robią to sędziowie kompetentni: eksperci znający dany obszar.

Procedura w skrócie: ekspertom przedstawia się definicję konstruktu i pulę pozycji, a oni oceniają, czy pozycje są reprezentatywne i czy nic ważnego nie umknęło. Im więcej niezależnych sędziów i im wyższa ich zgodność, tym mocniejszy dowód. To ocena treści, nie danych — dlatego wykonuje się ją zwykle na etapie budowy narzędzia, zanim w ogóle zbierze się odpowiedzi.

Z tego wynika praktyczna kolejność prac. Najpierw definiujesz konstrukt jak najpełniej. Potem generujesz pozycje pokrywające wszystkie jego obszary. Dopiero potem oddajesz je sędziom, którzy wyłapią luki i nadmiary. Pominięcie tego kroku oznacza, że dziurę w pokryciu konstruktu odkryjesz dopiero po zebraniu danych — albo wcale.

Częsty błąd — wygodny fragment

Najczęstsza pułapka to mierzenie tej części konstruktu, którą najłatwiej zoperacjonalizować. Objawy cielesne lęku łatwo opisać w pozycji. Lęk poznawczy jest trudniejszy do uchwycenia, więc bywa pomijany — nie z premedytacją, tylko z wygody.

Efekt jest podstępny. Skala działa, daje wyniki, ma przyzwoitą zgodność wewnętrzną — bo pozycje cielesne ładnie ze sobą korelują. Wszystko wygląda dobrze, a mimo to narzędzie mierzy węższy konstrukt, niż obiecuje jego nazwa. Liczby tego nie pokażą; pokaże to dopiero ekspert patrzący na treść.

Gdzie się mieści wśród innych trafności

Warto nie mylić trafności treściowej z dwoma sąsiadami. Z trafnością fasadową — tam chodzi o wrażenie laika, że test „wygląda” trafnie, a tu o merytoryczną ocenę eksperta. I z trafnością teoretyczną — tamta sprawdza, jak narzędzie zachowuje się wobec innych zmiennych, a treściowa patrzy do środka, na zawartość pozycji.

Trafność treściowa jest skromna z natury: opiera się na osądzie, nie na danych. Ale to ona pilnuje, żeby etykieta na teście opisywała całość, a nie tylko najwygodniejszy wycinek konstruktu.

Jeśli budujesz narzędzie i chcesz mieć pewność, że jego pozycje obejmują pełny zakres mierzonej cechy — odezwij się.