Trafność fasadowa: czy test wygląda na trafny

Kandydat na egzaminie zawodowym dostaje test, w którym pytania jawnie dotyczą jego pracy. Czuje, że to badanie ma sens, więc odpowiada poważnie. Inny dostaje zestaw abstrakcyjnych łamigłówek i myśli: „co to ma wspólnego z czymkolwiek?”. Oba testy mogą być równie trafne pomiarowo. Różni je trafność fasadowa.

Co to jest

Trafność fasadowa, face validity, to stopień, w jakim test wygląda na trafny dla osoby, która go wypełnia. Kluczowe słowo to „wygląda”. Chodzi o wrażenie badanego, nie o to, co test rzeczywiście mierzy.

Test ma wysoką trafność fasadową, gdy respondent widzi związek między pytaniami a deklarowanym celem badania. Pytania o stres w skali stresu wyglądają sensownie. Pytania o ulubiony kolor w teście kompetencji menedżerskich: już nie, choćby były świetnymi wskaźnikami.

Dlaczego to nie jest własność psychometryczna

To najważniejsze rozróżnienie i najczęstsze nieporozumienie. Trafność fasadowa nie jest cechą pomiaru. Nie liczy się jej ze współczynnika, nie wnika się w nią z danych: to subiektywne wrażenie, zwykle laika.

Z tego wynika, że może być myląca w obie strony. Test może wyglądać bardzo przekonująco i nie mierzyć niczego sensownego: wystarczy ładnie opakować pytania w terminologię tematu. I odwrotnie: znakomite narzędzie potrafi wyglądać dziwnie, bo najlepsze wskaźniki konstruktu bywają nieoczywiste. Czasem wręcz celowo projektuje się test tak, by nie zdradzał, co mierzy, żeby utrudnić respondentowi naginanie odpowiedzi.

Dlatego trafność fasadowa nie zastępuje żadnej z prawdziwych trafności. Nie mówi nic o tym, czy pozycje pokrywają konstrukt: to robi trafność treściowa. Nie mówi, czy narzędzie zachowuje się zgodnie z teorią: to trafność teoretyczna. Wygląd i pomiar to dwie osobne sprawy.

A jednak się liczy

Skoro nie jest własnością pomiaru, można by ją zlekceważyć. Byłby to błąd, bo trafność fasadowa wpływa na warunki, w których pomiar się odbywa.

Test, który dla wypełniającego wygląda bez sensu, spotyka się z oporem. Respondent odpowiada niedbale, czasem złośliwie, czasem porzuca badanie. To psuje dane: nie dlatego, że narzędzie jest złe, tylko dlatego, że ludzie przestali traktować je poważnie. Niska trafność fasadowa obniża motywację i zaangażowanie.

Działa też na akceptację instytucjonalną. Test, który „wygląda” na związany z pracą, łatwiej obronić przed kandydatem kwestionującym rekrutację albo przed sądem. Sensowny wygląd to argument przy stole, nawet jeśli nie jest dowodem psychometrycznym.

Jak ją traktować

Rozsądnie i bez przesady. Trafność fasadowa to nie kryterium jakości pomiaru: narzędzia nie ocenia się po tym, jak wygląda. Ale to czynnik, który chroni pomiar przed sabotażem ze strony niezmotywowanych badanych.

Praktyczna reguła: najpierw zadbaj o prawdziwe trafności i rzetelność, a o sensowny wygląd zadbaj na końcu, jako o warunek brzegowy. Nie odwrotnie. Test, który tylko ładnie wygląda, jest atrapą, i to atrapą tym groźniejszą, że przekonującą.

Jeśli projektujesz badanie i ważą się dla ciebie akceptacja respondentów oraz jakość danych: napisz.