Moc dyskryminacyjna pozycji: czy pytanie naprawdę różnicuje

Wyobraź sobie pytanie, na które prawie wszyscy odpowiadają tak samo, i osoby z silnie nasiloną cechą, i te, u których jej praktycznie nie ma. Takie pytanie może być sensowne merytorycznie, a mimo to bezużyteczne pomiarowo. Nie pomaga rozróżnić ludzi, a po to test istnieje. To właśnie mierzy moc dyskryminacyjna.

O co tu chodzi

Moc dyskryminacyjna to zdolność pozycji do różnicowania: oddzielania osób o wysokim nasileniu cechy od osób o niskim. Dobra pozycja działa jak czuły czujnik: ci z górnego końca skali odpowiadają na nią inaczej niż ci z dolnego. Słaba: milczy, bo wszyscy odpowiadają podobnie.

To pojęcie bliskie, ale różne od trudności pozycji. Trudność mówi, ilu badanych odpowiada w danym kierunku. Dyskryminacja mówi, czy to ci „właściwi” badani. Pozycja może mieć idealną trudność i zerową moc dyskryminacyjną: odpowiada na nią połowa osób, ale losowa połowa, niezwiązana z poziomem cechy.

Jak się ją mierzy

Najpopularniejszy wskaźnik to korelacja pozycja-wynik ogólny: liczy się, jak odpowiedź na daną pozycję wiąże się z sumarycznym wynikiem skali. Wysoka korelacja znaczy, że osoby z wysokim wynikiem ogólnym faktycznie zaznaczają tę pozycję „mocniej”.

Jeden techniczny szczegół ma znaczenie: wynik ogólny liczy się z pominięciem samej ocenianej pozycji. Inaczej pozycja korelowałaby częściowo sama ze sobą i wskaźnik byłby zawyżony: tym bardziej w krótkich skalach, gdzie jedna pozycja waży dużo. Stąd nazwa „korelacja pozycja-reszta”.

W teście wiedzy bywa używany prostszy zabieg: porównanie odsetka poprawnych odpowiedzi w grupie najlepszych i najsłabszych badanych. Jeśli najlepsi rozwiązują pozycję częściej niż najsłabsi: dobrze. Jeśli różnicy nie ma albo jest odwrotna, coś jest nie tak z pytaniem albo z kluczem.

Progi i decyzje

Wartości są umowne, ale jakiś punkt odniesienia jest potrzebny. Dla korelacji pozycja-reszta często przyjmuje się: poniżej 0,20 słabo, 0,30-0,40 przyzwoicie, wyżej dobrze. To drogowskazy, nie granice prawne: sensowny próg zależy od typu narzędzia, długości skali i tego, do czego wynik posłuży.

Pozycje o ujemnej korelacji to osobny alarm. Najczęstsza przyczyna to odwrócona pozycja, której zapomniano przekodować: wtedy „odwraca” się jej kierunek i poprawia się statystyka. Jeśli przekodowanie nie pomaga, pozycja realnie mierzy coś przeciwnego do reszty skali i raczej powinna zniknąć.

Niska moc dyskryminacyjna to najczęstszy powód, dla którego pozycja wypada w analizie pozycji. Z jednym zastrzeżeniem: wskaźnik liczy się na konkretnej próbie. W grupie bardzo jednorodnej, gdzie prawie wszyscy mają podobny poziom cechy, nawet dobra pozycja będzie miała pozornie niską dyskryminację, bo nie ma kogo różnicować. To wina próby, nie pytania.

Moc dyskryminacyjna to pojedyncza liczba, która mówi najwięcej o tym, czy pozycja na coś pracuje. Warto na nią patrzeć wcześniej niż na cokolwiek innego. Jeśli sprawdzasz albo budujesz narzędzie i chcesz wiedzieć, które pozycje niosą informację, a które tylko wydłużają kwestionariusz: odezwij się.