Trudność pozycji — wskaźnik, optymalna wartość i pułapki

Nazwa „trudność pozycji” jest trochę myląca. Sugeruje, że chodzi tylko o testy wiedzy — a tę samą wielkość liczy się dla pozycji kwestionariusza osobowości, gdzie żadnej „poprawnej” odpowiedzi nie ma. Pod spodem to ten sam pomysł: jak wielu badanych odpowiada w danym kierunku.

Co to właściwie jest

Wskaźnik trudności to odsetek osób, które odpowiadają na pozycję w kluczowanym kierunku. W teście wiedzy — poprawnie. W kwestionariuszu — aprobując stwierdzenie zliczane na rzecz mierzonej cechy.

Wartość mieści się między 0 a 1. Im wyższa, tym pozycja „łatwiejsza” — więcej osób odpowiada zgodnie z kluczem. Nazewnictwo bywa zwodnicze: wysoki wskaźnik to pozycja łatwa, nie trudna. Dlatego część autorów woli mówić o „wskaźniku łatwości”, żeby uniknąć odwracania intuicji.

Dlaczego skrajności są podejrzane

Pozycja, na którą wszyscy odpowiadają tak samo, niczego nie różnicuje. Jeśli każdy odpowiada poprawnie (trudność bliska 1) albo nikt (bliska 0), pozycja nie oddziela osób o wysokim nasileniu cechy od osób o niskim — a po to test istnieje. Nie wnosi informacji, choć zajmuje czas badanego.

Najwięcej dla różnicowania daje trudność w okolicach 0,50. Wtedy pozycja dzieli grupę mniej więcej na pół i niesie maksimum informacji o tym, kto jest „wyżej”, a kto „niżej”. To dlatego trudność i moc dyskryminacyjna są ze sobą splecione — pozycja zbyt łatwa lub zbyt trudna z definicji słabo różnicuje.

To nie znaczy, że wszystkie pozycje mają mieć trudność 0,50. Test złożony wyłącznie z pozycji „średnich” dobrze różnicuje w środku skali, a źle na jej krańcach. Dlatego zwykle buduje się zestaw o zróżnicowanej trudności: kilka łatwych, żeby rozróżnić osoby na dole, kilka trudnych, żeby rozdzielić te na samej górze.

Test wiedzy a kwestionariusz

W teście wiedzy trudność trzeba czytać z poprawką na zgadywanie. Przy pytaniach zamkniętych część poprawnych odpowiedzi pada przypadkiem — pozycja czteroopcyjna ma „podłogę” około 25%, nawet gdyby nikt nie znał odpowiedzi. Pozornie umiarkowana trudność może więc oznaczać, że pozycji w istocie nikt nie umie rozwiązać.

W kwestionariuszu osobowości problemu zgadywania nie ma, za to pojawia się inny: skrajna trudność często sygnalizuje stwierdzenie społecznie obciążone. Pozycja, którą aprobuje 95% badanych, bo trudno się z nią nie zgodzić, mierzy raczej normę kulturową niż indywidualne różnice. To jeden z punktów, na które patrzy się w analizie pozycji.

Trzeba też pamiętać, że trudność jest względna wobec próby. Ta sama pozycja będzie „łatwa” w grupie zaawansowanej i „trudna” w początkującej. Wskaźnik mówi tyle samo o pozycji, co o populacji, na której go policzono — dlatego norm nie przenosi się bezrefleksyjnie między grupami.

Z tego płynie praktyczna ostrożność przy adaptacji narzędzi. Test sprowadzony z innego kraju albo sprzed dekady może mieć pozycje, które w nowej grupie zrobiły się zbyt łatwe — bo zmieniła się wiedza powszechna, język albo kontekst kulturowy. Wskaźniki trudności policzone na nowo, na właściwej próbie, są pierwszym sygnałem, że adaptacja wymaga czegoś więcej niż samego tłumaczenia.

Trudność pozycji to prosty wskaźnik z nieoczywistymi konsekwencjami: decyduje o tym, gdzie na skali test naprawdę różnicuje. Jeśli budujesz narzędzie i chcesz, żeby działało równie dobrze przy niskich, jak i przy wysokich wynikach — odezwij się.