Teoria odpowiedzi na pozycje (IRT) — co daje ponad klasykę

Teoria odpowiedzi na pozycje to inne spojrzenie na to samo pytanie, na które odpowiada klasyczna teoria testu: jak z odpowiedzi na pytania odczytać poziom ukrytej cechy. Różnica jest w poziomie szczegółu — i ten szczegół zmienia bardzo dużo.

Od sumy punktów do modelu pozycji

W klasycznym podejściu liczy się głównie wynik sumaryczny, a każda pozycja waży tyle samo. IRT (z angielskiego item response theory) schodzi na poziom pojedynczej pozycji i modeluje rzecz subtelniejszą: jaka jest zależność między poziomem cechy badanego a prawdopodobieństwem, że odpowie on na tę pozycję w określony sposób.

Innymi słowy: osoba z wysokim lękiem z większym prawdopodobieństwem potwierdzi stwierdzenie „często się zamartwiam” niż osoba spokojna. IRT opisuje tę zależność precyzyjnie, dla każdej pozycji z osobna.

Parametry pozycji

Każda pozycja dostaje własny opis liczbowy. W najbogatszych modelach są to trzy parametry.

Trudność mówi, jaki poziom cechy potrzebny jest, by potwierdzenie pozycji stało się prawdopodobne. Pozycja „łatwa” jest potwierdzana nawet przy niskim natężeniu cechy; „trudna” — dopiero przy wysokim.

Dyskryminacja mówi, jak ostro pozycja różnicuje osoby poniżej i powyżej swojego progu. Pozycja o wysokiej dyskryminacji jest jak dobry czujnik: ludzie po dwóch stronach progu odpowiadają wyraźnie różnie.

Zgadywanie (w modelach trzyparametrowych) opisuje, jakie jest prawdopodobieństwo trafienia mimo braku cechy — istotne tam, gdzie da się zgadnąć, jak w testach wiedzy z wyborem.

Krzywa charakterystyczna pozycji

Te parametry składają się na krzywą charakterystyczną pozycji — wykres, który pokazuje, jak prawdopodobieństwo określonej odpowiedzi rośnie wraz z poziomem cechy. Położenie krzywej odpowiada trudności, jej nachylenie — dyskryminacji. To jeden obrazek, który mówi o pozycji więcej niż klasyczny wskaźnik mocy dyskryminacyjnej.

Dlaczego to przewaga

Najważniejsza zaleta IRT jest mniej widoczna, a fundamentalna: przy spełnionych założeniach parametry pozycji nie zależą od próby, na której je oszacowano. W klasycznej teorii „trudność” pozycji to po prostu odsetek osób, które ją potwierdziły — zmień próbę na bardziej lub mniej obciążoną cechą, a trudność się przesunie. W IRT trudność jest właściwością pozycji, a nie próby. To pozwala porównywać wyniki uzyskane różnymi zestawami pozycji.

Testowanie adaptacyjne

Z tej własności wyrasta najbardziej praktyczne zastosowanie: testowanie adaptacyjne (CAT). Skoro pozycje i osoby leżą na wspólnej skali, algorytm może po każdej odpowiedzi dobierać kolejną pozycję najbardziej informatywną dla bieżącej oceny cechy badanego. Osoba o wysokim natężeniu cechy dostaje od razu trudniejsze pozycje, pomijając te, które niczego o niej nie powiedzą.

Efekt: krótszy test przy tej samej, a często wyższej precyzji. Tak działają nowoczesne testy egzaminacyjne i część narzędzi klinicznych.

IRT jest droższa wdrożeniowo — wymaga większych prób i bardziej zaawansowanego aparatu niż klasyka. Ale tam, gdzie liczy się precyzja pomiaru i porównywalność wyników, zwrot z tej inwestycji jest realny. Jeśli rozważasz, czy twoje narzędzie skorzysta na podejściu IRT — napisz.