Testy adaptacyjne — jak działa testowanie dopasowane do badanego

Klasyczny test zadaje każdemu te same pytania w tej samej kolejności. To proste, ale rozrzutne: osoba bardzo zdolna nudzi się przy pytaniach trywialnych, osoba słabsza brnie przez zadania, na które i tak nie odpowie. Test adaptacyjny rozwiązuje ten problem inaczej — dopasowuje się do badanego w trakcie badania.

Co to jest

Komputerowe testowanie adaptacyjne (CAT, computerized adaptive testing) to sposób przeprowadzania testu, w którym kolejne pozycje dobiera się na bieżąco do szacowanego poziomu cechy badanego. Test prowadzi z osobą badaną coś w rodzaju rozmowy: zadaje pytanie, czyta odpowiedź, aktualizuje swoje wyobrażenie o tym, gdzie ta osoba jest, i z tego wyobrażenia wybiera kolejne pytanie.

Punktem odniesienia nie jest tu surowa liczba poprawnych odpowiedzi, lecz oszacowanie ukrytej cechy — poziomu umiejętności, nasilenia objawu, natężenia postawy. Po każdej pozycji to oszacowanie staje się odrobinę dokładniejsze.

Skąd test wie, co podać dalej

Adaptacja nie byłaby możliwa bez teorii odpowiedzi na pozycje (IRT). To ona daje każdej pozycji opis niezależny od konkretnej grupy: jak trudna jest, jak dobrze różnicuje, przy jakim poziomie cechy niesie najwięcej informacji.

Mechanizm wygląda tak. Po odpowiedzi test wylicza bieżące oszacowanie cechy. Następnie z całej puli wybiera tę pozycję, która przy tym oszacowaniu jest najbardziej informatywna — czyli najlepiej zawęzi obszar niepewności. Komu idzie dobrze, dostaje pytania trudniejsze. Komu idzie gorzej — łatwiejsze. Pomiar cały czas trzyma się tam, gdzie najwięcej się dowiaduje.

Dlaczego krótszy i dokładniejszy

To nie sprzeczność, tylko ten sam mechanizm widziany z dwóch stron.

Krótszy, bo test nie marnuje pozycji. Pytanie zupełnie za łatwe albo za trudne dla danej osoby niesie znikomo mało informacji — jej odpowiedź jest z góry przewidywalna. Klasyczny test zadaje takich pytań mnóstwo, bo wszystkim daje to samo. Adaptacyjny je pomija i zatrzymuje się, gdy oszacowanie osiąga założoną dokładność.

Dokładniejszy, bo przy tej samej liczbie pytań koncentruje je tam, gdzie pracują najmocniej. Zamiast rozłożyć pomiar równo na całej skali, zagęszcza go wokół poziomu badanego. Efekt: mniejszy błąd pomiaru przy mniejszym wysiłku — czyli lepsza rzetelność za niższą cenę.

Czego adaptacja wymaga

Za tę elegancję trzeba zapłacić z góry. Test adaptacyjny działa tylko wtedy, gdy stoi za nim starannie skalibrowana pula pozycji — duża, z parametrami IRT wyznaczonymi na odpowiednio licznej próbie. Bez tego algorytm nie ma z czego wybierać; dobiera pytania na podstawie błędnych parametrów i cała przewaga znika.

Dochodzą sprawy praktyczne: kontrola, czy pula nie przeciąga zbyt często tych samych „dobrych” pozycji, dbałość o pokrycie treści, reguła zatrzymania. To inwestycja konstrukcyjna, nie przełącznik, który się włącza nad gotowym kwestionariuszem.

Adaptacyjność to jedna z najmocniejszych rzeczy, jakie współczesna psychometria potrafi dać pomiarowi — ale tylko wtedy, gdy fundament w postaci dobrze opisanej puli pozycji jest solidny. Rozważasz CAT dla swojego narzędzia i chcesz wiedzieć, czy twoja pula jest na to gotowa? Odezwij się — ocenię to z tobą rzetelnie.