Analiza pozycji — jak ocenić jakość pojedynczych pytań w teście

Test jest tak dobry jak jego pozycje. Można mieć elegancką teorię, ładny układ graficzny i wysoki współczynnik rzetelności, a i tak budować na pojedynczych pytaniach, z których część nie działa. Analiza pozycji to moment, w którym sprawdza się każde z osobna — zanim cała skala pójdzie w świat.

Trzy pytania o każdą pozycję

Dobra pozycja musi zdać kilka egzaminów naraz.

Pierwszy: jak jest trudna. W teście wiedzy to odsetek osób, które odpowiadają poprawnie; w kwestionariuszu — odsetek aprobaty danej odpowiedzi. Skrajności są podejrzane. Pytanie, na które wszyscy odpowiadają tak samo, nic nie wnosi do różnicowania ludzi. Więcej o tym w tekście o trudności pozycji.

Drugi: czy różnicuje. Czy osoby z wysokim wynikiem ogólnym odpowiadają na nią inaczej niż osoby z niskim. To moc dyskryminacyjna — najważniejszy pojedynczy wskaźnik jakości pozycji.

Trzeci: czy pasuje do reszty. Korelacja pozycja–wynik skali (zwykle liczona z wynikiem po usunięciu samej pozycji, żeby nie zawyżać) pokazuje, czy pytanie mierzy ten sam konstrukt co pozostałe. Niska korelacja to sygnał, że pozycja błądzi gdzie indziej.

Selekcja, czyli co zostaje

Analizę pozycji robi się po to, żeby podejmować decyzje: która pozycja zostaje, którą się przeredagowuje, a którą wyrzuca.

Kandydaci do usunięcia to zwykle pozycje o niskiej mocy dyskryminacyjnej, słabo skorelowane ze skalą, albo takie, których wyrzucenie podnosi zgodność wewnętrzną. Wiele programów statystycznych podaje wprost „alfa po usunięciu pozycji” — jeśli ta wartość rośnie, pozycja raczej psuje, niż pomaga.

Statystyka nie decyduje jednak sama. Pozycja może mieć przeciętne wskaźniki, a mimo to być potrzebna, bo pokrywa fragment konstruktu, którego nikt inny nie dotyka. Wyrzucenie jej poprawiłoby liczby i jednocześnie zawęziło to, co skala faktycznie mierzy — czyli pogorszyło trafność treściową. Dlatego selekcja to zawsze rozmowa między statystyką a teorią narzędzia, nie automat.

Gdzie to się przydaje

Klasyczne miejsce to konstrukcja nowego kwestionariusza. Zaczyna się od puli pozycji wyraźnie szerszej, niż ma liczyć gotowa skala — często dwa, trzy razy większej. Pierwsze badanie na próbie pilotażowej, analiza pozycji, i z tej puli wybiera się te, które niosą najwięcej informacji.

Drugie miejsce to rewizja istniejącego narzędzia. Skala, która działała na jednej populacji, na innej może mieć pozycje, które przestają różnicować — bo zmienił się język, kontekst albo grupa odniesienia. Analiza pozycji wyłapuje to wcześniej, niż zrobią to skargi użytkowników.

Trzecie — skracanie. Gdy z długiego narzędzia trzeba zrobić krótszą wersję przesiewową, analiza pozycji wskazuje, które pytania niosą najwięcej, a które można poświęcić bez większej straty informacji.

Analiza pozycji to żmudny, mało efektowny etap, na którym rozstrzyga się jakość całego narzędzia. Robi się ją raz, na początku, i decyduje ona o wszystkim, co badani wypełnią później. Jeśli budujesz lub porządkujesz kwestionariusz i chcesz, żeby każda pozycja na coś pracowała — odezwij się.