Krzywa ROC — jak ocenić trafność różnicującą testu

Kiedy masz test dający wynik liczbowy i chcesz nim dzielić ludzi na dwie grupy, pojawia się kłopotliwe pytanie: gdzie postawić granicę? Każdy możliwy próg daje inny kompromis między wykrywaniem a fałszywymi alarmami. Krzywa ROC bierze wszystkie te progi naraz i pokazuje je na jednym wykresie — żeby nie trzeba było zgadywać po jednym.

Co jest na osiach

Krzywa ROC zestawia dwie wielkości znane z tekstu o czułości i swoistości. Na osi pionowej jest czułość — odsetek poprawnie wykrytych przypadków. Na osi poziomej (1 − swoistość) — odsetek fałszywych alarmów wśród zdrowych.

Każdy punkt na krzywej odpowiada jednemu możliwemu punktowi odcięcia. Przesuwasz próg od najsurowszego do najłagodniejszego, a krzywa rysuje się od lewego dolnego rogu do prawego górnego. Jeden wykres zawiera więc cały zestaw kompromisów, między którymi można wybierać.

Przekątna od rogu do rogu to linia odniesienia — wynik losowy, test bez żadnej zdolności różnicowania. Im wyżej krzywa wybrzusza się ponad tę przekątną, ku lewemu górnemu rogowi, tym lepiej test oddziela jedną grupę od drugiej.

Pole pod krzywą

Żeby cały wykres sprowadzić do jednej liczby, liczy się pole pod krzywą (AUC). Ma ono ładną interpretację: to prawdopodobieństwo, że losowo wybrana osoba z problemem dostanie wyższy wynik niż losowo wybrana osoba bez problemu.

Skala jest czytelna. 0,5 to poziom losowy — test nie odróżnia grup lepiej niż rzut monetą. 1,0 to rozdzielenie doskonałe — każda osoba z problemem ma wyższy wynik niż każda zdrowa. Wartości pośrednie czyta się zdroworozsądkowo: około 0,7 to skromnie, 0,8 przyzwoicie, 0,9 dobrze. AUC jest wygodne, bo nie zależy od wyboru jednego punktu odcięcia — opisuje trafność różnicującą narzędzia jako całości.

Jedno zastrzeżenie warto trzymać z tyłu głowy: AUC podsumowuje cały zakres progów, także takich, których nikt nie użyje w praktyce. Dwa testy o tym samym AUC mogą zachowywać się różnie w obszarze, który Cię naprawdę interesuje. Dlatego sama liczba to początek rozmowy, nie jej koniec.

Skąd brać punkt odcięcia

Krzywa ROC służy też do wyboru progu. Formalnie szuka się punktu leżącego najbliżej lewego górnego rogu albo najdalej od przekątnej losowej — czyli takiego, który najlepiej godzi czułość i swoistość.

Ale geometria to nie wszystko. Najlepszy matematycznie punkt zakłada, że oba błędy kosztują tyle samo — a tak bywa rzadko. Gdy przeoczenie przypadku jest groźniejsze niż fałszywy alarm, świadomie schodzi się z progiem niżej, kupując czułość kosztem swoistości. Krzywa pokazuje, ile dokładnie taki ruch kosztuje, ale decyzję, ile warto zapłacić, podejmuje człowiek znający stawkę.

Trzeba też pamiętać, że dobre AUC nie gwarantuje, że dodatni wynik dużo znaczy u konkretnej osoby. To zależy dodatkowo od częstości problemu — temat wartości predykcyjnej.

Krzywa ROC to jeden z najczytelniejszych sposobów, by pokazać, jak dobrze test różnicuje, i racjonalnie wybrać granicę. Jeśli walidujesz narzędzie diagnostyczne albo ustalasz progi odcięcia i chcesz oprzeć to na danych, a nie na wyczuciu — odezwij się.