Czułość, swoistość, rzetelność i trafność: jak czytać parametry testu psychologicznego

Po co czytać parametry testu psychologicznego

Czułość, swoistość, rzetelność i trafność to cztery słowa, które decydują o tym, czy wynik kwestionariusza coś znaczy. Bez nich „12 punktów w PHQ-9" jest tylko liczbą. Standards for Educational and Psychological Testing, wspólny dokument AERA, APA i NCME z 2014 roku, dziś w otwartym dostępie, formułują zasadę wyjściową: ocenia się nie test, lecz interpretacje jego wyników dla określonych zastosowań; sformułowanie „trafność testu" bez dopowiedzenia jest nieprawidłowe (AERA, APA, NCME, 2014). Ten sam PHQ-9 może być dobrze uzasadniony jako przesiew w podstawowej opiece i słabo jako narzędzie rozstrzygające o rozpoznaniu. Na nim oprzemy przykłady.

Tabela 2x2: czułość i swoistość na liczbach

Punkt wyjścia to tabela 2x2, w której wynik testu zestawia się ze standardem odniesienia, np. wywiadem diagnostycznym. Czułość to odsetek osób z zaburzeniem, u których test jest dodatni; swoistość to odsetek osób bez zaburzenia, u których test jest ujemny (Parikh i wsp., 2008). Dla PHQ-9 przy progu 10 badanie źródłowe podało czułość 88% i swoistość 88%, z ilorazem wiarygodności 7,1 (Kroenke i wsp., 2001). Metaanaliza danych indywidualnych z 58 badań (17 357 uczestników, 2312 przypadków dużej depresji) dała przy progu 10, względem wywiadów półustrukturyzowanych, czułość 0,88 (95% CI 0,83-0,92) i swoistość 0,85 (0,82-0,88) (Levis i wsp., 2019). Przełóżmy to na 1000 osób z poradni, w której 10% ma dużą depresję:

| | Depresja (100) | Bez depresji (900) | |---|---|---| | PHQ-9 ≥ 10 | 88 prawdziwie dodatnich | 135 fałszywie dodatnich | | PHQ-9 < 10 | 12 fałszywie ujemnych | 765 prawdziwie ujemnych |

Czułość: 88/100. Swoistość: 765/900. Fałszywych alarmów (135) jest więcej niż prawdziwych trafień (88), choć oba parametry wyglądają świetnie. To nie błąd testu, tylko arytmetyka.

Wartości predykcyjne i częstość występowania

Pacjenta interesuje pytanie odwrotne: „mam dodatni wynik, jakie jest prawdopodobieństwo, że naprawdę mam depresję?". Odpowiada na nie wartość predykcyjna dodatnia (PPV): prawdziwie dodatnie podzielone przez wszystkie dodatnie; wartość predykcyjna ujemna (NPV) mówi, jak pewny jest wynik ujemny. Obie zależą wprost od częstości problemu w badanej grupie: PPV rośnie, a NPV maleje wraz z częstością (Parikh i wsp., 2008). Policzmy dla PHQ-9 z parametrami 0,88 i 0,85 w trzech grupach po 1000 osób (rachunek własny, zaokrąglony):

| Częstość depresji | Dodatnie wyniki | PPV | NPV | |---|---|---|---| | 2% (losowi studenci) | 18 prawdziwych + 147 fałszywych | około 11% | około 100% | | 10% (poradnia ogólna) | 88 + 135 | około 39% | około 98% | | 40% (poradnia zdrowia psychicznego) | 352 + 90 | około 80% | około 91% |

Ten sam test, te same parametry, a dodatni wynik „znaczy" raz 11%, raz 80%. Parikh i wsp. pokazują identyczny efekt z okulistyki: przy czułości 90% i swoistości 95% PPV spada z 95% przy częstości 50% do 15% przy częstości 1% (tamże). Przesiew w grupie o niskiej częstości generuje dużo fałszywych alarmów, za to wynik ujemny jest tam bardzo wiarygodny. Jak ta arytmetyka zderza się z intuicją, opisują pułapki poznawcze diagnosty.

Punkt odcięcia i krzywa ROC

Czułość i swoistość nie są stałymi testu, tylko funkcją progu: obniżasz próg i łapiesz więcej chorych, ale więcej zdrowych dostaje wynik dodatni. Krzywa ROC wykreśla czułość względem (1 - swoistość) dla wszystkich progów, a pole pod nią (AUC) mówi, jak dobrze test rozdziela grupy: 0,5 to rzut monetą, 1,0 rozdzielenie idealne; orientacyjnie 0,7-0,8 uznaje się za akceptowalne, 0,8-0,9 za bardzo dobre, powyżej 0,9 za wybitne. Jedną z metod wyboru progu jest indeks Youdena, maksymalizujący sumę czułości i swoistości minus 1 (Hajian-Tilaki, 2013). PHQ-9 w badaniu źródłowym miał AUC 0,95 (Kroenke i wsp., 2001).

Który próg jest „właściwy"? Metaanaliza 18 badań (7180 osób) uznała progi od 8 do 11 za akceptowalne (Manea i wsp., 2012); metaanaliza danych indywidualnych wskazała 10 jako próg maksymalizujący łączną czułość i swoistość (Levis i wsp., 2019). Polska walidacja na 99 osobach zaproponowała próg powyżej 12, z czułością 82% i swoistością 89% (Kokoszka i wsp., 2016). Różnice nie oznaczają błędu: próg zależy od populacji, standardu odniesienia i tego, co bardziej kosztuje, przeoczenie czy fałszywy alarm. Standards wymagają, by uzasadnienie i procedura ustalania punktu odcięcia były jasno udokumentowane (AERA, APA, NCME, 2014). Osobną sprawą są progi nasilenia: w PHQ-9 wartości 5, 10, 15 i 20 opisują poziom objawów, nie rozstrzygają o rozpoznaniu (Kroenke i wsp., 2001).

Rzetelność: alfa Cronbacha i test-retest

Rzetelność, w Standards nazywana rzetelnością/precyzją, to spójność wyników w kolejnych realizacjach procedury testowej; im poważniejsze i trudniej odwracalne decyzje opierasz na wyniku, tym wyższej precyzji potrzebujesz (AERA, APA, NCME, 2014). Alfa Cronbacha mierzy spójność wewnętrzną, czyli na ile pozycje skali korelują ze sobą; za pożądany zakres uznaje się zwykle 0,70-0,95, a wartości bliskie górnej granicy mogą oznaczać, że pozycje się dublują. Alfa zależy od liczby pozycji, nie dowodzi jednowymiarowości skali i jest własnością wyników w konkretnej próbie, nie samego narzędzia (Tavakol i Dennick, 2011). Dla PHQ-9 alfa wyniosła 0,89 w próbie z podstawowej opieki i 0,86 w próbie ginekologiczno-położniczej, a w polskiej walidacji 0,88 (Kroenke i wsp., 2001; Kokoszka i wsp., 2016).

Rzetelność test-retest sprawdza stabilność wyniku w czasie: PHQ-9 wypełniony w poradni i powtórzony telefonicznie w ciągu 48 godzin dał korelację 0,84 przy niemal identycznych średnich (Kroenke i wsp., 2001). Dla porównania GAD-7 w dużej próbie psychiatrycznej miał alfę 0,88 (Johnson i wsp., 2019). Wysoka rzetelność jest warunkiem koniecznym, ale nie wystarczającym: test może mierzyć coś stabilnie i jednocześnie nie to, co myślisz.

Trafność: kryterialna, teoretyczna i co mówią Standards

Trafność to stopień, w jakim dowody i teoria wspierają interpretacje wyników testu dla proponowanych zastosowań. Standards traktują ją jako pojęcie jednolite: nie ma „rodzajów trafności", są rodzaje dowodów, a tradycyjne terminy, jak trafność treściowa czy predykcyjna, opisują źródła dowodów. Pięć źródeł to treść testu, procesy odpowiadania, struktura wewnętrzna, związki z innymi zmiennymi oraz konsekwencje testowania; w czwartej grupie mieszczą się dowody zbieżne i różnicowe oraz związki test-kryterium, czyli pytanie, jak dokładnie wynik przewiduje kryterium operacyjnie odrębne od testu (AERA, APA, NCME, 2014).

Na PHQ-9 widać wszystkie warstwy. Czułość i swoistość względem wywiadu diagnostycznego to dowód test-kryterium, dawniej „trafność kryterialna". Korelacje polskiej wersji z Inwentarzem Depresji Becka (rho 0,92) i Skalą Hamiltona (rho 0,87) to dowody zbieżne, dawniej „trafność teoretyczna" (Kokoszka i wsp., 2016). Analizy czynnikowe GAD-7, które po uwzględnieniu korelacji pozycji somatycznych wspierają model jednowymiarowy, to dowód ze struktury wewnętrznej (Johnson i wsp., 2019). Im ważniejsza decyzja, tym więcej warstw powinno się zgadzać.

Normy i standaryzacja

Nie każdy test interpretuje się przez punkt odcięcia. Drugi sposób to normy: porównanie wyniku z rozkładem w opisanej populacji odniesienia. Standards wymagają, by normy odnosiły się do jasno opisanych populacji, obejmujących grupy, z którymi użytkownik będzie zwykle porównywał badanych, i by użytkownicy wiedzieli, kiedy normy są mniej odpowiednie dla danej grupy (AERA, APA, NCME, 2014). Przykład: reprezentatywna próba 5031 osób z Niemiec dostarczyła dla PHQ-15 percentyli zależnych od wieku i płci, które pozwalają porównać wynik pojedynczej osoby z grupą odniesienia (Kocalevent i wsp., 2013). Wniosek praktyczny: wynik „wysoki" w tabeli norm z innego kraju i innej dekady może nie być wysoki dla osoby, którą badasz, a tłumaczenie bez własnej standaryzacji przenosi słowa, nie liczby. Jak rozmawiać o wyniku bez nadużywania etykiet, opisuje wpis o kwestionariuszach i testach przesiewowych.

Na co uważać, czytając artykuł walidacyjny

Sprawdź, czym był standard odniesienia: względem wywiadów półustrukturyzowanych czułość PHQ-9 była o 5-22 punktów procentowych wyższa niż względem wywiadów w pełni ustrukturyzowanych i o 2-15 punktów wyższa niż względem MINI, przy podobnej swoistości (Levis i wsp., 2019). Sprawdź wielkość i rodzaj próby: 99 osób to nie 17 tysięcy, a próba kliniczna to nie populacja ogólna. Sprawdź, czy próg wybrano na tej samej próbie, na której go oceniano. Nie czytaj wysokiej alfy jako dowodu, że skala mierzy jedną rzecz. Nie przenoś progu z jednej populacji do drugiej bez uzasadnienia. I pamiętaj, że żaden parametr nie zastąpi hipotez stawianych w trakcie rozmowy: test dostarcza dowodu, a dowód trzeba zważyć.

Jak przećwiczyć to w MindCase

W MindCase możesz zlecić pacjentowi AI kwestionariusz w trakcie rozmowy (m.in. PHQ-9, GAD-7, PHQ-15), a arkusz nie pokazuje sumy punktów: liczysz ją sam i decydujesz, co znaczy 11 punktów u tej konkretnej osoby. To dobry moment na ćwiczenie myślenia o PPV: zanim zlecisz test, oszacuj na podstawie wywiadu, jak prawdopodobna jest depresja u tego pacjenta, a po wyniku sprawdź, czy twoja pewność zmieniła się tak, jak sugeruje arytmetyka. Inne ćwiczenie: pacjent z wysokim wynikiem PHQ-9, u którego objawy lepiej tłumaczy coś innego niż depresja; zobacz, jak fałszywie dodatni wynik wygląda od środka.

Jeśli nie wiesz, czy dodatni przesiew wystarczy do hipotezy, zapytaj superwizora AI; po sesji raport w 6 wymiarach oceni trafność hipotezy i wypisze pominięte obszary. Żeby zacząć liczyć na własnych przypadkach, załóż konto w MindCase. Pacjenci są fikcyjni, a MindCase to narzędzie edukacyjne: to trening, nie diagnoza; rozstrzyga ocena kliniczna.

Źródła

• AERA, APA, NCME (2014). Standards for Educational and Psychological Testing (wydanie otwarte). link
• Parikh R., Mathai A., Parikh S., Chandra Sekhar G., Thomas R. (2008). Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol, 56(1), 45-50. link
• Hajian-Tilaki K. (2013). Receiver Operating Characteristic (ROC) curve analysis for medical diagnostic test evaluation. Caspian J Intern Med, 4(2), 627-635. link
• Kroenke K., Spitzer R.L., Williams J.B. (2001). The PHQ-9: validity of a brief depression severity measure. J Gen Intern Med. link
• Levis B., Benedetti A., Thombs B.D. (2019). Accuracy of Patient Health Questionnaire-9 (PHQ-9) for screening to detect major depression: individual participant data meta-analysis. BMJ, 365, l1476. link
• Manea L., Gilbody S., McMillan D. (2012). Optimal cut-off score for diagnosing depression with the Patient Health Questionnaire (PHQ-9): a meta-analysis. CMAJ. link
• Kokoszka A., Jastrzębski A., Obrębski M. (2016). Ocena psychometrycznych właściwości polskiej wersji Kwestionariusza Zdrowia Pacjenta-9 dla osób dorosłych. Psychiatria. link
• Tavakol M., Dennick R. (2011). Making sense of Cronbach's alpha. Int J Med Educ. link
• Johnson S.U., Ulvenes P.G., Øktedalen T., Hoffart A. (2019). Psychometric properties of the GAD-7 in a heterogeneous psychiatric sample. Front Psychol. link
• Kocalevent R.D., Hinz A., Brähler E. (2013). Standardization of a screening instrument (PHQ-15) for somatization syndromes in the general population. BMC Psychiatry. link