Beware of q2!
Walidacja jest kluczowym aspektem każdego ilościowego modelowania zależności struktura-aktywność (QSAR). W niniejszej pracy przeanalizowano jedno z najbardziej popularnych kryteriów walidacji, leave-one-out cross-validated R2 (LOO q2). Często wysoka wartość tej cechy statystycznej (q2>0.5) jest uznawana za dowód wysokiej zdolności predykcyjnej modelu. W niniejszej pracy pokazujemy, że założenie to jest na ogół błędne. W przypadku 3D QSAR, brak korelacji pomiędzy wysokim LOO q2 a wysoką zdolnością predykcyjną modelu QSAR został stwierdzony już wcześniej. W niniejszej pracy wykorzystano dwuwymiarowe (2D) deskryptory molekularne oraz metodę k najbliższych sąsiadów (kNN) QSAR do analizy kilku zbiorów danych. Dla żadnego z badanych zbiorów danych nie stwierdzono korelacji pomiędzy wartościami q2 dla zbioru treningowego a zdolnością predykcyjną dla zbioru testowego. Tak więc, wysoka wartość LOO q2 wydaje się być warunkiem koniecznym, ale nie wystarczającym, aby model miał wysoką moc predykcyjną. Twierdzimy, że jest to ogólna właściwość modeli QSAR opracowanych przy użyciu walidacji krzyżowej LOO. Podkreślamy, że walidacja zewnętrzna jest jedynym sposobem na stworzenie wiarygodnego modelu QSAR. Sformułowaliśmy zestaw kryteriów oceny zdolności predykcyjnej modeli QSAR.