Beware of q2!
Validatie is een cruciaal aspect van elke kwantitatieve structuur-activiteitsrelatie (QSAR) modellering. Dit artikel onderzoekt een van de meest populaire validatiecriteria, de leave-one-out cross-validated R2 (LOO q2). Vaak wordt een hoge waarde van deze statistische eigenschap (q2>0.5) beschouwd als een bewijs van de hoge voorspellende waarde van het model. In dit artikel tonen we aan dat deze veronderstelling over het algemeen onjuist is. In het geval van 3D QSAR is het ontbreken van de correlatie tussen de hoge LOO q2 en de hoge voorspellende waarde van een QSAR model al eerder vastgesteld. In dit artikel gebruiken we tweedimensionale (2D) moleculaire descriptoren en de k nearest neighbors (kNN) QSAR methode voor de analyse van verschillende datasets. Voor geen van de datasets werd een correlatie gevonden tussen de waarden van q2 voor de training set en de voorspellende waarde voor de test set. De hoge waarde van LOO q2 blijkt dus de noodzakelijke, maar niet de voldoende voorwaarde te zijn om het model een hoog voorspellend vermogen te geven. Wij stellen dat dit de algemene eigenschap is van QSAR modellen ontwikkeld met behulp van LOO kruisvalidatie. Wij benadrukken dat de externe validatie de enige manier is om tot een betrouwbaar QSAR model te komen. Wij formuleren een reeks criteria voor de evaluatie van het voorspellend vermogen van QSAR modellen.