Beware of q2!
Validierung ist ein entscheidender Aspekt jeder quantitativen Struktur-Wirkungs-Beziehung (QSAR) Modellierung. In diesem Beitrag wird eines der beliebtesten Validierungskriterien, das kreuzvalidierte Leave-One-Out-R2 (LOO q2), untersucht. Häufig wird ein hoher Wert dieses statistischen Merkmals (q2>0,5) als Beweis für die hohe Vorhersagefähigkeit des Modells angesehen. In dieser Arbeit zeigen wir, dass diese Annahme im Allgemeinen falsch ist. Im Falle von 3D-QSAR wurde die fehlende Korrelation zwischen dem hohen LOO q2 und der hohen Vorhersagefähigkeit eines QSAR-Modells bereits festgestellt. In dieser Arbeit verwenden wir zweidimensionale (2D) molekulare Deskriptoren und die QSAR-Methode der k nächsten Nachbarn (kNN) für die Analyse mehrerer Datensätze. Für keinen der Datensätze wurde eine Korrelation zwischen den Werten von q2 für den Trainingssatz und der Vorhersagefähigkeit für den Testsatz gefunden. Der hohe Wert von LOO q2 scheint also die notwendige, aber nicht die hinreichende Bedingung für eine hohe Vorhersagekraft des Modells zu sein. Wir argumentieren, dass dies die allgemeine Eigenschaft von QSAR-Modellen ist, die mit LOO-Kreuzvalidierung entwickelt wurden. Wir betonen, dass die externe Validierung die einzige Möglichkeit ist, ein zuverlässiges QSAR-Modell zu erstellen. Wir formulieren eine Reihe von Kriterien für die Bewertung der Vorhersagefähigkeit von QSAR-Modellen.