De Chief Data Strategist van de U.S. News and World Report-ranglijsten voor rechtenstudies, Bob Morse, gaf een paar dagen geleden een lezing over de ranglijsten voor rechtenstudies. Een van de belangrijkste onderwerpen van gesprek was de impact die GRE-scores voor toegelaten studenten hebben op de U.S. News-ranglijst. Testscores krijgen een gewicht van 12,5% in de berekening, dus er staat veel op het spel.

Ondanks het feit dat deze scores al een paar jaar meetellen in de methodologie, blijft er veel verwarring bestaan over hoe de GRE-scores zich precies verhouden tot de LSAT-scores bij het berekenen van de ranglijsten voor rechtenstudies. Veel mensen met wie we gesproken hebben, denken dat het toelaten van GRE kandidaten de ranking van hun school zal schaden. Met een groeiend aantal scholen dat de GRE accepteert, en met bijna 6% van de aanvragers van dit jaar die een aanvraag indienen zonder een LSAT score (over het algemeen gebruiken ze een GRE in plaats daarvan), wordt de kwestie van de GRE in de ranglijsten steeds relevanter.

Inputting Test Score Medians

Eerst een woord over hoe de tests worden gescoord. De LSAT wordt gescoord op een schaal van 120-180, in stappen van 1 punt. Er is ook een schrijfsectie van de LSAT, die niet wordt gescoord, maar wel aan de rechtenfaculteiten wordt verstrekt bij de aanvragen. De GRE heeft drie secties met punten: Verbal Reasoning (verbaal redeneren) en Quantitative Reasoning (kwantitatief redeneren) worden gescoord op een schaal van 130-170 en gaan omhoog of omlaag in stappen van 1 punt. Er is ook een schrijfsectie, Analytisch Schrijven, die een schaal van 0-6 heeft en in stappen van een halve punt omhoog of omlaag gaat.

Zoals veel mensen al weten, baseert U.S. News de bijdragen van de medianen aan de ranglijsten van scholen niet op de intervalschaal (120-180 LSAT, 130-170 GRE), maar eerder op het percentiel dat bij elke score hoort. Zowel ETS als LSAC publiceren scoreconversiediagrammen die de intervalscore en het overeenkomstige percentiel tonen, bv. een 162 LSAT is ongeveer het 85ste percentiel; 155 Verbal GRE is het 68ste percentiel. ETS en LSAC hebben beide kopieën van hun score conversie grafieken online beschikbaar gemaakt (LSAC zal onlangs hun grafiek hebben bijgewerkt, hoewel eventuele wijzigingen marginaal zullen zijn).

We willen ook opmerken, voor het geval iemand het nog niet weet, dat de enige gerapporteerde score de hoogste is. Dit is de reden waarom scholen meestal geen belang hechten aan kandidaat-testherhalingen (binnen redelijke grenzen).

GRE vs. LSAT Berekeningsverschillen

Hier wordt het een beetje rommelig. De manier waarop de GRE-percentielen worden berekend, verschilt van de manier waarop de LSAT-percentielen worden berekend. LSAC geeft de omzettingstabel die het percentiel equivalent toont voor elke 120-180 LSAT score (een 170 is een 97,5%, een 150 is een 44,7%, etc.). Voor de LSAT is het algemene 120-180 interval score-equivalent percentiel wat telt. In feite ziet U.S. News nooit eens de subsectie scores voor de LSAT.

Een kandidaat kan heel goed of heel slecht presteren op een onderdeel van de LSAT, maar scholen en U.S. News zullen dat nooit weten, noch zullen ze weten wat het effect is van zo’n prestatie in, laten we zeggen, Analytisch Redeneren op de totale score. Indirect zal de ranking worden beïnvloed door sub-sectie prestaties door het verhogen of verlagen van de totale score.

Dat is niet het geval bij de GRE. Alle drie de subsectiescores worden aan de scholen en aan U.S. News doorgegeven. U.S. News berekent de GRE in de ranglijst als een ongelijk gewogen samengesteld gemiddelde van de medianen van de drie onderdelen van een school: Kwantitatief redeneren (40% gewicht), Verbaal redeneren (40% gewicht), en Analytisch schrijven (20% gewicht).

Stel dat er een school was met GRE-medianen van Verbaal 160, Kwantitatief 155, en Schrijven 4,5. Deze school zou percentielen hebben van respectievelijk 86%, 56% en 81%. Dat zou een totaal van 73% “samengestelde” GRE zijn, en die 73% zou gebruikt worden om de rangschikking te berekenen. FYI, dat is ongeveer gelijk aan een 158 LSAT mediaan.

Weighting Both Tests

Deel twee van de ranking formule is het respectieve gewicht gegeven aan elke test, LSAT en GRE. U.S. News heeft geen voorkeur voor een van beide tests op dit gebied; het is gewoon evenredige vertegenwoordiging. Als een school 90 LSAT kandidaten heeft en 10 GRE kandidaten, dan zal de LSAT 90% van het gewicht krijgen, en de GRE 10%. In die zin worden de LSAT en de GRE gelijk behandeld. Het maakt U.S. News niet uit of een school voornamelijk LSAT aanvragers, GRE aanvragers, of een mix van beiden inschrijft.

Voorbeeld

Hier volgt een hypothetisch voorbeeld. Princeton Law School heeft een LSAT-mediaan van 161, met 156 ingeschreven studenten die een LSAT-score hebben. Princeton’s mediaan LSAT-percentiel is 82,7%.

Princeton heeft GRE-medianen van 163 Verbal Reasoning, 161 Quantitative Reasoning, en 4.5 Analytical Writing, met 19 matriculerende studenten die GRE-scores hebben. De GRE-mediaanpercentielen zijn dus 93% verbaal, 76% kwantitatief en 81% schrijven.

Op basis van de verschillende GRE-subscores heeft Princeton dus een samengesteld GRE-percentiel van 83,8%.

Gezien het aantal studenten dat elke test heeft afgelegd, zou aan de LSAT 89,1% totaal gewicht worden toegekend en aan de GRE 10,9% totaal gewicht.

Het totale percentiel van de testscore van Princeton, zoals berekend voor gebruik in de ranglijst van U.S. News, zou 82,8% zijn. In dit geval heeft de GRE Princeton Law geholpen om zijn totale testpercentiel te verhogen, hoewel slechts in zeer geringe mate, gezien het relatief lage percentage ingeschreven studenten met een GRE.

Natuurlijk is het net zo goed mogelijk om scenario’s te creëren waarin de GRE-medianen van een bepaalde school in feite zijn gemiddelde testscore-percentiel verlagen en zijn algemene rang schaden. Telkens wanneer de “samengestelde” GRE-percentielscore hoger is dan het percentiel dat hoort bij de LSAT-mediaan van een school, zal de GRE helpen voor de rangschikking. Als het samengestelde GRE-percentiel lager is dan het LSAT-mediaanpercentiel, zal dat de rangschikking schaden. Hoeveel het in beide richtingen zal afhangen van hoe ver het van de LSAT-mediaan is, en van hoeveel van de binnenkomende klas werd toegelaten met een GRE versus een LSAT.

Implicaties

De meest voor de hand liggende implicatie van dit alles is dat de vrees dat GRE-matriculanten onvermijdelijk de rankings van scholen zullen schaden, ongegrond is. Is het mogelijk? Absoluut. Op dezelfde manier is het mogelijk dat lage LSAT aanvragers de rankings schaden als ze de mediaan van een school verlagen. Maar het hoeft niet zo te zijn. Slimme toelatingsafdelingen kunnen de GRE gebruiken om goede kandidaten toe te laten die ook de rangorde van de school kunnen verbeteren of op andere manieren iets aan de klas kunnen toevoegen, net zoals ze de LSAT gebruiken.

Ten tweede is de verhouding tussen het aantal inschrijvers met een GRE van groot belang. Een school kan gemakkelijk kandidaten toelaten die een GRE-score hebben die ver onder de LSAT-mediaan ligt, zolang ze de verhouding tussen zulke kandidaten en LSAT-aanvragers maar heel klein houdt. Een paar procent van de studenten met GRE-scores onder het mediaan zal waarschijnlijk geen merkbare invloed hebben op de ranking. Omgekeerd, wanneer die verhouding begint te stijgen, moeten scholen heel goed opletten hoe precies de GRE-scores van de kandidaten de algemene LSAT/GRE-mediaan van de samengestelde testscores zullen beïnvloeden. Momenteel laten slechts een paar scholen genoeg GRE-kandidaten toe om een echt verschil te maken in hun test-score percentielen.

Een enigszins vervelend neveneffect van deze methodologie is dat toelatingsafdelingen nauwgezet moeten bijhouden hoe kandidaten presteren op alle drie de subsectie voor de GRE, hoe hun prestaties in elke subsectie de totale samengestelde GRE-medianen zullen beïnvloeden, en dus het totale testmediane percentiel. De meest voor de hand liggende gebieden waar dit problematisch kan zijn, zijn de scores voor Analytical Writing, waar de percentielen zeer snel dalen – het verschil van een 4,5 naar een 4 is 24 percentielpunten. Hoewel deelnemers aan de test hun uiterste best moeten doen op alle onderdelen van de test, zouden ze er goed aan doen dat onderdeel extra serieus te nemen, gezien de percentieldaling die elk half punt vertegenwoordigt. Dit betekent ook een beetje extra wiskunde voor de toelatingsambtenaren gedurende het jaar, hoewel niets bijzonder moeilijks.

De toekomst

Hoewel de LSAT dominant blijft, blijft het aantal en het percentage van de GRE-aanvragers stijgen, evenals het aantal scholen dat de GRE als een geldige test voor toelatingen accepteert. De LSAT heeft een ingebouwd voordeel in die zin dat kandidaten die beide tests in hun bestand hebben, alleen op basis van hun LSAT-score worden beoordeeld. Een verandering in het systeem om het meer te laten lijken op testen voor studenten, waarbij de ACT en SAT beide in aanmerking kunnen worden genomen en kandidaten en scholen kunnen kiezen welke ze willen rapporteren, zou het landschap aanzienlijk veranderen. In feite is het gemakkelijk om een methodologie te creëren waarbij kandidaten die de LSAT en de GRE doen, op beide scores in de ranglijsten kunnen worden opgenomen.

Als de ABA de verfijning van niet-LSAT score rapportage door scholen op hun jaarlijkse 509’s verhoogt, zou dit ook kunnen helpen push U.S. News methodologie verandering.

Toen veel rechtenfaculteiten waarschijnlijk te maken krijgen met toenemende budgettaire druk, zal er genoeg motivatie zijn om extra aanvragers te zoeken. We verwachten een aanhoudende opwaartse trend in het aantal scholen dat de GRE neemt, wat op zijn beurt kan bijdragen aan het creëren van druk op U.S. News en de ABA om hun aanpak te veranderen.

Bob Morse besprak verschillende andere gebieden die U.S. News overweegt, of open staat om te overwegen. We zullen onze gedachten daarover op een later tijdstip schrijven, met name als ze betrekking hebben op de invloed van COVID-19 op de ranglijsten.