Bob Morse, chefsstrateg för datastrategin för rankningen av juristutbildningar i U.S. News and World Report, höll ett föredrag för några dagar sedan om rankningen av juristutbildningar. Ett av de viktigaste samtalsämnena var den inverkan som GRE-resultaten för antagna studenter har på U.S. News rankning. Testresultaten tilldelas en vikt på 12,5 % i beräkningen, så det är mycket poäng som står på spel.

Trots att det har gått några år sedan dessa poäng införlivades i metodiken finns det fortfarande en hel del förvirring om hur exakt GRE-poängen står sig i förhållande till LSAT-poängen vid beräkningen av rankningen av juristutbildningar. Många som vi har talat med tror att det kommer att skada deras skolas ranking om de tar emot GRE-sökande. Med ett växande antal skolor som accepterar GRE, och med nästan 6 % av årets sökande till juristutbildningar som hittills ansöker utan LSAT-poäng (i allmänhet använder de GRE i stället), blir frågan om GRE i rankingen alltmer relevant.

Inputting Test Score Medians

Först ett ord om hur testerna poängsätts. LSAT poängsätts på en skala 120-180, som rör sig i steg om 1 poäng. Det finns också en LSAT Writing-sektion, som inte poängsätts, även om den lämnas till juristutbildningarna i samband med ansökningarna. GRE har tre poängsatta delar: Verbal Reasoning och Quantitative Reasoning poängsätts på en skala på 130-170 och flyttas upp eller ner i steg om 1 poäng. Det finns också en skrivsektion, Analytical Writing, som är poängsatt på en skala från 0 till 6 och flyttas i steg om en halv poäng.

Som många redan vet baserar U.S. News inte medianernas bidrag till skolornas rankning på intervallskalan (120-180 LSAT, 130-170 GRE) utan snarare på den percentil som är kopplad till varje poäng. Både ETS och LSAC publicerar omvandlingstabeller som visar intervallpoängen och motsvarande percentil, t.ex. 162 LSAT är ungefär 85:e percentilen, 155 Verbal GRE är 68:e percentilen. ETS och LSAC har båda gjort kopior av sina omvandlingstabeller tillgängliga på nätet (LSAC har nyligen uppdaterat sin tabell, men eventuella ändringar är marginella).

Vi vill också notera, om någon inte redan vet det, att den enda rapporterade poängen är den högsta. Detta är anledningen till att skolorna vanligtvis inte bryr sig om omtagningar av kandidaternas test (inom rimliga gränser).

Underskotten i beräkningen av GRE och LSAT

Det är här som det blir lite rörigt. Hur de övergripande GRE-percentilerna beräknas skiljer sig från hur LSAT-percentilerna beräknas. LSAC tillhandahåller ett konverteringsschema som visar percentilekvivalenten för varje LSAT-poäng på 120-180 (170 är 97,5 %, 150 är 44,7 % osv.). För LSAT är det den totala percentilen för 120-180 intervallpoäng som är viktigast. I själva verket ser U.S. News aldrig ens delbetygen för LSAT.

En sökande kan prestera mycket bra eller mycket dåligt på en sektion av LSAT, men skolor och U.S. News kommer aldrig att få veta det, och de kommer inte heller att veta vilken inverkan en sådan prestation i till exempel Analytical Reasoning har på den totala poängen. Indirekt kommer rankningen att påverkas av prestationer i delavsnitt genom att höja eller sänka den totala poängen.

Det är inte fallet med GRE. Alla tre underavdelningarna rapporteras till skolorna och till U.S. News. U.S. News beräknar GRE i rankingen som ett ojämnt vägt sammansatt medelvärde av skolans tre delavsnittsmedianer: Quantitative Reasoning (40 % vikt), Verbal Reasoning (40 % vikt) och Analytical Writing (20 % vikt).

Antag att det finns en skola med GRE-medianer på Verbal 160, Quantitative 155 och Writing 4,5. Denna skola skulle ha komponentpercentiler på 86 %, 56 % respektive 81 %. Detta skulle ge en sammanlagd ”sammansatt” GRE-poäng på 73 %, och dessa 73 % skulle användas för att beräkna rankningen. Det motsvarar ungefär 158 LSAT-medianvärden.

Viktning av båda testerna

Del två av rangordningsformeln är den respektive vikt som ges till varje test, LSAT och GRE. U.S. News favoriserar inte något av testerna på detta område; det är helt enkelt proportionell representation. Om en skola har en intagningsklass med 90 LSAT-sökande och 10 GRE-sökande får LSAT 90 % av vikten och GRE 10 %. I denna mening behandlas LSAT och GRE lika. U.S. News bryr sig inte om huruvida en skola främst tar in LSAT-sökande, GRE-sökande eller en blandning av båda.

Exempel

Här kommer ett hypotetiskt exempel. Princeton Law School har en LSAT-median på 161 och 156 inskrivna studenter har LSAT-poäng. Princetons medianpercentil för LSAT är 82,7 %.

Princeton har GRE-medianer på 163 Verbal Reasoning, 161 Quantitative Reasoning och 4,5 Analytical Writing, med 19 inskrivna studenter som har GRE-poäng. Därför är dess GRE-medianpercentiler 93 % verbala, 76 % kvantitativa och 81 % skriftliga.

Baserat på de olika GRE-underavdelningsresultaten har Princeton alltså en övergripande GRE-komposit-percentil på 83,8 %.

Med tanke på antalet studenter med varje test skulle LSAT tilldelas en övergripande vikt på 89,1 % och GRE en övergripande vikt på 10,9 %.

Princetons totala percentil för provresultat, beräknad för användning i U.S. News ranking, skulle vara 82,8 %. Här bidrog GRE till att Princeton Law höjde sitt totala testpercentilgenomsnitt, även om det bara var en mycket liten summa med tanke på den relativt låga andelen inskrivna studenter med GRE.

Det är naturligtvis lika möjligt att skapa scenarier där en viss skolas GRE-median faktiskt sänker dess genomsnittliga testpoängpercentil och skadar dess totala rankning. Varje gång den ”sammansatta” GRE-percentilpoängen är högre än den percentil som är förknippad med en skolas LSAT-median, kommer GRE att hjälpa till för rankingen. Om den sammansatta GRE-percentilen ligger under LSAT-medianpercentilen kommer det att skada rankingen. Hur mycket i båda riktningarna beror på hur långt den ligger från LSAT-medianen och på hur stor del av den inkommande klassen som antogs med GRE jämfört med LSAT.

Implikationer

Den mest uppenbara implikationen av allt detta är att rädslan för att GRE-matrikulanter oundvikligen skadar skolornas rankning är ogrundad. Är det möjligt? Absolut. På samma sätt som det är möjligt för sökande med låga LSAT-poäng att skada rankningen om de minskar skolans medianvärde. Men det behöver inte vara så. Kloka antagningsavdelningar kan använda GRE för att anta bra kandidater som också potentiellt kommer att hjälpa skolans rankning eller bidra till klassen på andra sätt, på samma sätt som de använder LSAT.

Det andra är att förhållandet mellan GRE-matriklarna spelar roll, mycket. En viss skola kan utan problem anta sökande som har GRE-poäng långt under deras totala LSAT-medianekvivalent, så länge de håller förhållandet mellan sådana antagna och LSAT-sökande mycket litet. Det är osannolikt att några få procent av studenterna med GRE-poäng som ligger under medianen har någon märkbar inverkan på rankingen. Omvänt, när detta förhållande börjar öka måste skolorna vara mycket noggranna med hur exakt GRE-kandidaternas resultat kommer att påverka den totala medianen för det sammansatta LSAT/GRE-testresultatet. För närvarande är det bara ett fåtal skolor som tar in tillräckligt många GRE-sökande för att göra en verklig skillnad i deras percentiler av testresultat.

En något irriterande bieffekt av denna metodik är att antagningsavdelningarna måste hålla noggrann koll på hur kandidaterna presterar på alla tre underavdelningar för GRE, hur deras prestationer i varje underavdelning kommer att påverka den totala sammansatta GRE-medianen och därmed den totala testmedianpercentilen. De mest uppenbara områdena där detta kan vara problematiskt är i resultat för analytisk skrivning, där percentilerna sjunker mycket snabbt – skillnaden från 4,5 till 4 är 24 percentilpoäng. Även om testdeltagarna bör göra sitt absoluta bästa på alla delar av testet, skulle de göra klokt i att ta den delen särskilt seriöst med tanke på den percentilnedgång som varje halv poäng motsvarar. Detta innebär också lite extra matte för antagningshandläggarna under året, även om det inte är särskilt jobbigt.

Att se framåt

Och även om LSAT fortfarande är dominerande fortsätter antalet och andelen GRE-sökande att öka, liksom antalet skolor som accepterar det som ett giltigt test för antagning. LSAT har dock en inbyggd fördel i och med att kandidater som har båda testerna registrerade rapporteras enbart på grundval av deras LSAT-poäng. En förändring av systemet så att det blir mer likt testning på grundnivå, där både ACT och SAT kan beaktas och där sökande och skolor väljer vilket av dem som ska rapporteras, skulle förändra landskapet avsevärt. Det är faktiskt lätt att skapa en metodik där kandidater som tar LSAT och GRE skulle kunna räknas in i rankingen på grundval av båda poängen.

När ABA ökar sofistikeringen av skolornas rapportering av andra poäng än LSAT-poäng i sina årliga 509-årsrapporter kan detta också bidra till att driva på U.S. News metodikförändring.

Med tanke på att många juristutbildningar sannolikt står inför en ökad budgetpress kommer det att finnas gott om motivation för att söka ytterligare sökande. Vi förväntar oss en fortsatt uppåtgående trend i antalet skolor som tar GRE, vilket i sin tur kan bidra till att skapa tryck på U.S. News och ABA att ändra sin metod.

Bob Morse diskuterade flera andra områden som U.S. News antingen överväger eller är öppna för att överväga. Vi kommer att skriva våra tankar om dessa vid ett senare tillfälle, särskilt när det gäller COVID-19:s inverkan på rankingen.