GRE: Fysikere si Grad School Entrance Exam er en dårlig forutsigelse for suksess

For de fleste kandidatstudenter starter banen til en avansert grad i et lite lysløst rom foran en dataskjerm, og tar enda en runde standardiserte tester. Da de frantisk skriver et essay som er bestemt for å bli gradert av en datamaskin, kan de kanskje lure på: "Hvordan skal dette hjelpe meg med å gå gjennom gradskolen?" En studie publisert onsdag i Science Advances er her for å validere sin indre angst. GRE er ikke bare en dårlig måte å avgjøre gradskolesuksess på; det kan også gjøre mer skade enn godt.

Ledet av Casey Miller, Ph.D., en eksperimentell fysiker ved Rochester Institute of Technology, fokuserer denne studien spesielt på fysikkstudier, selv om Miller mener at hans funn vil trolig gjelde for en rekke felt. Da han analyserte anonyme GRE-poeng fra 27 universitetsstuderende programmer rundt om i landet, fant han ut at de ikke klarte å forutsi om de faktisk endte med sin grad på slutten av dagen.

Dette er allerede ganske godt kjent blant fysikere, sier han, men studien legger til harde data for å vise at både den generelle GRE-testen og den fysikkspesifikke testen er ikke en sikker brann måte å fortelle hvem som ville lage en flott fysiker.

"Fysikere er en flittig gjeng. De endrer seg ikke vanligvis hvordan de gjør ting uten data, sier han Omvendt. "Så det faktum at vi kan sette data til dette spesielt i fysikksamfunnet, vil hjelpe fakultetet til å se bruken av disse verktøyene. Så de vil forhåpentligvis se at testene ikke forutsier Ph.D. ferdigstillelse eller karakterer veldig bra."

Første gang jeg tok GRE Adv Phys Physics testen, scoret jeg 7th percentile. 2dre gangen jeg fikk 11. Jeg har siden gjort PhD i røntgenfysikk, jobbet hos NIST og NASA, og er stolt over å ha løst betydelige tekniske utfordringer i å designe og teste James Webb Space Telescope.

- Scott Rohrbach (@scottrohrbach) 30. april 2018

Ting GRE kan ikke forutsi

I studien analyserte Miller resultater fra tre forskjellige GRE-testeksjoner: GRE-V (verbal), GRE-Q (matte) og GRE-P (den fysikkspesifikke fagprøven). Han sammenlignet disse scoreene med ferdigstillingsgrader og karakterer av studenter i fysikk Ph.D. programmer i fire overlappende grupper: studenter fra USA, studenter fra utlandet, kvinnelige studenter fra USA, og mannlige studenter fra USA. Over alle fire gruppene, GRE-P * mislyktes med å forutse om studentene ville fullføre sitt program, slik som GRE-V-delen.

Det var et lite glimt av håp om GREs matteavdeling, som viste noe korrelasjon med ferdigstillingsfrekvens da resultatene fra amerikanske kvinnelige studenter og amerikanske mannlige studenter ble kombinert. Det var imidlertid ikke en god prediktor når den ble brukt på studenter som en helhet og bare studenter fra utenfor USA.

Likevel ser det ikke særlig bra ut til GRE i dette papiret - spesielt den fysikkspesifikke GRE. Studenter som scoret under Den 50. prosentilen hadde tilsvarende gradvis ferdigstillelse til de som scorer i topp prosentiler, peker Miller ut. Det legger han til, er en viktig observasjon fordi en rekke fysikk Ph.D-programmer har harde cutoffs. Om lag 25 prosent av fysikkprogrammer annonserer at en GRE-poengsum skal være over 55 prosentpoeng for at en søker skal ha et skudd ved opptak.

Ting GRE Kan Spå

Kort sagt, GRE-resultatene unnlater å forutsi hvor god en fysiker en person kan vise seg å være. I stedet reflekterer de demografiske mønstre (http://www.nature.com/naturejobs/science/articles/10.1038/nj7504-303a) som er like ubrukelige for å forutse en persons suksess på grunnskolen. Det er ingen statistisk signifikant korrelasjon mellom kjønn og en persons sannsynlighet for å fullføre en Ph.D. i fysikk, sier Miller, men der er et betydelig kjønnsforskjell på GRE-P score: Median score for en kvinne i USA er 580 og median score for en mann i USA er 680. Implikasjonen er at begge gruppene vil ha en lignende sjanse til å utmerke seg på kurser som kreves for å bli fysiker, men går etter sine testresultater, står man et bedre skudd ved opptak enn den andre.

Det er viktig at ingen av disse resultatene nok vil være gode nok til å få søkeren til å anslå 25 prosent av programmene - selv om Miller var i stand til å vise betydelige hull i kjønn, rase og etnisitet i hvem som når det poengsummen og hvem som ikke. Og det tar ikke engang hensyn til inntekt mønstre assosiert med GRE test score.

Den store takeaway, sier MIller, er at GRE ikke forteller opptakskomiteene noe om hva som gjør en god fysiker - og kan være delvis ansvarlig for fysikkens uhyre mangfoldsstatistikk. Kun 5 prosent av fysikk Ph.D. grader som tildeles årlig, går til underrepresenterte minoritetsgrupper, og bare 20 prosent går til kvinner. Millers funn tyder på at det er mange mennesker i begge disse gruppene hvis testresultater legger dem solidt i den avviste bunken før de selv har sjansen til å prøve sin styrke.

"Vi er rimelig gode til å velge hvem som har det bra i kurs, men selvfølgelig er de ferdighetene som kreves for å lykkes i kurs, ikke de samme ferdighetene som er viktige for å være en vellykket forskningsfysiker," sier Miller. "Bevegelse fremover, vi prøver å fokusere på de tingene vi kjenner, gjør en god forsker, som det nåværende systemet ikke gjør veldig bra."