Av John Willingham, redaktör
Nyligen har Google-sökningar visat två nya webbplatser som gör anspråk på att rangordna hedersprogram och hedersskolor vid offentliga universitet. Deras ”rankningar” har i de flesta fall stora likheter med de betyg som vi har producerat sedan 2012. Bortsett från att det är troligt att de i stor utsträckning lånar (utan att ge upphov till några kommentarer) från vårt upphovsrättsskyddade arbete, är det ett faktum att de flesta uppgifter som krävs för att rangordna eller betygsätta dessa program inte är allmänt tillgängliga. Vi är den enda webbplatsen eller organisationen i landet som har tillgång till dem, vilket vi har fått först efter många års dialog och samarbete med dekaner och direktörer för hedersprogram över hela landet. Man kan fråga sig hur dessa nya rankningar har tagits fram. Eller var de mest ”lånade”?
Vår samarbetsprocess ger enorma mängder data. För att beräkna storleken på hedersklasserna måste vi till exempel analysera cirka 10 000 hedersklasser för varje tillägg. En stor del av de uppgifter som krävs för denna analys finns inte tillgängliga på hedersplatser eller ens i universitetsgemensamma kursplaner.
Och ändå ”rankar” vi inte programmen. Vanligtvis har jag en åsikt, baserad på data, om de fem till tio bästa programmen i landet bland dem som rankas i en viss utgåva. Uppgifterna kan visa att ett är ”bättre” (högre poängsumma) än alla andra. Och sedan tänker jag på hur jag har viktat var och en av de 13 betygskategorierna. Om jag skulle ändra någon av dem skulle betygen förändras. Allt styrs av metodiken, och ingen metodik är perfekt. Det är en fråga om bedömning i den slutliga analysen. Det är inte vetenskapligt i ordets rätta bemärkelse, inte ens med alla de uppgifter som ingår. Jag kan ge dig en exakt siffra för storleken på hedersklasserna vid Honors College A, men den betygsandel jag tilldelar den exakta siffran är subjektiv.
Om det inte är vetenskap, presentera det inte som vetenskap. Ordinala rankningar presenterar sig själva som vetenskap. Men tänk bara på hur U.S. News ranking skulle förändras om alla mått på institutionell rikedom togs bort eller om selektivitet inte räknades.
Tack vare samarbetet med dekaner och direktörer för hedersutbildningar runt om i landet får vi nu för varje betygsatt profil 10-20 sidor dokument, varav en stor del är hårda data om klasskategorier och kursutbud. Ingen annan får denna nivå av unika uppgifter. Inte ens genom att gå in på nätet och läsa varje post i universitetets kursplan kan man hitta den mängd och specificitet av uppgifter som vi behöver för att analysera hederskurserna. Det beror på att hedersprogrammen erbjuder blandade och kontrakterade sektioner som inte är transparenta i kurslistor på nätet.
Detta för oss till de nya rankningarna.
En listar ”The 9 Best Honors Programs” i landet. Här är metoden:
”För att sammanställa vår lista har vi utvärderat de nationella rankningarna av hederskolor från de senaste två åren. Vi utvärderade också hederskolor baserat på antagningskrav, programutbud i läroplanen och utanför läroplanen, betoning på att främja en hedersstudentgemenskap, möjligheter till finansiellt stöd och unika eller innovativa tillvägagångssätt för hedersutbildningen.”
För det första, hur kan någon kvantifiera ”tonvikt på att främja en hedersstudentgrupp” eller ”innovativa tillvägagångssätt för hedersutbildningen”?
För det andra känner jag inte till någon ”nationell rangordning av hedersskolor”, även om vi tillkännager de 5-10 bästa programmen i en alfabetisk grupp vartannat år. Dessa program är ”topp” endast inom datamängden av bedömda program för en viss utgåva. Inget program förklaras vara nummer ett, tre eller tio för den datamängden, och ännu mindre för hela universumet av hedersprogram. De är istället placerade i en grupp. Vår vägran att smörja något program med ett specifikt rankingnummer har faktiskt fått ett framstående program att sluta samarbeta med oss.
Sajten ”9 Best” tvekar inte att göra det: ”Barrett College är rankat som nummer 1 bland hedersskolor i USA och finns på ASU:s fyra campus i Phoenix, Mesa, Tempe och Glendale, Arizona.” Även om Barrett, under ledning av sin mångårige dekan Mark Jacobs, uppnår utmärkta resultat år ut och år in, känner jag inte till någon nyare rankning som specifikt listar Barrett eller något annat hedersprogram eller college som nummer ett. Det är sant att Barrett har varit i den högsta (fem mortarboard) gruppen i alla våra utgåvor. Men det har även South Carolina Honors College, Penn State’s Schreyer Honors College, Plan II Honors Program vid UT Austin, University Honors Program vid Kansas och, sedan 2016, Macaulay Honors College vid CUNY. Dessa är mycket olika program, från extremt stora (Barrett) till mycket små (UT Plan II.)
Andra starka program finns vid Clemson, Delaware, Georgia, Houston och Ole Miss. Uppgifter från Maryland, Michigan och North Carolina finns inte längre tillgängliga, men i en eller flera tidigare utgåvor fick alla utmärkta betyg.
Sajten ”9 Best” ovan listar också Penn State Schreyer, Clemson och Rutgers Honors College bland de bästa hedersskolorna, och lägger till UT Plan II, Kansas UHP och Echols Scholar-programmet vid UVA. I kategorin ”bäst för pengarna” listas CUNY Macaulay och Alabama Honors College. (Vi har inte tagit med Echols efter 2014 års upplaga eftersom den nya metodik som gäller sedan 2016 kräver mycket mer klassuppgifter. Echols-studenter kan ta nästan vilken klass som helst på UVA, och det är inte möjligt att avgöra vilka dessa är vid varje given tidpunkt.)
En annan webbplats listar ”the top 50 honors programs and colleges” – en lista som har en kuslig likhet med program som vi har betygsatt under årens lopp. Listan innehåller flera program som inte nämndes på ett framträdande sätt förrän de dök upp i en av våra böcker: New Jersey Institute of Technology, Temple, Colorado State och CUNY Macaulay är några av dem.
Här är metoden bakom denna lista:
”Nedan har vi sammanställt en lista över landets bästa hedersskolor/program. Urvalet baserades på följande indikatorer på programkvalitet.
- Högskolans/universitetets selektivitet (totalt sett)
- Honorprogrammens selektivitet
- Genomsnittlig storlek på hedersklasser
- Antal hedersklasser
- Access till hedersboende
- .
- Om prioriterad registrering erbjuds hedersstudenter
”Skolor som markerats med en asterisk (*) fick särskilt höga betyg på flera indikatorer och rankades bland de 20 bästa hedersprogrammen enligt vår metodik.”
Alla ovanstående uppgifter finns i våra publikationer. Vidare kan ”tillgängligheten” av hedersbostäder endast beräknas om man känner till både antalet heders-”bäddar” och antalet berättigade hedersstudenter. Man kan veta det verkliga antalet hedersklasser endast om man har tillgång till fullständiga kalkylblad, inte bara till listor på nätet, särskilt de som är begränsade till hedershemsidan. Den verkliga genomsnittliga klasstorleken är också beroende av extremt detaljerade uppgifter som inte är tillgängliga från online-källor. Slutligen är en del av de provresultat som anges på webbplatsen felaktiga och vilseledande.
