By John Willingham, Editor
In Google worden de laatste tijd twee nieuwe sites vermeld die beweren honors programma’s en honors colleges van openbare universiteiten te rangschikken. Hun “rankings” vertonen in de meeste gevallen een sterke gelijkenis met de ratings die wij sinds 2012 hebben opgesteld. Afgezien van de waarschijnlijkheid dat er op grote schaal (zonder bronvermelding) van ons auteursrechtelijk beschermd werk wordt geleend, is het een feit dat de meeste gegevens die nodig zijn om deze programma’s te rangschikken of te beoordelen, niet publiekelijk beschikbaar zijn. Wij zijn de enige site of organisatie in het land die wel toegang heeft, maar pas na vele jaren van dialoog en samenwerking met honors decanen en directeuren in het hele land. Men vraagt zich af hoe deze nieuwe ranglijsten tot stand zijn gekomen. Of zijn ze vooral “geleend”?
Onze samenwerking levert enorme hoeveelheden gegevens op. Om bijvoorbeeld de grootte van honors class te berekenen, moeten we ongeveer 10.000 honors classes analyseren voor elke toevoeging. Veel van de gegevens die voor deze analyse nodig zijn, zijn niet beschikbaar op honorsites of zelfs niet op universiteitsbrede cursusroosters.
En toch “rangschikken” we programma’s niet. Gewoonlijk heb ik een mening, gebaseerd op gegevens, over de beste vijf tot tien programma’s in het land onder de programma’s die in een bepaalde editie worden beoordeeld. Uit de gegevens kan blijken dat er één “beter” is (een hoger puntentotaal) dan al de rest. En dan denk ik na over hoe ik elk van de 13 beoordelingscategorieën heb gewogen. Als ik een van die zou veranderen, zouden de beoordelingen veranderen. Alles wordt bepaald door de methodologie, en niemands methodologie is perfect. Het is uiteindelijk een kwestie van beoordeling. Het is niet wetenschappelijk in de waarste zin van het woord, zelfs niet met alle gegevens erbij. Ik kan u een exact cijfer geven voor de honors class sizes op Honors College A, maar het beoordelingspercentage dat ik aan dat exacte cijfer toeken is subjectief.
Als het geen wetenschap is, presenteer het dan niet als wetenschap. Ordinale ranglijsten presenteren zichzelf als wetenschap. Maar stel je eens voor hoe de U.S. News-ranglijsten zouden veranderen als alle institutionele welvaartsmetrieken zouden worden verwijderd of als selectiviteit niet zou meetellen.
Dankzij de medewerking van honors decanen en directeuren in het hele land, ontvangen we nu voor elk beoordeeld profiel 10-20 pagina’s aan documenten, veel ervan harde gegevens over klassecties en cursusaanbod. Niemand anders krijgt dit niveau van unieke gegevens. Zelfs als je online gaat en elk vak in het universiteitsrooster leest, vind je niet het volume en de specificiteit van de gegevens die we nodig hebben voor de analyses van honors cursussen. Dat komt omdat honors programma’s gemengde en contract secties aanbieden die niet transparant zijn in online cursuslijsten.
Dit brengt ons bij de nieuwe ranglijsten.
Een lijst bevat “De 9 beste honors programma’s” in het land. Hier is de methodologie:
“Om onze lijst samen te stellen, hebben we de nationale honors college rankings van de afgelopen twee jaar geëvalueerd. We hebben ook honors colleges geëvalueerd op basis van toelatingsvoorwaarden, curriculaire en buitenschoolse programma-aanbod, nadruk op het bevorderen van een honors student gemeenschap, financiële hulp mogelijkheden, en unieke of innovatieve benaderingen van de honors onderwijservaring.”
Ten eerste, hoe kwantificeert iemand “een nadruk op het bevorderen van een honors student gemeenschap” of “innovatieve benaderingen van de honors onderwijservaring”?
Ten tweede, ik weet niet van een “nationale honors college ranglijst,” hoewel we de top 5-10 programma’s, in een alfabetische groep, om het jaar bekend te maken. Deze programma’s zijn alleen “top” binnen de dataset van beoordeelde programma’s voor een bepaalde editie. Geen enkel programma wordt uitgeroepen tot nummer één, nummer drie of nummer tien voor die gegevensverzameling, laat staan voor het hele universum van honors programma’s. Ze worden in een groep geplaatst. Onze weigering om een programma een specifiek rangnummer te geven heeft er in feite toe geleid dat één prominent programma zijn samenwerking met ons heeft stopgezet.
De “9 Best” site aarzelt niet om dat wel te doen: “Gerangschikt op nummer 1 onder honors colleges in de Verenigde Staten, Barrett College heeft een aanwezigheid op ASU’s vier campussen in Phoenix, Mesa, Tempe, en Glendale, Arizona.” Hoewel Barrett, onder leiding van haar decaan Mark Jacobs, jaar in jaar uit uitstekende resultaten boekt, ken ik geen enkele recente rangschikking die Barrett of een ander honors programma of college specifiek als nummer 1 vermeldt. Het is waar dat Barrett in al onze edities in de hoogste groep (vijf mortieren) heeft gestaan. Maar dat geldt ook voor het South Carolina Honors College, Penn State’s Schreyer Honors College, het Plan II Honors Program van UT Austin, het University Honors Program van Kansas en, sinds 2016, het Macaulay Honors College van CUNY. Dit zijn zeer verschillende programma’s, variërend van extreem groot (Barrett) tot zeer klein (UT Plan II.)
Andere sterke programma’s zijn op Clemson, Delaware, Georgia, Houston, en Ole Miss. Gegevens van Maryland, Michigan en North Carolina zijn niet langer beschikbaar, maar in een of meer eerdere edities kregen ze allemaal een uitstekende beoordeling.
De “9 Best” site hierboven noemt ook Penn State Schreyer, Clemson, en Rutgers Honors College bij de beste honors colleges, en voegt UT Plan II, Kansas UHP, en het Echols Scholar programma aan UVA toe. In de categorie “best bang for the buck” worden CUNY Macaulay en het Alabama Honors College genoemd. (We hebben Echols niet opgenomen na de editie van 2014 omdat de nieuwe methodologie die sinds 2016 van kracht is veel meer klasgegevens vereist. Echols-studenten kunnen bijna elke klas aan UVA volgen, en het is niet mogelijk om te bepalen welke dat op een bepaald moment zijn.)
Een andere site somt “de top 50 honors programma’s en colleges” op – een lijst die een griezelige gelijkenis vertoont met programma’s die we in de loop der jaren hebben beoordeeld. De lijst bevat verschillende programma’s die niet prominent werden genoemd totdat ze in een van onze boeken verschenen: New Jersey Institute of Technology, Temple, Colorado State, en CUNY Macaulay, onder hen.
Hier volgt de methodologie achter deze lijst:
“Hieronder hebben we een lijst samengesteld van ’s lands top honors colleges/programma’s. De selectie was gebaseerd op de volgende indicatoren van de kwaliteit van het programma.
- De selectiviteit van de hogeschool/universiteit (in het algemeen)
- De selectiviteit van het honors programma
- Gemiddelde grootte van de honors klas
- Aantal honors klassen
- Beschikbaarheid van honors huisvesting
- Welke voorrangsregistratie wordt aangeboden aan honorsstudenten
“Scholen gemarkeerd met een asterisk (*) scoorden bijzonder hoog op verschillende indicatoren en werden gerangschikt bij de top 20 honors programma’s volgens onze methodologie.”
Alle bovenstaande informatie staat in onze publicaties. Verder kan de “beschikbaarheid” van honors housing alleen worden berekend als men zowel het aantal honors “bedden” als het aantal in aanmerking komende honors studenten kent. Het werkelijke aantal honors-klassen kan alleen worden berekend als men toegang heeft tot volledige spreadsheets en niet alleen tot online-overzichten, vooral als die beperkt zijn tot de honors homepage. Ook voor het bepalen van de gemiddelde klasgrootte is men afhankelijk van zeer gedetailleerde gegevens die niet online beschikbaar zijn. Ten slotte zijn sommige testscores op de site onjuist en misleidend.
