By John Willingham, Editor
In letzter Zeit werden bei Google-Suchanfragen zwei neue Websites aufgelistet, die behaupten, dass sie Honors-Programme und Honors Colleges öffentlicher Universitäten bewerten. Ihre „Rankings“ haben in den meisten Fällen eine große Ähnlichkeit mit den Bewertungen, die wir seit 2012 erstellen. Abgesehen von der Wahrscheinlichkeit, dass unsere urheberrechtlich geschützte Arbeit in großem Umfang (ohne Quellenangabe) übernommen wurde, ist es eine Tatsache, dass die meisten Daten, die für ein Ranking oder eine Bewertung dieser Programme erforderlich sind, nicht öffentlich zugänglich sind. Wir sind die einzige Website oder Organisation im Land, die Zugang zu diesen Daten hat, die wir erst nach vielen Jahren des Dialogs und der Zusammenarbeit mit den Dekanen und Direktoren von Studiengängen im ganzen Land erhalten haben. Man fragt sich, wie diese neuen Rankings entwickelt wurden. Oder wurden sie größtenteils „geliehen“?
Unser gemeinschaftlicher Prozess führt zu enormen Datenmengen. Um beispielsweise die Größe von Honors-Klassen zu berechnen, müssen wir etwa 10.000 Honors-Klassen für jeden Zusatz analysieren. Viele der für diese Analyse erforderlichen Daten sind weder auf den Honors-Websites noch in den universitätsweiten Vorlesungsverzeichnissen verfügbar.
Und dennoch erstellen wir kein „Ranking“ der Programme. In der Regel habe ich auf der Grundlage von Daten eine Meinung über die fünf bis zehn besten Studiengänge des Landes, die in einer bestimmten Ausgabe bewertet werden. Die Daten können zeigen, dass ein Programm „besser“ ist (eine höhere Punktzahl) als alle anderen. Und dann denke ich darüber nach, wie ich jede der 13 Bewertungskategorien gewichtet habe. Wenn ich eine davon ändern würde, würden sich die Bewertungen ändern. Alles hängt von der Methodik ab, und niemandes Methodik ist perfekt. Letztendlich ist es eine Frage der Beurteilung. Sie ist nicht im eigentlichen Sinne wissenschaftlich, selbst wenn alle Daten berücksichtigt werden. Ich kann Ihnen eine genaue Zahl für die Größe der Honors-Klassen am Honors College A nennen, aber der Anteil der Bewertung, den ich dieser genauen Zahl zuordne, ist subjektiv.
Wenn es keine Wissenschaft ist, sollte man es nicht als Wissenschaft darstellen. Ordinale Rankings stellen sich als Wissenschaft dar. Aber stellen Sie sich nur einmal vor, wie sich die Rangliste der U.S. News verändern würde, wenn alle Kennzahlen zum institutionellen Wohlstand wegfallen würden oder wenn die Selektivität nicht zählen würde.
Dank der Zusammenarbeit mit den Dekanen und Direktoren der Hochschulen im ganzen Land erhalten wir jetzt für jedes bewertete Profil 10-20 Seiten an Dokumenten, von denen ein großer Teil harte Daten zu den einzelnen Klassen und Kursangeboten enthält. Keiner sonst erhält so viele einzigartige Daten. Selbst wenn man online geht und jeden Eintrag im Vorlesungsverzeichnis der Universität liest, findet man nicht den Umfang und die Spezifität der Daten, die wir für die Analyse von Honors-Studiengängen benötigen. Das liegt daran, dass Honors-Programme gemischte und vertragliche Abschnitte anbieten, die in den Online-Kurslisten nicht transparent sind.
Das bringt uns zu den neuen Rankings.
Eines listet „Die 9 besten Honors-Programme“ in der Nation auf. Hier die Methodik:
„Um unsere Liste zusammenzustellen, haben wir die nationalen Honors College Rankings der letzten zwei Jahre ausgewertet. Außerdem haben wir Honors Colleges auf der Grundlage von Zulassungsbedingungen, curricularen und außercurricularen Programmangeboten, der Betonung der Förderung einer Honors-Studentengemeinschaft, finanziellen Unterstützungsmöglichkeiten und einzigartigen oder innovativen Ansätzen für die Honors-Ausbildung bewertet.“
Erstens, wie quantifiziert jemand „eine Betonung der Förderung einer „Honors“-Studentengemeinschaft“ oder „innovative Ansätze für die „Honors“-Ausbildung“?
Zweitens kenne ich keine „nationalen Honors-College-Rankings“, obwohl wir alle zwei Jahre die besten 5-10 Programme in einer alphabetischen Gruppe bekannt geben. Diese Programme sind nur innerhalb des Datensatzes der bewerteten Programme für eine bestimmte Ausgabe „top“. Kein Programm wird zur Nummer eins, Nummer drei oder Nummer zehn für diesen Datensatz erklärt, geschweige denn für das gesamte Universum der Studiengänge mit Auszeichnung. Sie werden stattdessen in eine Gruppe eingeordnet. Unsere Weigerung, einem Programm eine bestimmte Rangnummer zuzuweisen, hat sogar dazu geführt, dass ein bekanntes Programm nicht mehr mit uns zusammenarbeitet.
Die Website „9 Best“ zögert nicht, dies zu tun: „Das Barrett College, die Nummer 1 unter den Honors Colleges in den Vereinigten Staaten, ist auf den vier Campus der ASU in Phoenix, Mesa, Tempe und Glendale, Arizona, vertreten.“ Obwohl das Barrett unter seinem langjährigen Dekan Mark Jacobs Jahr für Jahr hervorragende Ergebnisse erzielt, ist mir kein aktuelles Ranking bekannt, in dem das Barrett oder ein anderes Honors-Programm oder College ausdrücklich als Nummer 1 aufgeführt ist. Es stimmt, dass Barrett in allen unseren Ausgaben in der höchsten Gruppe (fünf Mörtelbretter) war. Aber das gilt auch für das South Carolina Honors College, das Penn State Schreyer Honors College, das Plan II Honors Program an der UT Austin, das University Honors Program in Kansas und, seit 2016, das Macaulay Honors College an der CUNY. Dabei handelt es sich um sehr unterschiedliche Programme, die von extrem groß (Barrett) bis sehr klein (UT Plan II) reichen.
Weitere starke Programme gibt es in Clemson, Delaware, Georgia, Houston und Ole Miss. Die Daten von Maryland, Michigan und North Carolina sind nicht mehr verfügbar, aber in einer oder mehreren früheren Ausgaben erhielten sie alle ausgezeichnete Bewertungen.
Die oben genannte „9 Best“-Seite listet auch Penn State Schreyer, Clemson und das Rutgers Honors College unter den besten Honors Colleges auf und fügt UT Plan II, Kansas UHP und das Echols Scholar Programm an der UVA hinzu. In der Kategorie „bestes Preis-Leistungs-Verhältnis“ werden CUNY Macaulay und das Alabama Honors College aufgeführt. (Wir haben Echols seit der Ausgabe von 2014 nicht mehr berücksichtigt, da die seit 2016 geltende neue Methodik viel mehr Klassendaten erfordert. Echols-Schüler können fast jeden Kurs an der UVA belegen, und es ist nicht möglich, festzustellen, welche das zu einem bestimmten Zeitpunkt sind.)
Eine andere Website listet „die 50 besten Honors-Programme und -Colleges“ auf – eine Liste, die eine verblüffende Ähnlichkeit mit Programmen aufweist, die wir im Laufe der Jahre bewertet haben. Die Liste enthält mehrere Programme, die erst in einem unserer Bücher erwähnt wurden: New Jersey Institute of Technology, Temple, Colorado State und CUNY Macaulay, um nur einige zu nennen.
Hier ist die Methodik hinter dieser Liste:
„Im Folgenden haben wir eine Liste der landesweit besten Hochschulen/Programme mit Auszeichnung zusammengestellt. Die Auswahl basierte auf den folgenden Indikatoren für die Programmqualität.
- Die Selektivität der Hochschule/Universität (insgesamt)
- Die Selektivität des Honors-Programms
- Durchschnittliche Größe der Honors-Klassen
- Anzahl der Honors-Klassen
- Verfügbarkeit von Honors-Unterkünften
- Ob eine bevorzugte Registrierung für Honors-Studenten angeboten wird
„Schulen, die mit einem Sternchen (*) gekennzeichnet sind, haben bei mehreren Indikatoren besonders gut abgeschnitten und gehören nach unserer Methodik zu den 20 besten Honors-Programmen.“
Alle diese Informationen sind in unseren Veröffentlichungen enthalten. Darüber hinaus kann die „Verfügbarkeit“ von „Honors“-Wohnungen nur berechnet werden, wenn man sowohl die Anzahl der „Honors“-Betten als auch die Anzahl der berechtigten „Honors“-Studenten kennt. Die tatsächliche Zahl der „Honors“-Klassen kann nur ermittelt werden, wenn man Zugang zu vollständigen Tabellen hat und nicht nur zu Online-Listen, insbesondere zu solchen, die auf die „Honors“-Homepage beschränkt sind. Auch die tatsächliche durchschnittliche Klassengröße hängt von äußerst detaillierten Daten ab, die nicht aus Online-Quellen stammen. Schließlich sind einige der auf der Website aufgeführten Testergebnisse falsch und irreführend.
