TEXAS BOARD of LAW EXAMINERS

ANALYSE DER TEXAS BAR EXAM ERGEBNISSE IM JULI 2004 NACH GESCHLECHT UND RASSISCHER/ETNISCHER GRUPPE

Stephen P. Klein, Ph.D. und Roger Bolus, Ph.D.
GANSK & Associates

(Diese Analyse wurde im Juni 2006 aktualisiert. Klicken Sie hier für Details.)
Dezember 15, 2004

Texas Government Code Sec. 82.0291 wies das Texas Board of Law Examiners an, „einen Bericht zu erstellen, der die Anzahl der Bewerber angibt, die die Anwaltsprüfung im Juli 2004 nicht bestanden haben. Die Daten sind nach Geschlecht, ethnischer Zugehörigkeit und Rasse aufzuschlüsseln. Der Bericht soll auch eine Analyse der feststellbaren Ursachen für das Nichtbestehen der Prüfung und gegebenenfalls Empfehlungen zur Beseitigung der Ursachen für das Nichtbestehen enthalten.“

Die im Folgenden beschriebenen Analysen wurden als Reaktion auf diese Rechtsvorschriften durchgeführt. Als Hintergrund für das, was folgt, fassen wir zunächst die wichtigsten Merkmale der texanischen Anwaltsprüfung und die Art und Weise zusammen, wie die Punkte berechnet und die Entscheidungen über das Bestehen/Nichtbestehen getroffen werden. Anschließend beschreiben wir die Verfahren, die zur Erhebung und Verarbeitung der Daten für unsere Analysen verwendet wurden. Schließlich geben wir Auskunft über die Größe und Art der Unterschiede bei den Prüfungsergebnissen und den Bestehensquoten zwischen den Geschlechtern und den rassischen/ethnischen Gruppen sowie über die Ergebnisse unserer Analysen bestimmter Faktoren, die mit diesen Unterschieden in Zusammenhang stehen oder nicht. Die spezifischen Fragen, mit denen wir uns in unseren Analysen befassen, lauten wie folgt:

1. Haben Männer und Frauen vergleichbare Erfolgsquoten und Testergebnisse bei der Anwaltsprüfung? Ergebnisse
2. Haben verschiedene rassische/ethnische Gruppen vergleichbare Erfolgsquoten und Testergebnisse bei der Anwaltsprüfung? Ergebnisse
3. Korrespondieren die Unterschiede in den Erfolgsquoten und -ergebnissen bei der Anwaltsprüfung zwischen den verschiedenen Rassen/Ethnien mit den Unterschieden bei den Zulassungsvoraussetzungen und den Noten an der juristischen Fakultät? Ergebnisse
4. Wurden einige Aktivitäten zur Vorbereitung auf die Anwaltsprüfung mit höheren Punktzahlen in Verbindung gebracht? Ergebnisse
5. Erzielen die Studenten einiger juristischer Fakultäten im Allgemeinen höhere oder niedrigere Ergebnisse bei der Zulassungsprüfung, als man aufgrund ihrer durchschnittlichen LSAT-Ergebnisse erwarten würde? Ergebnisse

Bestandteile der texanischen Anwaltsprüfung

Die texanische Anwaltsprüfung besteht aus zweieinhalb Tagen. Ein Tag ist für den texanischen Aufsatzteil vorgesehen, ein Tag für das Multistate Bar Exam und ein halber Tag für die Kombination aus dem Multistate Performance Test und dem Texas Procedure and Evidence Test. Die Hauptmerkmale dieser vier Komponenten sind wie folgt:

Multistate Bar Exam (MBE). Das MBE ist ein sechsstündiger Multiple-Choice-Test mit 200 Fragen. Die MBE-Fragen (oder „Items“) werden von American College Testing (ACT) unter der allgemeinen Leitung der National Conference of Bar Examiners vorbereitet und ausgewertet. Der MBE besteht aus einer ungefähr gleichen Anzahl von Fragen in jedem der folgenden sechs Themenbereiche: Verfassungsrecht, Verträge, Strafrecht, Beweismittel, Eigentum und Deliktsrecht. Das MBE-Rohergebnis eines Bewerbers ist die Anzahl der richtig beantworteten Fragen.

Rund 30 Prozent der MBE-Fragen, die bei einer Prüfung (z. B. im Juli 2004) gestellt werden, wurden bereits zuvor verwendet. ACT verwendet die Daten zu diesen wiederholten Fragen, um die MBE-Rohwerte um mögliche Unterschiede in der durchschnittlichen Schwierigkeit der Fragen zwischen den Durchführungen zu bereinigen. Als Ergebnis dieses Kalibrierungsprozesses (der als „Equating“ oder „Scaling“ bezeichnet wird) zeigt eine bestimmte MBE-„Skalen“-Punktzahl ungefähr das gleiche Leistungsniveau an, unabhängig davon, bei welcher Verwaltung sie erzielt wurde.

Multistate Performance Test (MPT). Texas verwaltet eine 90-minütige MPT-Frage oder „Aufgabe“, die aus einer rechtlichen Analyse und einer schriftlichen Aufgabe besteht. Diese Aufgabe wird unter der Leitung der National Conference of Bar Examiners entwickelt. Für jede Prüfung gibt es eine neue Aufgabe. Die texanischen Prüfer bewerten die Antworten auf einer Skala von 1 bis 6 in halben Punkteschritten.

Eine MPT-Aufgabe bewertet bestimmte praxisorientierte juristische Recherche-, Analyse- und Schreibfähigkeiten. Eine Aufgabe besteht aus einem Dossier, das wie eine typische Anwaltsakte aussieht (z. B. Briefe, Memos, Berichte usw.) und relevante und irrelevante Materialien enthält, und einer Bibliothek mit der gesamten Rechtsprechung, den Gesetzen und Sekundärmaterialien, die zur Behandlung verschiedener Angelegenheiten in einem hypothetischen Fall benötigt werden. Die Kandidaten verwenden die Datei und die Bibliothek, um eine realistische Aufgabe zu lösen, wie z. B. den Entwurf eines Memos an einen leitenden Anwalt, einen Brief an einen Klienten oder gegnerischen Anwalt oder einen Schriftsatz, der bei Gericht eingereicht werden soll.

Texas Essay Test. Der sechsstündige Aufsatzteil des texanischen Examens besteht aus 12 Fragen aus Bereichen wie Unternehmensvereinigungen, Testamente, Immobilien und Familienrecht. Die Fragen werden von Mitgliedern des Texas Board of Law Examiners mit Unterstützung professioneller Redakteure entworfen. Mitglieder des Prüfungsausschusses und erfahrene Juristen bewerten dann die Antworten auf jede Frage auf einer Skala von 1 bis 25 Punkten. Die maximal mögliche Rohpunktzahl für den Aufsatz beträgt 12 x 25 = 300 Punkte.

Texas Procedure and Evidence (P&E) Test. Der 90-minütige P&E-Test enthält 20 Kurzantworten auf zivilrechtliche Fragen und 20 Kurzantworten auf strafrechtliche Fragen. Das Texas Board of Law Examiners ist für die Erstellung dieser Fragen verantwortlich und bewertet zusammen mit seinen Mitarbeitern die Antworten auf jede Frage auf einer Skala von 0 bis 5. Texas teilt die Gesamt-P&E-Rohpunktzahl für jeden Abschnitt durch 2 (und rundet das Ergebnis auf eine ganze Zahl), so dass die maximal mögliche Gesamt-P&E-Rohpunktzahl für beide Abschnitte 100 Punkte beträgt.

Gesamtergebnisse und Pass/Fail-Entscheidungen

Texas rechnet die Gesamt-Rohpunktzahl für die Aufsätze in dieselbe Messskala um, die auch für das MBE verwendet wird. Dies geschieht, um die Aufsatzergebnisse an mögliche Unterschiede in der durchschnittlichen Schwierigkeit der Fragen bei den verschiedenen Prüfungsdurchführungen anzupassen. Bei der Skalierung wird dem höchsten Essay-Rohwert derselbe Wert zugewiesen wie dem höchsten MBE-Skalenwert in Texas, dem zweithöchsten Essay-Rohwert derselbe Wert wie dem zweithöchsten MBE-Skalenwert, und so weiter, bis dem niedrigsten Essay-Rohwert derselbe Wert zugewiesen wird wie dem niedrigsten MBE-Skalenwert. Die umgerechneten Punktzahlen werden als Aufsatz-Skalenpunktzahlen“ bezeichnet. Dasselbe Verfahren wird für die Umrechnung der MPT- und P&E-Rohwerte in Skalenwerte verwendet.

Texas verwendet die folgende Formel, um die Gesamtpunktzahl jedes Bewerbers zu berechnen, so dass die Gewichtung der Tests MBE, Essay, MPT und P&E jeweils 40, 40, 10 und 10 Prozent beträgt:

Gesamtskala = 2(MBE-Skala) + 2(Aufsatzskala) + (MPT-Skala)/2 + (P&E-Skala)/2

Bewerber mit einer Gesamtskala von 675 oder mehr haben bestanden. Alle anderen fallen durch. Dieser Pass/Fail-Standard (der einem Wert von 135 auf der MBE-Skala entspricht) ist mit den Standards vergleichbar, die von den meisten anderen Staaten verwendet werden.

Analyse Stichprobendaten

Das Anmeldeformular für die Prüfung im Juli 2004 enthielt einen Abschnitt, in dem die Kandidaten ihr Geschlecht und ihre Rasse/ethnische Gruppe angeben konnten. Fast alle Prüfungsteilnehmer füllten auch einen Fragebogen aus, der in einer Prüfungspause verteilt wurde, obwohl nicht jeder jede Frage beantwortete. Eine Kopie dieser Umfrage ist am Ende dieses Berichts beigefügt.

Die Bewerber des Jahres 2003, deren Daten in diesem Bericht verwendet werden, haben ihren Abschluss an den neun juristischen Fakultäten in Texas gemacht, die von der amerikanischen Anwaltskammer akkreditiert sind. Diese Schulen haben uns die Ergebnisse des Law School Admission Test (LSAT), den Notendurchschnitt im Grundstudium (UGPA) und den Notendurchschnitt in der juristischen Ausbildung (LGPA) ihrer Absolventen, die im Juli 2004 an der Anwaltsprüfung in Texas teilgenommen haben, zur Verfügung gestellt. Keine der von den juristischen Fakultäten zur Verfügung gestellten Daten wurden dem Texas Board of Law Examiners zugänglich gemacht. Diese Daten gelten als Eigentum der einzelnen juristischen Fakultäten und werden zu keinem Zeitpunkt veröffentlicht. Das Texas Board of Law Examiners hat uns die Daten zu den Prüfungsergebnissen und zum Wiederholerstatus dieser Bewerber zur Verfügung gestellt. Alle vom Texas Board of Law Examiners gemeldeten Daten wurden gemäß Texas Government Code Sec. 82.029 an die juristischen Fakultäten weitergegeben und können in Übereinstimmung mit diesem Gesetz nicht weiter veröffentlicht werden.

Alle Daten wurden uns zur Verfügung gestellt, ohne die Identität eines Kandidaten preiszugeben, und wurden durch eine gemeinsame Studien-ID-Nummer für jeden Kandidaten verknüpft. Die Vertraulichkeit dieser Daten wurde durch Verfahren gewahrt, die verhinderten, dass wir Zugang zu den Namen der Bewerber hatten und dass die texanische Behörde Zugang zu den von den juristischen Fakultäten zur Verfügung gestellten Daten hatte.

Vorläufige Analysen

Es ist allgemein bekannt, dass die Benotungsstandards der einzelnen juristischen Fakultäten unterschiedlich sind. Eine 3,00 LGPA an einer Schule kann einem wesentlich höheren oder niedrigeren Leistungsniveau entsprechen als eine 3,00 an einer anderen Schule. Für mehrere Analysen müssen jedoch die LGPAs der verschiedenen Schulen kombiniert werden. Um mögliche Unterschiede in den Benotungsstandards zwischen den Schulen auszugleichen, haben wir die LGPAs innerhalb einer Schule in eine Punkteverteilung umgewandelt, die denselben Mittelwert und dieselbe Standardabweichung aufweist wie die Verteilung der LSAT-Ergebnisse an dieser Schule. Diese Umrechnung wird im gesamten Bericht verwendet.

Die Bewerber gaben auf ihrem Bewerbungsformular ihr Geschlecht und ihre Rasse/ethnische Gruppe an. Die Analysestichprobe enthielt Bewerber aus 19 rassischen/ethnischen Gruppen, aber es gab nur wenige Bewerber in einigen dieser Gruppen. Dies veranlasste uns, die folgenden fünf Cluster für unsere Analysen zu bilden:

Asiatisch = asiatisch, chinesisch, japanisch, koreanisch, pazifisch, polynesisch und vietnamesisch
Schwarz = afroamerikanisch, afrikanisch und schwarz
Hispanisch = hispanisch, mexikanisch, kubanisch, puertoricanisch, latein, und Mittel-/Südamerikaner
Weiß = Kaukasisch und Weiß
Sonstige = Alle anderen (einschließlich 5 Ureinwohner Amerikas und ohne Rasse/Ethnie)

Forschungsfragen und Antworten

1) Haben Männer und Frauen vergleichbare Erfolgsquoten und Testergebnisse bei der Anwaltsprüfung?

Ja. Männer und Frauen hatten nahezu identische Bestehensquoten (74,73 Prozent bzw. 74,85 Prozent). Auch die Anzahl der Männer und Frauen in unserer Stichprobe mit neun Schulen war nahezu identisch (1005 bzw. 998). Tabelle 1a zeigt, dass Männer einen etwas höheren LSAT-Mittelwert erzielten als Frauen, während es sich beim UGPA umgekehrt verhielt. Männer und Frauen hatten sehr ähnliche durchschnittliche LGPAs.

Tabelle 1a
Mittlere UGPAs, LSAT-Punkte und LGPAs nach Geschlecht

Punkte	Männer	Frauen	Alle Teilnehmer
UGPA	3.15	3.29	3.22
LSAT	153.8	153.0	153.4
LGPA	152.8	154.0	153.4

Standardabweichungen für alle Teilnehmer für UGPA, LSAT und LGPA waren 0.47, 7,34 bzw. 10,41.

Im Durchschnitt erzielten Männer beim MBE etwas mehr Punkte als Frauen, während es in anderen Abschnitten umgekehrt war (siehe Tabelle 1b). Dieses Ergebnis steht im Einklang mit den Ergebnissen zu den geschlechtsspezifischen Effekten, die in den regelmäßig vom California Committee of Bar Examiners veröffentlichten technischen Berichten dargestellt werden. Die Unterschiede in den mittleren Punktzahlen zwischen den Geschlechtergruppen glichen sich aus, so dass Männer und Frauen insgesamt nahezu identische mittlere Gesamtskalenwerte aufwiesen.

Tabelle 1b
Mittelwert der Skalenwerte für die Anwaltsprüfung nach Geschlecht und für alle Teilnehmer

Score	Männer	Frauen	alle Teilnehmer
MBE	142.6	140.2	141.4
Essay	141.4	143.0	142.2
MPT	140.0	143.0	141.5
P&E	142.0	143.1	142.6
Gesamtskala	708,5	708,9	708,7

Die Standardabweichungen für die MBE-, Aufsatz-, MPT- und P&E-Bewertungen lagen alle bei 13,0. Die Standardabweichung für die Gesamtskala betrug 54,5.

2) Haben verschiedene rassische/ethnische Gruppen vergleichbare Bestehensquoten und Punktzahlen bei der Zulassungsprüfung?

Nein. Unter Verwendung der oben genannten rassischen/ethnischen Gruppenbezeichnungen hatten Weiße und Asiaten statistisch signifikant höhere Bestehensquoten und durchschnittliche Punktzahlen bei der Zulassungsprüfung als ihre Klassenkameraden. Dies gilt sowohl für Erst- als auch für Wiederholungsteilnehmer.

Tabelle 2a zeigt die Anzahl der Bewerber nach Rasse/ethnischer Gruppe und Wiederholungsstatus. Tabelle 2b zeigt die Bestehensquoten. Diese Daten zeigen, dass 75 Prozent der Bewerber des Jahres 2003 in der Analysestichprobe bestanden haben. Die Bestehensquote der Erstbewerber (81 %) war fast doppelt so hoch wie die der Wiederholer (42 %). Schwarze und Hispanoamerikaner machten zusammen 18 % der Erstbewerber, aber 36 % der Wiederholer aus.

Tabelle 2a
Anzahl der Teilnehmer nach rassischer/ethnischer Gruppe und Wiederholerstatus

Gruppe	Weiß	Asiatisch	Hispanisch	Schwarz	Andere	Gesamt
Erstsemester	1290	75	162	138	35	1700
Wiederholer	178	13	47	58	7	303
Gesamt	1468	88	209	196	42	2003

Tabelle 2b
Prozent der bestandenen Prüfungen nach rassischer/ethnischer Gruppe und Wiederholerstatus

Gruppe	Weiß	Asiatisch	Hispanisch	Schwarz	Andere	Gesamt
Erstmalige	85	80	69	53	74	81
Wiederholer	49	46	30	28	29	42
Insgesamt	81	75	60	45	67	75

Tabelle 3a (die die Daten aller 2003 in der Analysestichprobe enthaltenen Bewerber verwendet) zeigt den mittleren UGPA-Wert der einzelnen Gruppen, LSAT-Punktzahl und LGPA.

Tabelle 3b zeigt den Mittelwert der Ergebnisse bei der Anwaltsprüfung. Diese Daten zeigen, dass die mittlere Punktzahl einer Gruppe in den vier Prüfungsabschnitten sehr ähnlich war. Die einzige Ausnahme war, dass asiatische Bewerber beim MPT besonders gut abschnitten, aber das könnte angesichts der vergleichsweise geringen Zuverlässigkeit einer einzelnen MPT-Aufgabe leicht auf Zufall zurückzuführen sein. Hispanoamerikaner und Schwarze schnitten bei der MBE etwa genauso gut ab wie bei den schriftlichen Prüfungsteilen. Insgesamt hatte das Prüfungsformat also keinen Einfluss auf die Unterschiede in der mittleren Gesamtpunktzahl zwischen den Gruppen.

Tabelle 3a
Mittlerer UGPA, LSAT, und LGPA nach Rasse/Ethnie

Punktzahl	Weiß	Asiatisch	Hispanisch	Schwarz	Andere
UGPA	3.28	3.27	3.06	2.94	3.18
LSAT	154.6	154.9	149.5	146.6	152.5
LGPA	154.9	154.2	149.3	146.8	151.6

Tabelle 3b
Mittelwerte der texanischen Anwaltsprüfung nach Rasse/ethnischer Gruppe

Score	Weiß	Asiatisch	Hispanisch	Schwarz	Andere
MBE	143.3	138.0	136.2	134.0	141.9
Aufsatz	144.1	141.5	137.6	133.6	140.8
MPT	142.9	145.3	136.7	134.9	138.7
P&E	144.0	138.9	139.9	136.9	142.0
Gesamtwert	717.7	700.6	685.5	670.5	705.3

3) Korrespondieren die Unterschiede in den Bestehensquoten der Anwaltsprüfung zwischen den verschiedenen Rassen/Ethnien mit den Unterschieden in den Zulassungsvoraussetzungen und den Noten an der juristischen Fakultät?

Ja. Wir haben festgestellt, dass die Bewerber der verschiedenen ethnischen Gruppen bei der Anwaltsprüfung im Durchschnitt genauso gut abgeschnitten haben, wie es aufgrund ihrer Zulassungsvoraussetzungen und Schulnoten zu erwarten gewesen wäre.

Wir haben diese Frage auf zwei Arten untersucht. Erstens stellten wir fest, dass der 8-Punkte-Unterschied im mittleren LGPA zwischen Weißen und Schwarzen einer Standardabweichung von 0,78 Einheiten entsprach. Dies war fast identisch mit dem Unterschied (in Standardabweichungseinheiten) zwischen den mittleren Gesamtskalenwerten dieser Gruppen. Die Größe des Unterschieds zwischen Weißen und Hispanoamerikanern bei der LGPA war ebenfalls sehr ähnlich wie der Unterschied (in Standardabweichungseinheiten) zwischen diesen Gruppen bei den Gesamtskalenwerten. Asiaten waren die einzige Gruppe, die bei der Zulassungsprüfung nicht ganz so gut abschnitt, wie es auf der Grundlage ihrer LGPAs zu erwarten gewesen wäre.

Unser zweiter (und statistisch ausgefeilterer und präziserer) Ansatz bestand darin, zwei „multiple Regressions“-Gleichungen zu konstruieren, um die Gesamtskala der Zulassungsprüfung eines Bewerbers vorherzusagen. Eine dieser Gleichungen enthielt den UGPA, das LSAT-Ergebnis und den LGPA des Bewerbers. Die andere Gleichung enthielt dieselben Variablen sowie das Geschlecht und die Rasse/ethnische Gruppe des Bewerbers. Diese Analyse ergab, dass die Rasse/ethnische Gruppe fast keinen Zusammenhang mit den Ergebnissen der Anwaltsprüfung hat, sobald die Zulassungsnachweise und die Schulnoten des Bewerbers kontrolliert werden.

Insbesondere erklärte die erste Gleichung 37,2 Prozent der Varianz der Gesamtergebnisse der Anwaltsprüfung, während die zweite Gleichung 37,8 Prozent erklärte, d.h. nur 0,6 Prozent mehr. Die Hinzufügung des Geschlechts und der Rasse/Ethnie in die Gleichung hatte also keine praktischen Auswirkungen auf die Vorhersagegenauigkeit. Alle Gruppen (einschließlich Asiaten) schnitten wie erwartet ab. Kurz gesagt, die Ergebnisse von Minderheiten und Nicht-Minderheiten bei der Anwaltsprüfung entsprachen in hohem Maße dem, was angesichts der Unterschiede bei den Zulassungsvoraussetzungen und den Noten an den juristischen Fakultäten zu erwarten gewesen wäre. Die Prüfung hat die Unterschiede zwischen den Gruppen, die bereits vor der Prüfung bestanden, weder vergrößert noch verkleinert.

Unsere Analysen innerhalb und zwischen den Schulen haben auch gezeigt, dass es eine große Varianz bei den Prüfungsergebnissen gibt, die nicht durch UGPA, LSAT, LGPA, Geschlecht und Rasse/Ethnie erklärt wird. Ein erheblicher Teil der Unterschiede in den Prüfungsergebnissen der Kandidaten muss daher auf andere Faktoren zurückzuführen sein, z. B. auf die Art und Weise, wie sich die Bewerber auf die Prüfung vorbereitet haben.

4) Waren einige Aktivitäten zur Vorbereitung auf die Zulassungsprüfung mit einer höheren Punktzahl verbunden?

Ja. Fast alle Bewerber in unserer Analysestichprobe gaben an, in den sechs Monaten vor dem Examen an einem oder mehreren kommerziellen Vorbereitungskursen teilgenommen zu haben. Um zu untersuchen, ob einige dieser Aktivitäten hilfreicher waren als andere, haben wir eine Regressionsgleichung aufgestellt, die die LSAT-Punktzahl der Bewerber, das LGPA und ihre Antworten auf die einzelnen Fragen in der Studentenumfrage enthielt (siehe beigefügte Kopie dieses Fragebogens).

Diese Analyse ergab, dass die Bewerber tendenziell 4 bis 10 Punkte mehr auf der Gesamtskala erhielten, wenn sie in den sechs Monaten vor dem Examen eine oder mehrere der folgenden Maßnahmen ergriffen hatten: Teilnahme an Vorlesungen und Diskussionsrunden, Nutzung von Internetkursen und Verwendung von Studienführern und Büchern in Papierform. Der Prozentsatz der Kandidaten, die diese Methoden nutzten, betrug: 85, 28 bzw. 95 (viele Bewerber verwendeten mehr als eine Strategie).

Wir waren überrascht, dass die Verwendung von gedruckten Studienmaterialien einen statistisch signifikanten Effekt hatte, da fast alle Bewerber sie verwendeten. Es ist offensichtlich, dass diejenigen, die sie nicht nutzten, nicht gut bedient wurden. Der Effekt der Nutzung von Internet-Lektionen war nicht so stark wie der Effekt der Nutzung der beiden anderen Methoden.

Ungefähr 21 Prozent der schwarzen und hispanischen Bewerber (und 15 Prozent aller anderen Bewerber) gaben an, dass sie in den fünf Wochen vor der Prüfung im Juli 2004 20 oder mehr Stunden gearbeitet haben (ohne die bezahlte Freistellung, die sie möglicherweise von ihrem Arbeitgeber erhalten haben, um für die Prüfung zu lernen). Im Durchschnitt verdienten die Bewerber, die arbeiteten, etwa 15 Punkte weniger auf der Skala als ihre Klassenkameraden mit vergleichbaren LSAT-Ergebnissen und LGPAs. Um diesen statistisch signifikanten Unterschied von 15 Punkten in der Gesamtskala zu relativieren, ist er vergleichbar mit dem einmaligen Effekt (d. h.,

5) Erzielen die Studenten einiger juristischer Fakultäten im Allgemeinen höhere oder niedrigere Ergebnisse bei der Zulassungsprüfung, als aufgrund ihrer durchschnittlichen LSAT-Ergebnisse zu erwarten wäre?

Im Allgemeinen nein. Wie auf der Website des Texas Board of Law Examiners (www.ble.state.tx.us) zu lesen ist, gibt es große Unterschiede bei den Erfolgsquoten der einzelnen Schulen. Wir haben festgestellt, dass sich fast alle diese Unterschiede durch Unterschiede in den Zulassungsergebnissen der Studenten erklären lassen, die sie abschließen. So besteht beispielsweise ein nahezu perfekter Zusammenhang zwischen der durchschnittlichen Gesamtzahl der Prüfungsergebnisse einer juristischen Fakultät und ihrer durchschnittlichen LSAT-Punktzahl (die Korrelation beträgt 0,98 von 1,00). Viele Absolventen einer juristischen Fakultät schneiden bei der Zulassungsprüfung besser oder schlechter ab, als aufgrund ihrer eigenen LSAT-Punktzahl zu erwarten wäre, aber diese Unterschiede gleichen sich fast vollständig aus, wenn die Daten nach Schulen analysiert werden. Dennoch lag die durchschnittliche Gesamtpunktzahl einer Schule bei der Zulassungsprüfung um 10 Punkte über dem Wert, der auf der Grundlage ihrer durchschnittlichen LSAT-Punktzahl zu erwarten wäre (die Wahrscheinlichkeit, dass ein Unterschied dieser Größenordnung zufällig auftritt, liegt bei weniger als 5 zu 100).

Schlussfolgerungen und Empfehlungen

Männer erzielen beim MBE eine etwas höhere Punktzahl als Frauen, während es bei den übrigen Prüfungsteilen umgekehrt ist, so dass die Gesamtpunktzahl und die Bestehensquote bei der Zulassungsprüfung in Texas insgesamt fast identisch sind. Männer und Frauen haben in Texas auch vergleichbare Zulassungsvoraussetzungen.

Schwarze und hispanische Kandidaten sind nicht gleichmäßig auf die neun texanischen juristischen Fakultäten verteilt. An einigen Schulen sind sie sehr viel häufiger vertreten als an anderen. Auch bei den Bestehensquoten gibt es große Unterschiede zwischen den Schulen. Die großen Unterschiede bei den Erfolgsquoten zwischen den verschiedenen Rassen/Ethnien haben jedoch nichts damit zu tun, welche juristischen Fakultäten sie besuchen, denn fast alle Schulen schneiden bei der Anwaltsprüfung so gut ab, wie man es auf der Grundlage der durchschnittlichen LSAT-Ergebnisse ihrer Absolventen erwarten würde. Das ist der Grund für die Unterschiede in den Prüfungsergebnissen zwischen den Gruppen.

Die Unterschiede in den Ergebnissen zwischen den rassischen/ethnischen Gruppen waren in den verschiedenen Abschnitten der Prüfung recht ähnlich. Mit der möglichen Ausnahme von Asiaten, die bei der MPT besonders gut abschnitten, war kein Abschnitt für eine bestimmte Rasse/Ethnie besonders leicht oder schwer. Darüber hinaus spiegeln die Gesamtergebnisse bei der Anwaltsprüfung im Wesentlichen die Unterschiede zwischen den Zulassungsvoraussetzungen und den Schulnoten dieser Gruppen wider. Die Zulassungsprüfung scheint also die Unterschiede zwischen den Gruppen, die bereits vor der Prüfung bestanden, weder zu vergrößern noch zu verkleinern.

Wir haben auch festgestellt, dass ein erheblicher Teil der Unterschiede in den Prüfungsergebnissen der Bewerber nicht auf Unterschiede in den Zulassungsbedingungen, den Schulnoten, dem Geschlecht oder der Rasse/ethnischen Gruppe zurückzuführen ist. Ein kleiner, aber statistisch signifikanter Teil dieser verbleibenden Varianz hängt damit zusammen, ob der Bewerber in den fünf Wochen vor dem Examen mehr als 20 Stunden gearbeitet hat. Bei schwarzen und hispanischen Bewerbern war die Wahrscheinlichkeit, dass sie in diesem Zeitraum arbeiteten, etwa 1,5 Mal höher als bei anderen Bewerbern. Einige andere Faktoren der Prüfungsvorbereitung, wie die Teilnahme an Vorlesungen und Diskussionen im Rahmen eines kommerziellen Wiederholungskurses, standen ebenfalls in Zusammenhang mit der Punktzahl.

Angesichts der obigen Ergebnisse sehen wir keinen Grund, Änderungen an der Art der Prüfung selbst vorzunehmen. Sie scheint ausgewogen und fair für alle Teilnehmer zu sein. Außerdem entsprechen die Ergebnisse der Prüfung weitgehend den Einschätzungen der juristischen Fakultäten über die Fähigkeiten ihrer Absolventen (wie die allgemein hohe Korrelation zwischen den Noten der juristischen Fakultäten und den Ergebnissen der Anwaltsprüfung an jeder Schule zeigt). Dennoch deuten die Ergebnisse zu den Vorbereitungsfaktoren darauf hin, dass in diesem Bereich etwas getan werden könnte, um die Erfolgsquoten von Minderheiten bei der Zulassungsprüfung zu verbessern. Dazu könnte die Bereitstellung von Finanzmitteln (und vielleicht Stipendien für die Teilnahme an Vorbereitungskursen) für Studenten gehören, die zwar gute Studienleistungen erbracht haben, aber möglicherweise nicht über alle finanziellen Mittel verfügen, die sie benötigen, um sich in gleicher Weise wie ihre Klassenkameraden auf die Prüfung vorzubereiten.

Umfrage unter Examenskandidaten der texanischen Anwaltskammer im Juli 2004

Bitte kreuzen Sie bei jeder der folgenden Fragen das Kästchen Ja oder Nein an:

Frage	Ja	Nein
1. Waren Sie in den fünf Wochen vor der Prüfung im Juli 2004 im Durchschnitt 20 Stunden pro Woche oder mehr beschäftigt? (Bezahlter Urlaub zum Lernen für das Examen wird nicht mitgezählt).
2. War Englisch die Hauptsprache, die in Ihrem Elternhaus gesprochen wurde, als Sie aufwuchsen?
3. Sind Sie die erste Person in Ihrer Familie, die einen Hochschulabschluss erworben hat?
4. Sind Sie die erste Person in Ihrer Familie, die einen Hochschul- oder Berufsabschluss erworben hat?
5. Haben Sie in den sechs Monaten vor der Anwaltsprüfung im Juli 2004 einen der folgenden Bestandteile eines kommerziellen Wiederholungskurses besucht?
a. Vortrags- und Diskussionsveranstaltungen
b. Audio- und/oder Videokassetten oder CDs
c. Lektionen im Internet
d. Gedruckte Studienführer und Bücher
6. Haben Sie in den folgenden Zeiträumen an Programmen der juristischen Fakultät teilgenommen, die darauf abzielen, Ihre Fähigkeiten zum Bestehen von Prüfungen oder zum Lernen zu verbessern:
a. Vor der Immatrikulation Sommersitzung
b. 1. Jahr des Jurastudiums
c. 2. Jahr des Jurastudiums
d. 3. Jahr des Jurastudiums

Dr. Stephen Klein ist Seniorpartner der Beratungsfirma GANSK and Associates. In dieser Eigenschaft hat er für die National Conference of Bar Examiners, für mehr als zwei Dutzend staatliche Prüfungsausschüsse, für mehr als ein Dutzend juristische Fakultäten und für die Association of American Law Schools Untersuchungen durchgeführt und Beratungen zu einem breiten Spektrum von Themen durchgeführt. Darüber hinaus war er als Berater für Zertifizierungsausschüsse in den Bereichen Buchhaltung, Akupunktur, Versicherungsmathematik, Zahnmedizin, Medizin, Podologie, Psychologie und Lehre tätig. Er hat als Sachverständiger vor einzelstaatlichen und bundesstaatlichen Gerichten sowie bei legislativen und administrativen Anhörungen in den Bereichen Strafjustiz, Prüfungen, Bildung, Personal, Wahlrecht und anderen Angelegenheiten ausgesagt. Er diente als vom Bundesgericht ernannter technischer Berater in einer großen Sammelklage, bei der es um Messfragen ging, und beriet die National Academy of Sciences, die National Science Foundation, die Knight Commission on Intercollegiate Athletics, die Little Hoover Commission und viele andere öffentliche und private Behörden und Organisationen. Dr. Klein ist außerdem Senior Research Scientist bei der RAND Corporation in Santa Monica, Kalifornien, wo er Studien zu Fragen der Bildung, des Gesundheitswesens, des Militärs und der Strafjustiz leitete.

Dr. Klein erhielt seinen BS von der Tufts University und seinen M.S. und Ph.D. in Arbeitspsychologie von der Purdue University. Bevor er 1975 zu RAND kam, war er Forschungspsychologe beim Educational Testing Service in Princeton und Associate Professor in Residence an der UCLA, wo er die Abteilung für Forschungsmethoden an der Graduate School of Education leitete. Dr. Klein hat mehr als 250 Publikationen veröffentlicht, er ist Mitglied des Redaktionsausschusses der Review of Educational Research und der American Statistical Association, der American Psychological Association, der American Educational Research Association und des National Council on Measurement in Education.

Dr. Roger Bolus ist Senior Partner der Research Solutions Group, einem Unternehmen, das technische und analytische Dienstleistungen für Forschungsvorhaben in den Bereichen Bildung, Gesundheitswesen und groß angelegte Tests anbietet. Roger Bolus ist außerdem Direktor für Psychometrie am Center for Neurovisceral Sciences in der medizinischen Fakultät der UCLA. In den letzten 25 Jahren hat er in Zusammenarbeit mit Dr. Stephen Klein statistische, psychometrische und Datenmanagement-Beratung für staatliche Anwaltsprüfungsausschüsse im ganzen Land geleistet. Zu den derzeitigen Kunden gehören die Anwaltskammern von Kalifornien, Illinois, Maryland, Ohio, Massachusetts, Texas, Delaware und Nevada. Im Rahmen dieser Arbeit hat Roger Bolus ein Fachwissen über die Gestaltung, Verwaltung und Analyse großer, komplexer Datenbanken im Zusammenhang mit juristischen Prüfungen entwickelt. Dr. Bolus‘ derzeitige Interessen liegen im Bereich der Anpassungsfähigkeit des Internets für die Verwaltung und Auswertung offener Antworten bei Tests mit hohen Anforderungen. Dr. Bolus erwarb seinen M.A. und seinen Ph.D. an der University of California, Los Angeles School of Education mit einer Spezialisierung in Educational Testing, Measurement and Evaluation (1981). Er ist Autor oder Mitautor von über 30 Artikeln und technischen Berichten und hat auf mehreren nationalen Konferenzen zu den Themen Tests und Ergebnisbewertung gesprochen.