TEXAS BOARD of LAW EXAMINERS

ANALYSE VAN JULI 2004 TEXAS BAR EXAM RESULTATEN PER GENDER EN RACIAL/ETHNIC GROUP

Stephen P. Klein, Ph.D. and Roger Bolus, Ph.D.
GANSK & Associates

(Deze analyse werd in juni 2006 bijgewerkt. Klik hier voor details.)
December 15, 2004

Texas Government Code Sec. 82.0291 droeg de Texas Board of Law Examiners op om “een rapport samen te stellen met het aantal kandidaten dat niet slaagde voor het bar examen van juli 2004. De gegevens moeten worden geaggregeerd naar geslacht, etniciteit en ras. Het rapport moet ook een analyse bevatten van de identificeerbare oorzaken van de mislukking en aanbevelingen, indien van toepassing, om de oorzaken van de mislukking aan te pakken.”

De hieronder beschreven analyses werden uitgevoerd om te reageren op deze wetgeving. Als achtergrond voor wat volgt, beginnen we met een samenvatting van de belangrijkste kenmerken van het Texaanse bar-examen en hoe de scores daarop worden berekend en beslissingen over slagen/niet-slagen worden genomen. Vervolgens beschrijven we de procedures die zijn gebruikt om de gegevens voor onze analyses te verzamelen en te verwerken. Tenslotte geven wij informatie over de grootte en de aard van de verschillen in bar-examenscores en slagingspercentages tussen gender en raciale/etnische groepen, alsmede de resultaten van onze analyses van bepaalde factoren die wel en niet gerelateerd zijn aan deze verschillen. De specifieke vragen die wij in onze analyses behandelen zijn de volgende:

1. Hebben mannen en vrouwen vergelijkbare bar-examen slaagpercentages en testscores? Bevindingen
2. Hebben verschillende raciale/etnische groepen vergelijkbare slaagpercentages en scores voor het bar-examen? Bevindingen
3. Komen de verschillen in slaagpercentages en scores voor het bar-examen tussen raciale/etnische groepen overeen met de verschillen in hun toelatingspapieren en hun cijfers voor de rechtenstudie? Bevindingen
4. Waren sommige activiteiten ter voorbereiding op het bar-examen geassocieerd met hogere scores? Bevindingen
5. Scoren de studenten aan sommige rechtenfaculteiten als groep in het algemeen hoger of lager op het bar-examen dan op basis van hun gemiddelde LSAT-scores zou worden verwacht? Bevindingen

Texas Bar Exam Components

Het Texas Bar Exam is een twee en een halve dag durende test. Er is één dag voor het Texas essay gedeelte, één dag voor het Multistate Bar Exam, en een halve dag voor de combinatie van de Multistate Performance Test en de Texas Procedure and Evidence test. De belangrijkste kenmerken van deze vier onderdelen zijn als volgt:

Multistate Bar Exam (MBE). Het MBE is een meerkeuzetoets van 200 vragen, die zes uur duurt. De MBE-vragen (of “items”) worden voorbereid en gescoord door American College Testing (ACT) onder de algemene leiding van de National Conference of Bar Examiners. De MBE heeft een ongeveer gelijk aantal items in elk van de volgende zes onderwerpen: Constitutioneel recht, contractenrecht, strafrecht, bewijsmateriaal, eigendom en onrechtmatige daad. De MBE “ruwe” score van een kandidaat is het aantal correct beantwoorde vragen.

Ruwweg 30 procent van de MBE-vragen die bij één examen (zoals dat van juli 2004) worden gesteld, zijn al eerder gebruikt. ACT gebruikt de gegevens over deze herhaalde items om de ruwe scores van de MBE aan te passen voor mogelijke verschillen in de gemiddelde moeilijkheidsgraad van de vragen bij de verschillende toelatingen. Als gevolg van dit kalibratieproces (dat “equating” of “scaling” wordt genoemd) geeft een bepaalde MBE-score op “schaal” ongeveer hetzelfde vaardigheidsniveau aan, ongeacht de administratie waarmee de score is behaald.

Multistate Performance Test (MPT). Texas administreert een 90 minuten durende MPT vraag of “taak”, bestaande uit een juridische analyse en schrijfopdracht. Deze taak wordt ontwikkeld onder leiding van de National Conference of Bar Examiners. Er is een nieuwe taak voor elke administratie. Texas lezers beoordelen de antwoorden op een schaal van 1 tot 6 in intervallen van halve punten.

Een MPT-taak beoordeelt bepaalde praktijkgerichte juridische onderzoeks-, analyse-, en schrijfvaardigheden. Een taak bestaat uit een dossier dat eruit ziet als een typisch advocatendossier (bijv. brieven, memo’s, rapporten, en dergelijke) en bevat relevante en irrelevante materialen en een bibliotheek met alle jurisprudentie, statuten, en secundaire materialen die nodig zijn om verschillende zaken in een hypothetische zaak te behandelen. Kandidaten gebruiken het dossier en de bibliotheek om een realistische taak uit te voeren, zoals het opstellen van een memo aan een senior advocaat, een brief aan een cliënt of een advocaat van de tegenpartij, of een brief die bij een rechtbank moet worden ingediend. Het zes uur durende essay-gedeelte van het Texaanse examen bestaat uit 12 vragen op gebieden als bedrijfsverenigingen, testamenten, onroerend goed en familierecht. Leden van de Texas Board of Law Examiners stellen de vragen op met de hulp van professionele redacteurs. Leden van de commissie en ervaren beoordelaars van advocaten beoordelen de antwoorden op elke vraag op een schaal van 1 tot 25 punten. De maximaal haalbare ruwe score is 12 x 25 = 300 punten.

Texas Procedure and Evidence (P&E) Test. De 90 minuten durende P&E test bevat 20 korte civiele vragen en 20 korte strafrechtelijke vragen. De Texas Board of Law Examiners is verantwoordelijk voor het opstellen van deze vragen en zij en hun medewerkers beoordelen de antwoorden op elke vraag op een schaal van 0 tot 5. Texas deelt de totale P&E ruwe score op elke sectie door 2 (en rondt het resultaat af op een geheel getal), zodat de maximaal mogelijke totale P&E ruwe score over de twee secties 100 punten is.

Totale scores en slagen/niet-slagen beslissingen

Texas converteert de totale ruwe scores van essays naar dezelfde meetschaal als die wordt gebruikt voor de MBE. Dit wordt gedaan om de opstel-scores aan te passen voor mogelijke verschillen in gemiddelde moeilijkheidsgraad van de vragen bij de verschillende toelatingen. De schaalverdeling houdt in dat aan de hoogste totale ruwe essayscore dezelfde waarde wordt toegekend als aan de hoogste MBE schaalscore in Texas, aan de op één na hoogste totale ruwe essayscore dezelfde waarde als aan de op één na hoogste MBE schaalscore, enzovoort, totdat aan de laagste totale ruwe essayscore dezelfde waarde wordt toegekend als aan de laagste MBE schaalscore. De omgezette scores worden essay-“schaal “scores genoemd. Dezelfde procedure wordt gebruikt om de ruwe scores van MPT en P&E om te zetten in schaalscores.

Texas gebruikt de volgende formule om de totale schaalscore van elke kandidaat te berekenen, zodat de aan de MBE-, Essay-, MPT-, en P&E-tests toegekende gewichten respectievelijk 40, 40, 10, en 10 procent zijn:

Totale schaal = 2(MBE Schaal) + 2(Essay Schaal) + (MPT Schaal)/2 + (P&E Schaal)/2

Aanvragers met een totale schaalscore van 675 of hoger zijn geslaagd. Alle anderen zijn niet geslaagd. Deze norm voor slagen/niet-slagen (die overeenkomt met 135 op de MBE-schaal) is vergelijkbaar met de normen die in de meeste andere staten worden gehanteerd.

Analyse steekproefgegevens

Het aanmeldingsformulier voor het examen van juli 2004 bevatte een onderdeel waarin kandidaten hun geslacht en ras/etnische groep vermeldden. Bijna alle deelnemers aan het examen vulden ook een vragenlijst in die tijdens een pauze werd uitgedeeld, hoewel niet iedereen alle vragen beantwoordde. Een kopie van deze enquête is aan het eind van dit verslag bijgevoegd.

De kandidaten van 2003 van wie de gegevens in dit verslag worden gebruikt, zijn afgestudeerd aan de negen rechtenfaculteiten in Texas die door de American Bar Association zijn geaccrediteerd. Deze scholen verstrekten ons de scores van de Law School Admission Test (LSAT), de gemiddelde cijfers van hun bachelorstudie (UGPA’s) en de gemiddelde cijfers van hun rechtenstudie (LGPA’s) voor hun afgestudeerden die in juli 2004 het Texaanse bar-examen aflegden. Geen van de door de rechtenfaculteiten verstrekte gegevens zijn aan de Texas Board of Law Examiners meegedeeld. Deze gegevens worden beschouwd als het eigendom van de individuele rechtenfaculteiten en zullen nooit openbaar worden gemaakt. De Texas Board of Law Examiners heeft ons de scores van deze aanvragers op het bar-examen en de gegevens over de herhalingsstatus verstrekt. Alle door de Texas Board of Law Examiners gerapporteerde gegevens zijn bekendgemaakt aan de rechtenfaculteiten overeenkomstig Texas Government Code Sec. 82.029 en kunnen niet verder worden bekendgemaakt in overeenstemming met dat statuut.

Alle gegevens zijn aan ons verstrekt zonder de identiteit van een kandidaat te onthullen en zijn gekoppeld via een gemeenschappelijk studie-ID-nummer voor elke kandidaat. De vertrouwelijkheid van deze gegevens werd bewaard door procedures te gebruiken die ons ervan weerhielden toegang te hebben tot de namen van de kandidaten en de Texas Board ervan weerhielden toegang te hebben tot de gegevens die door de rechtenfaculteiten werden verstrekt.

Voorbereidende analyses

Het is algemeen erkend dat de beoordelingsnormen variëren tussen de rechtenfaculteiten. Een LGPA van 3,00 aan de ene school kan overeenkomen met een aanzienlijk hoger of lager niveau van bekwaamheid dan een 3,00 aan een andere school. Verschillende analyses vereisen echter dat LGPA’s tussen scholen worden gecombineerd. Om te corrigeren voor mogelijke verschillen in beoordelingsnormen tussen scholen, hebben we de LGPA’s binnen een school omgezet naar een scoreverdeling die hetzelfde gemiddelde en dezelfde standaardafwijking had als de verdeling van de LSAT-scores op die school. Deze omrekening wordt in dit hele rapport gebruikt.

Aanvragers gaven hun geslacht en ras/etnische groep aan op hun aanmeldingsformulier. De analysesteekproef bevatte aanvragers uit 19 raciale/etnische groepen, maar er waren slechts enkele kandidaten in sommige van deze groepen. Dit bracht ons ertoe de volgende vijf clusters te vormen voor onze analyses:

Aziatisch = Aziatisch, Chinees, Japans, Koreaans, Pacific Islander, Polynesisch, en Vietnamees
Zwart = Afro-Amerikaans, Afrikaans, en Zwart
Hispanic = Hispanic, Mexicaans, Cubaans, Puerto Ricaans, Latijns, and Central/South American
White = Kaukasisch en blank
Other = All others (omvat 5 inheemse Amerikanen en weggelaten raciale/etnische groep)

Research Questions and Answers

1) Hebben mannen en vrouwen vergelijkbare slaagpercentages en testscores voor het bar-examen?

Ja. Mannen en vrouwen hadden vrijwel identieke slagingspercentages (74,73 procent en 74,85 procent, respectievelijk). Er waren ook vrijwel identieke aantallen mannen en vrouwen in onze steekproef van negen scholen (respectievelijk 1005 en 998). Tabel 1a laat zien dat mannen een iets hogere gemiddelde LSAT-score hadden dan vrouwen, terwijl het omgekeerde gold voor UGPA. Mannen en vrouwen hadden zeer vergelijkbare gemiddelde LGPAs.

Tabel 1a
Gemiddelde UGPA’s, LSAT-scores, en LGPA’s per geslacht

Score	Mannen	Vrouwen	Alle Deelnemers
UGPA	3.15	3.29	3.22
LSAT	153.8	153.0	153.4
LGPA	152.8	154.0	153.4

Standaardafwijkingen voor alle deelnemers voor UGPA, LSAT, en LGPA waren 0.47, 7.34, en 10.41, respectievelijk.

Gemiddeld scoorden mannen iets hoger dan vrouwen op de MBE, terwijl het omgekeerde het geval was op andere onderdelen (zie tabel 1b). Deze bevinding komt overeen met de resultaten met betrekking tot gendereffecten die worden gepresenteerd in technische rapporten die regelmatig worden gepubliceerd door de California Committee of Bar Examiners. De verschillen in gemiddelde scores tussen de seksegroepen hielden elkaar in evenwicht zodat mannen en vrouwen over het geheel genomen vrijwel identieke gemiddelde totaalscores hadden.

Tabel 1b
gemiddelde bar-exam schaalscores per geslacht en voor alle deelnemers

Score	Mannen	Vrouwen	Alle deelnemers
MBE	142.6	140.2	141.4
Essay	141.4	143.0	142.2
MPT	140.0	143.0	141.5
P&E	142.0	143.1	142.6
Total Scale	708.5	708.9	708.7

Standaarddeviaties voor de MBE, Essay, MPT, en P&E scores waren allemaal 13.0. De totale schaalscore standaardafwijking was 54,5.

2) Hebben verschillende raciale / etnische groepen vergelijkbare bar examen slaagpercentages en scores?

Nee. Met behulp van de raciale / etnische groep benamingen hierboven genoteerd, Blanken en Aziaten hadden statistisch significant hogere bar examen slaagpercentages en gemiddelde bar examen test scores dan hun klasgenoten.

Tabel 2a toont het aantal kandidaten per ras/etnische groep en herhalingsstatus. Tabel 2b toont hun slaagpercentages. Uit deze gegevens blijkt dat 75 procent van de aanvragers uit 2003 in de analysesteekproef slaagde. Het slagingspercentage van de eerste aanvragers (81%) was bijna twee keer zo hoog als dat van de herhalers (42%). Zwarten en Latino’s samen maakten 18 procent uit van de eerste geslaagden, maar 36 procent van de herhalers.

Tabel 2a
Aantal deelnemers per ras/etnische groep en herhaalstatus

Groep	Wit	Aziatisch	Spaans	Zwart	Zwart	Anderen	Totaal
First Timers	1290	75	162	138	35	1700
Repeaters	178	13	47	58	7	303
Totaal	1468	88	209	196	42	2003

Tabel 2b
Percentage voldoendes per rasgroep/etnische Groep en Herhalingsstatus

Groep	Wit	Aziatisch	Hispanic	Zwart	Anderen	Totaal
First Timers	85	80	69	53	74	81
Repeaters	49	46	30	28	29	42
Totaal	81	75	60	45	67	75

Tabel 3a (die gebruik maakt van de gegevens over alle 2003 kandidaten in de analysesteekproef) toont de gemiddelde UGPA van elke groep, LSAT score, en LGPA.

Tabel 3b toont hun gemiddelde bar examen scores. Deze gegevens geven aan dat de gemiddelde schaalscore van een groep zeer vergelijkbaar was over de vier secties van het examen. De enige uitzondering was dat Aziatische kandidaten het bijzonder goed deden op de MPT, maar dit zou gemakkelijk te wijten kunnen zijn aan toeval, gezien de relatief lage betrouwbaarheid van de score op een enkele MPT-taak. Latino’s en zwarten deden het ongeveer even goed op de MBE als op de schriftelijke gedeelten van het examen. De examenopzet had dus geen invloed op de verschillen in gemiddelde totaalscores tussen de groepen.

Tabel 3a
Gemiddelde UGPA, LSAT, and LGPA By Racial/Ethnic Group

Score	White	Asian	Hispanic	Black	Other
UGPA	3.28	3.27	3.06	2.94	3.18
LSAT	154.6	154.9	149.5	146.6	152.5
LGPA	154.9	154.2	149.3	146.8	151.6

Tabel 3b
gemiddelde scores voor Texas Bar Examination per ras/etnische groep

Score	Wit	Aziatisch	Spaans	Zwart	Anders
MBE	143.3	138.0	136.2	134.0	141.9
Essay	144.1	141.5	137.6	133.6	140.8
MPT	142.9	145.3	136.7	134.9	138.7
P&E	144.0	138.9	139.9	136.9	142.0
Totale schaal	717,7	700,6	685,5	670,5	705.3

3) Komen de verschillen in slaagpercentages en scores voor het bar-examen tussen de verschillende raciale/etnische groepen overeen met de verschillen in hun toelatingskenmerken en hun cijfers voor de rechtenstudie?

Ja. We hebben vastgesteld dat de kandidaten van de verschillende raciale/etnische groepen gemiddeld even goed presteerden op het bar-examen als zou worden verwacht op basis van hun toelatingsbrieven en -cijfers.

We hebben deze kwestie op twee manieren onderzocht. Ten eerste, we merkten op dat het 8-punts verschil in gemiddelde LGPA tussen blanken en zwarten gelijk was aan 0,78 standaard deviatie eenheden. Dit was bijna identiek aan het verschil (in standaard deviatie eenheden) tussen de gemiddelde totale schaalscores van deze groepen. De grootte van het verschil tussen blanken en Hispanics op LGPA was ook zeer vergelijkbaar met het verschil (in standaard deviatie eenheden) tussen deze groepen in totale schaalscores. Aziaten waren de enige groep die het niet zo goed deden op het bar-examen als zou worden voorspeld op basis van hun LGPA’s.

Onze tweede (en statistisch meer verfijnde en precieze) benadering bestond uit het construeren van twee “meervoudige regressie”-vergelijkingen om de totale bar-examescore van een kandidaat te voorspellen. Een van deze vergelijkingen bevatte de UGPA, LSAT score, en LGPA van de kandidaat. De andere vergelijking bevatte dezelfde variabelen plus het geslacht en de ras/etnische groep van de kandidaat. Uit deze analyse bleek dat ras/etnische groep bijna geen verband hield met bar-examenscores zodra er controle was op de toelatingskenmerken van de kandidaat en de cijfers van de rechtenfaculteit.

Specifiek verklaarde de eerste vergelijking 37,2 procent van de variantie in de totale bar-examenscores terwijl de tweede 37,8 procent verklaarde, d.w.z. slechts 0,6 procent meer. De toevoeging van geslacht en ras/etnische groep aan de vergelijking had dus geen praktisch effect op de voorspellende nauwkeurigheid. Alle groepen (inclusief Aziaten) presteerden zoals verwacht. Kortom, de bar-examenscores van minderheden en niet-minderheden waren zeer consistent met wat zou worden verwacht op grond van de verschillen in hun toelatingskenmerken en hun rechtenstudieresultaten. Het examen vergrootte of verkleinde niet de verschillen tussen groepen die al aanwezig waren voordat ze aan de test begonnen.

Onze analyses binnen en tussen scholen gaven ook aan dat er veel variantie in bar-examenscores is die niet wordt verklaard door UGPA, LSAT, LGPA, geslacht, en ras/etnische groep. Een aanzienlijk deel van de verschillen in bar-examenscores tussen kandidaten moet dus te wijten zijn aan andere factoren, zoals de manier waarop de kandidaten zich op het examen hebben voorbereid.

4) Waren sommige bar-examenvoorbereidingsactiviteiten geassocieerd met hogere scores?

Ja. Bijna alle kandidaten in onze analysesteekproef meldden te hebben deelgenomen aan een of meer commerciële bar-reviewcursussen in de zes maanden voorafgaand aan het afleggen van het examen. Om te onderzoeken of sommige van deze activiteiten nuttiger waren dan andere, construeerden we een regressievergelijking die de LSAT-score van de kandidaat, LGPA, en hun antwoord op elk van de vragen in de studentenenquête bevatte (zie bijgevoegde kopie van deze vragenlijst).

Deze analyse vond dat aanvragers de neiging hadden om 4 tot 10 meer totale schaalscorepunten te krijgen als ze een of meer van de volgende deden tijdens de zes maanden voorafgaand aan het afleggen van het examen: lezingen en discussiesessies bijwonen, internetlessen gebruiken, en papieren studiegidsen en boeken gebruiken. Het percentage kandidaten dat deze methoden gebruikte was: 85, 28, en 95, respectievelijk (veel kandidaten gebruikten meer dan één strategie).

We waren verrast dat het gebruik van hard copy studiemateriaal een statistisch significant effect had, omdat bijna alle kandidaten ze gebruikten. Het is duidelijk dat degenen die er geen gebruik van maakten, niet goed bediend werden. Het effect van het gebruik van internetlessen was niet zo sterk als de effecten van het gebruik van de andere twee methoden.

Ongeveer 21 procent van de zwarte en Latijns-Amerikaanse kandidaten (en 15 procent van alle andere kandidaten) meldde dat ze 20 of meer uur werkten tijdens de vijf weken voorafgaand aan het examen van juli 2004 (exclusief eventuele betaalde verlofuren die ze van hun werkgever hebben ontvangen om voor het examen te studeren). Gemiddeld behaalden de kandidaten die werkten ongeveer 15 schaalpunten minder dan hun klasgenoten met vergelijkbare LSAT-scores en LGPA’s. Om dit statistisch significante verschil van 15 punten in totale schaalscores in perspectief te plaatsen, is het vergelijkbaar met het unieke effect (d.w.z,

5) Scoren de studenten van sommige rechtenfaculteiten als groep over het algemeen hoger of lager op het bar-examen dan wat zou worden verwacht op basis van hun gemiddelde LSAT-scores?

In het algemeen niet. Zoals vermeld op de website van de Texas Board of Law Examiners (www.ble.state.tx.us), zijn er grote verschillen in de slagingspercentages voor het bar-examen tussen de scholen. Wij vonden dat bijna al deze verschillen kunnen worden verklaard door verschillen in de toelatingsscores van de studenten die zij afleveren. Er is bijvoorbeeld een bijna perfecte relatie tussen de gemiddelde totale bar-examenscore van een rechtenfaculteit en de gemiddelde LSAT-score (de correlatie is .98 op een mogelijke 1.00). Veel van de afgestudeerden van een rechtenfaculteit doen het beter of slechter op het bar-examen dan op basis van hun eigen LSAT-scores zou worden verwacht, maar deze verschillen houden elkaar bijna volledig in evenwicht wanneer de gegevens per school worden geanalyseerd. Desalniettemin was de gemiddelde totale bar-examenscore van één school 10 punten hoger dan wat verwacht zou worden op basis van haar gemiddelde LSAT-score (de kans dat een verschil van deze grootte zich toevallig voordoet is minder dan 5 op 100).

Conclusies en aanbevelingen

Mannen scoren iets hoger dan vrouwen op het MBE, terwijl het omgekeerde geldt voor de rest van het examen, zodat ze over het geheel genomen bijna identieke totaalscores en slaagpercentages hebben voor het Texas bar-examen. Mannen en vrouwen in Texas hebben ook vergelijkbare toelatingscredentials.

Zwarte en Hispanic kandidaten zijn niet gelijkmatig verdeeld over de negen Texaanse rechtenstudies. Zij hebben veel meer kans om naar sommige scholen te gaan dan naar andere. Er zijn ook grote verschillen in slagingspercentages tussen de scholen. De grote verschillen in slagingspercentages tussen de raciale/etnische groepen houden echter geen verband met de vraag naar welke rechtenfaculteit zij gaan, omdat bijna alle scholen het bij het bar-examen ongeveer even goed doen als zou worden verwacht op basis van de gemiddelde LSAT-scores van hun afgestudeerden. Dat is de drijvende kracht achter de verschillen in bar scores tussen groepen.

De verschillen in scores tussen raciale/etnische groepen waren vrij gelijkaardig over de verschillende secties van het examen. Met de mogelijke uitzondering van Aziaten die het bijzonder goed deden op de MPT, viel geen sectie op als ongewoon gemakkelijk of moeilijk voor een bepaalde raciale/etnische groep. Bovendien weerspiegelen de totale bar-examenscores in wezen de verschillen in de toelatingskenmerken van deze groepen en de cijfers van de rechtenstudie. Het bar-examen lijkt dus niet de kloof in scores te vergroten of te verkleinen die aanwezig was tussen de groepen voordat ze aan het examen deelnamen.

We vonden ook dat een aanzienlijk deel van de verschillen in bar-examenscores tussen kandidaten niet kan worden toegeschreven aan verschillen in hun toelatingskwalificaties, rechtenschoolcijfers, geslacht, of ras/etnische groep. Een klein maar statistisch significant deel van deze resterende variantie houdt verband met de vraag of de kandidaat meer dan 20 uur heeft gewerkt in de vijf weken voorafgaand aan het examen. Zwarte en Latijns-Amerikaanse kandidaten hadden ongeveer 1,5 keer meer kans om in deze periode te werken dan andere kandidaten. Een paar andere voorbereidingsfactoren waren ook gerelateerd aan scores, zoals deelname aan lezingen en discussiesessies gepresenteerd door een commerciële bar review course.

Gezien de bovenstaande bevindingen, zien we geen reden om veranderingen aan te brengen in de aard van het examen zelf. Het lijkt evenwichtig en eerlijk te zijn voor alle kandidaten. Bovendien komen de resultaten nauw overeen met de eigen evaluaties van de rechtenfaculteiten van de capaciteiten van hun afgestudeerden (zoals blijkt uit de over het algemeen hoge correlaties tussen de cijfers van de rechtenfaculteiten en de bar-examenscores op elke school). Niettemin suggereren de bevindingen over de voorbereidingsfactoren dat op dit gebied iets zou kunnen worden gedaan om de slaagpercentages van minderheden te verbeteren. Dit zou kunnen inhouden dat financiële middelen (en misschien beurzen voor bar review cursussen) worden verstrekt aan studenten die het goed hebben gedaan op de rechtenfaculteit, maar misschien niet over alle financiële middelen beschikken die zij nodig hebben om zich op dezelfde manier voor te bereiden op het examen als hun klasgenoten.

Juli 2004 Texas Bar Examination Examination Examinatione Survey

Gelieve een vinkje (√) te zetten in het Ja of Nee vakje in antwoord op elke vraag hieronder:

Vraag	Ja	Nee
1. Was u gedurende de vijf weken voorafgaand aan het balie-examen van juli 2004 gemiddeld 20 uur per week of meer in dienst? (Eventueel betaald verlof om voor het examen te studeren niet meetellen).
2. Was Engels de hoofdtaal die bij u thuis werd gesproken toen u opgroeide?
3.
4.
5. Bent u de eerste persoon in uw familie die een graduaat of een professionele graad heeft behaald? Heeft u een van de volgende onderdelen van een commerciële bar review cursus gevolgd in de zes maanden voorafgaand aan het juli 2004 bar examen?
a. Lezingen en discussiebijeenkomsten
b. Audio- en/of videobanden of cd’s
c. Lessen op het internet
d. Gedrukte studiegidsen en boeken
6. Hebt u deelgenomen aan programma’s van de Law School die bedoeld waren om uw testvaardigheden of studievaardigheden te verbeteren tijdens het volgende:
a. Pre-inschrijving Zomersessie
b. 1e jaar rechten
c. 2e Jaar rechten
d. 3e Jaar rechten

Dr. Stephen Klein is de Senior Partner in het adviesbureau van GANSK and Associates. In die hoedanigheid heeft hij onderzoek gedaan en advies gegeven over een breed scala van onderwerpen voor de National Conference of Bar Examiners, meer dan twee dozijn state boards of bar examiners, meer dan een dozijn law schools, en de Association of American Law Schools. Hij heeft ook geraadpleegd voor certificatiecommissies in accountancy, acupunctuur, actuariële wetenschappen, tandheelkunde, geneeskunde, podologie, psychologie en onderwijs. Hij heeft als deskundige getuigd voor staats- en federale rechtbanken en bij wetgevende en administratieve hoorzittingen met betrekking tot strafrecht, testen, onderwijs, personeel, stemrecht, en andere zaken. Hij was door de federale rechtbank aangesteld als technisch adviseur in een grote collectieve rechtszaak over meetkwesties en heeft adviezen gegeven aan de National Academy of Sciences, de National Science Foundation, de Knight Commission on Intercollegiate Athletics, de Little Hoover Commission en vele andere openbare en particuliere instanties en organisaties. Dr. Klein is tevens Senior Research Scientist bij de RAND Corporation in Santa Monica, Californië, waar hij leiding heeft gegeven aan studies op het gebied van onderwijs, gezondheid, militaire mankracht, en strafrechtelijke vraagstukken.

Dr. Klein behaalde zijn BS aan de Tufts University en zijn M.S. en Ph.D. in Industrial Psychology aan de Purdue University. Voordat hij in 1975 naar RAND kwam, was hij onderzoekspsycholoog bij de Educational Testing Service in Princeton en universitair hoofddocent aan de UCLA, waar hij voorzitter was van de afdeling Onderzoeksmethoden van de Graduate School of Education. Dr. Klein heeft meer dan 250 publicaties op zijn naam staan, hij zit in de redactieraad van de Review of Educational Research, en hij is lid van de American Statistical Association, de American Psychological Association, de American Educational Research Association, en de National Council on Measurement in Education.

Dr. Roger Bolus is Senior Partner, Research Solutions Group, een bedrijf dat technische en analytische diensten verleent aan onderzoeksinspanningen op het gebied van onderwijs, gezondheidszorg en grootschalig testen. Roger is tevens directeur Psychometrie bij het Centrum voor Neuroviscerale Wetenschappen van het Departement Geneeskunde van de UCLA. De afgelopen 25 jaar heeft hij, in samenwerking met Dr. Stephen Klein, statistische, psychometrische en data management adviezen gegeven aan staatsbar examens door het hele land. Tot zijn huidige cliënten behoren de balies van Californië, Illinois, Maryland, Ohio, Massachusetts, Texas, Delaware en Nevada. In dit werk heeft Roger een expertise ontwikkeld in het ontwerp, het beheer en de analyse van grote, complexe databases met betrekking tot juridische tests. Dr. Bolus’ huidige interesses liggen op het gebied van de aanpasbaarheid van het Internet aan de administratie en scoring van open antwoorden in hoge inzet testen. Dr. Bolus behaalde zijn M.A. en Ph.D. aan de University of California, Los Angeles School of Education met een specialisatie in Educational Testing, Measurement and Evaluation (1981). Hij is auteur of medeauteur van meer dan 30 artikelen en technische rapporten, en heeft gesproken op verschillende nationale conferenties over de onderwerpen testen en resultaatbeoordeling.