TEXAS BOARD of LAW EXAMINERS

ANALISI DEI RISULTATI DELL’ESAME DI LEGGE DEL LUGLIO 2004 PER GENERE E GRUPPO RAZZIALE/ETNICO

Stephen P. Klein, Ph.D. e Roger Bolus, Ph.D.
GANSK & Associates

(Questa analisi è stata aggiornata nel giugno 2006. Clicca qui per i dettagli.)
Il 15 dicembre 2004

Il Texas Government Code Sec. 82.0291 ha ordinato al Texas Board of Law Examiners di “compilare un rapporto che indichi il numero di candidati che non superano l’esame di abilitazione del luglio 2004. I dati devono essere aggregati per sesso, etnia e razza. La relazione deve anche includere un’analisi delle cause identificabili del fallimento e raccomandazioni, se del caso, per affrontare le cause del fallimento.”

Le analisi descritte di seguito sono state condotte per rispondere a questa legislazione. Come sfondo per ciò che segue, iniziamo riassumendo le caratteristiche principali dell’esame di abilitazione del Texas e come i punteggi su di esso sono calcolati e le decisioni pass/fail sono fatte. Poi descriviamo le procedure che sono state utilizzate per raccogliere ed elaborare i dati per le nostre analisi. Infine, forniamo informazioni sulla dimensione e la natura delle differenze nei punteggi dell’esame di abilitazione e nelle percentuali di superamento dell’esame tra sesso e gruppi razziali/etnici, nonché i risultati delle nostre analisi di alcuni fattori che sono e non sono collegati a queste differenze. Le domande specifiche che affrontiamo nelle nostre analisi sono le seguenti:

1. Gli uomini e le donne hanno tassi di superamento dell’esame di stato e punteggi d’esame comparabili? Risultati
2. Gruppi razziali/etnici diversi hanno tassi e punteggi d’esame comparabili? Risultati
3. Le differenze nei tassi di superamento dell’esame di stato e nei punteggi tra i gruppi razziali/etnici corrispondono alle differenze nelle loro credenziali di ammissione e nei voti della scuola di legge? Risultati
4. Alcune attività di preparazione all’esame di stato sono state associate a punteggi più alti? Risultati
5. Come gruppo, gli studenti di alcune scuole di legge ottengono generalmente un punteggio più alto o più basso all’esame di stato rispetto a quello che ci si aspetterebbe sulla base dei loro punteggi LSAT medi? Risultati

Componenti dell’esame di abilitazione del Texas

L’esame di abilitazione del Texas è un esame di due giorni e mezzo. C’è una giornata per la sezione Texas essay, una giornata per il Multistate Bar Exam, e una mezza giornata per la combinazione del Multistate Performance Test e il Texas Procedure and Evidence test. Le caratteristiche principali di questi quattro componenti sono le seguenti:

Multistate Bar Exam (MBE). Il MBE è un test di sei ore, 200 domande a scelta multipla. Le domande del MBE (o “items”) sono preparate e valutate dall’American College Testing (ACT) sotto la direzione generale della National Conference of Bar Examiners. Il MBE ha un numero approssimativamente uguale di domande in ciascuna delle seguenti sei materie: Diritto costituzionale, contratti, diritto penale, prove, proprietà e illeciti. Il punteggio “grezzo” dell’MBE di un candidato è il numero di domande a cui ha risposto correttamente.

Circa il 30% delle domande dell’MBE che vengono poste in un’amministrazione (come nel luglio 2004) sono state usate in precedenza. L’ACT usa i dati su queste domande ripetute per aggiustare i punteggi grezzi del MBE per le possibili differenze nella difficoltà media delle domande tra le varie amministrazioni. Come risultato di questo processo di calibrazione (che è chiamato “equazione” o “scalatura”), un dato punteggio MBE “scala” indica circa lo stesso livello di competenza indipendentemente dall’amministrazione in cui è stato ottenuto.

Multistate Performance Test (MPT). Il Texas amministra una domanda o “compito” MPT di 90 minuti, che consiste in un’analisi giuridica e un compito di scrittura. Questo compito è sviluppato sotto la direzione della National Conference of Bar Examiners. C’è un nuovo compito per ogni amministrazione. I lettori del Texas valutano le risposte su una scala da 1 a 6 in intervalli di mezzo punto.

Un compito MPT valuta certe ricerche legali orientate alla pratica, analisi e capacità di scrittura. Un compito consiste in un file che assomiglia a un tipico file di un avvocato (per esempio, lettere, promemoria, rapporti e simili) e include materiali rilevanti e irrilevanti e una biblioteca con tutta la giurisprudenza, gli statuti e i materiali secondari necessari per trattare varie questioni in un caso ipotetico. I candidati usano l’archivio e la biblioteca per completare un compito realistico, come la stesura di un promemoria per un avvocato anziano, una lettera a un cliente o a un avvocato della controparte, o un documento da presentare in tribunale.

Texas Essay Test. La parte dell’esame del Texas, della durata di sei ore, consiste in 12 domande in aree quali associazioni di imprese, testamenti, proprietà immobiliare e diritto di famiglia. I membri del Texas Board of Law Examiners, con l’assistenza di redattori professionisti, redigono le domande. I membri del Consiglio e i valutatori esperti degli avvocati assegnano poi un punteggio alle risposte di ogni domanda su una scala da 1 a 25 punti. Il massimo punteggio possibile è 12 x 25 = 300 punti.

Texas Procedure and Evidence (P&E) Test. Il test di 90 minuti P&E contiene 20 domande civili a risposta breve e 20 domande penali a risposta breve. Il Texas Board of Law Examiners è responsabile della creazione di queste domande e loro e i loro associati valutano le risposte ad ogni domanda su una scala da 0 a 5. Il Texas divide il punteggio totale P&E di ogni sezione per 2 (e arrotonda il risultato a un numero intero) in modo che il massimo punteggio totale P&E possibile nelle due sezioni sia di 100 punti.

Punteggi totali e decisioni Passa/Scarta

Il Texas converte i punteggi totali dei saggi nella stessa scala di misura usata per il MBE. Questo viene fatto per aggiustare i punteggi del saggio per le possibili differenze nella difficoltà media delle domande tra le varie amministrazioni. Il fattore di scala consiste nell’assegnare al più alto punteggio grezzo totale del saggio lo stesso valore del più alto punteggio della scala MBE in Texas, al secondo più alto punteggio grezzo totale del saggio lo stesso valore del secondo più alto punteggio della scala MBE, e così via finché al più basso punteggio grezzo totale del saggio viene assegnato lo stesso valore del più basso punteggio della scala MBE. I punteggi convertiti sono chiamati punteggi “scala” del saggio. Questa stessa procedura è usata per convertire i punteggi grezzi MPT e P&E in punteggi di scala.

Il Texas usa la seguente formula per calcolare il punteggio totale di ogni candidato in modo che i pesi assegnati ai test MBE, Essay, MPT e P&E siano rispettivamente 40, 40, 10 e 10 per cento:

Scala totale = 2(Scala MBE) + 2(Scala Essay) + (Scala MPT)/2 + (Scala P&E)/2

I candidati con un punteggio totale di 675 o superiore passano. Tutti gli altri sono bocciati. Questo standard pass/fail (che corrisponde a un 135 sulla scala di misura del MBE) è paragonabile agli standard usati dalla maggior parte degli altri stati.

Dati campione dell’analisi

Il modulo di domanda per l’esame del luglio 2004 conteneva una sezione in cui i candidati indicavano il loro sesso e gruppo razziale/etnico. Quasi tutti coloro che hanno sostenuto l’esame hanno anche completato un questionario che è stato distribuito durante una pausa della sessione d’esame, anche se non tutti hanno risposto a tutte le domande. Una copia di questo sondaggio è allegata alla fine di questo rapporto.

I candidati del 2003 i cui dati sono utilizzati in questo rapporto si sono laureati presso le nove scuole di legge in Texas che sono accreditate dall’American Bar Association. Queste scuole ci hanno fornito i punteggi del Law School Admission Test (LSAT), le medie dei voti universitari (UGPA) e le medie dei voti della scuola di legge (LGPA) per i loro laureati che hanno sostenuto l’esame di abilitazione del Texas nel luglio 2004. Nessuno dei dati forniti dalle scuole di legge è stato divulgato al Texas Board of Law Examiners. Tali dati sono considerati di proprietà delle singole scuole di legge e non saranno divulgati in nessun momento. Il Texas Board of Law Examiners ci ha fornito i punteggi dell’esame di stato di questi candidati e i dati di ripetizione. Tutti i dati riportati dal Texas Board of Law Examiners sono stati divulgati alle scuole di legge ai sensi del Texas Government Code Sec. 82.029 e non possono essere ulteriormente divulgati in conformità a tale statuto.

Tutti i dati ci sono stati forniti senza rivelare l’identità di alcun candidato e sono stati collegati attraverso un numero ID di studio comune per ogni candidato. La riservatezza di questi dati è stata preservata impiegando procedure che ci hanno impedito di avere accesso ai nomi dei candidati e hanno impedito al Texas Board di avere accesso ai dati forniti dalle scuole di legge.

Analisi preliminari

È ben noto che gli standard di valutazione variano tra le scuole di legge. Un 3.00 LGPA in una scuola può corrispondere a un livello di competenza sostanzialmente più alto o più basso di un 3.00 in un’altra scuola. Tuttavia, diverse analisi richiedono la combinazione di LGPA tra le scuole. Così, per aggiustare le possibili differenze negli standard di classificazione tra le scuole, abbiamo convertito gli LGPA all’interno di una scuola in una distribuzione di punteggio che aveva la stessa media e deviazione standard della distribuzione dei punteggi LSAT in quella scuola. Questa conversione è usata in tutto il rapporto.

I candidati hanno indicato il loro sesso e il loro gruppo razziale/etnico sul loro modulo di domanda. Il campione di analisi conteneva candidati di 19 gruppi razziali/etnici, ma c’erano solo pochi candidati in alcuni di questi gruppi. Questo ci ha portato a formare i seguenti cinque cluster per le nostre analisi:

Asiatico = asiatico, cinese, giapponese, coreano, isolano del Pacifico, polinesiano e vietnamita
Nero = afroamericano, africano e nero
ispanico = ispanico, messicano, cubano, portoricano, latino, e centro/sudamericano
White = caucasico e bianco
Other = tutti gli altri (include 5 nativi americani e gruppi razziali/etnici omessi)

Domande e risposte per la ricerca

1) Gli uomini e le donne hanno tassi e punteggi d’esame comparabili?

Sì. Uomini e donne hanno avuto tassi di passaggio praticamente identici (74,73% e 74,85%, rispettivamente). C’era anche un numero quasi identico di uomini e donne nel nostro campione di nove scuole (1005 e 998, rispettivamente). La tabella 1a mostra che gli uomini avevano un punteggio LSAT medio leggermente più alto rispetto alle donne, mentre l’inverso era vero su UGPA. Uomini e donne avevano un LGPA medio molto simile.

Tabella 1a
Punteggi medi UGPA, LSAT e LGPA per genere

Score	Uomini	Donne	Tutti i partecipanti
UGPA	3.15	3.29	3.22
LSAT	153.8	153.0	153.4
LGPA	152.8	154.0	153.4

Le deviazioni standard per tutti gli studenti per UGPA, LSAT, e LGPA erano 0.47, 7.34, e 10.41, rispettivamente.

In media, gli uomini hanno ottenuto punteggi leggermente più alti delle donne nel MBE, mentre il contrario è stato vero per le altre sezioni (vedi Tabella 1b). Questo risultato è coerente con i risultati relativi agli effetti di genere che sono presentati nelle relazioni tecniche pubblicate regolarmente dal California Committee of Bar Examiners. Le differenze nei punteggi medi tra i gruppi di genere si sono bilanciate in modo che, nel complesso, uomini e donne hanno avuto punteggi totali medi della scala praticamente identici.

Tabella 1b
Punteggi medi dell’esame di stato per genere e per tutti i partecipanti

Score	Uomini	Donne	Tutti i partecipanti
MBE	142.6	140.2	141.4
Saggio	141.4	143.0	142.2
MPT	140.0	143.0	141.5
P&E	142.0	143.1	142.6
Scala totale	708.5	708.9	708.7

Le deviazioni standard per i punteggi MBE, Essay, MPT, e P&E erano tutte 13,0. La deviazione standard del punteggio totale della scala era 54,5.

2) I diversi gruppi razziali/etnici hanno tassi di superamento dell’esame di abilitazione e punteggi comparabili?

No. Usando le designazioni dei gruppi razziali/etnici di cui sopra, i bianchi e gli asiatici avevano tassi di superamento dell’esame di abilitazione e punteggi medi dell’esame di abilitazione statisticamente molto più alti dei loro compagni di classe. Questo vale sia per i candidati che si iscrivono per la prima volta sia per i ripetenti.

La tabella 2a mostra il numero di candidati per gruppo razziale/etnico e lo stato di ripetente. La tabella 2b mostra i loro tassi di superamento. Questi dati indicano che il 75% dei candidati del 2003 nel campione di analisi ha superato l’esame. Il tasso di superamento per chi si presenta per la prima volta (81%) era quasi il doppio di quello dei ripetenti (42%). Insieme, i neri e gli ispanici comprendevano il 18% dei principianti, ma il 36% dei ripetenti.

Tabella 2a
Numero di partecipanti per gruppo razziale/etnico e stato di ripetizione

Gruppo	bianco	asiatico	ispanico	Nero	Altro	Totale
Prima volta	1290	75	162	138	35	1700
Ripetitori	178	13	47	58	7	303
Totale	1468	88	209	196	42	2003

Tabella 2b
Percento che passa per gruppo razziale/etnico Group And Repeater Status

Group	White	Asian	Hispanic	Black	Other	Total
Prima volta	85	80	69	53	74	81
ripetitori	49	46	30	28	29	42
Totale	81	75	60	45	67	75

La tabella 3a (che usa i dati su tutti i 2003 candidati nel campione di analisi) mostra l’UGPA medio di ogni gruppo, punteggio LSAT e LGPA di ciascun gruppo.

La tabella 3b mostra i punteggi medi dell’esame di stato. Questi dati indicano che il punteggio medio di un gruppo era molto simile nelle quattro sezioni dell’esame. L’unica eccezione è stata che i candidati asiatici sono andati particolarmente bene nell’MPT, ma questo potrebbe essere facilmente dovuto al caso, data l’affidabilità relativamente bassa del punteggio di un singolo compito MPT. Gli ispanici e i neri sono andati bene nel MBE come nelle parti scritte dell’esame. Quindi, nel complesso, il formato dell’esame non ha avuto alcun effetto sulle differenze nei punteggi totali medi tra i gruppi.

Tabella 3a
Media UGPA, LSAT, and LGPA By Racial/Ethnic Group

Score	White	Asian	Hispanic	Black	Other
UGPA	3.28	3.27	3.06	2.94	3.18
LSAT	154.6	154.9	149.5	146.6	152.5
LGPA	154.9	154.2	149.3	146.8	151.6

Tabella 3b
Punteggi medi dell’esame di abilitazione del Texas per gruppo razziale/etnico

Score	Bianco	Asiatico	Ispanico	Nero	Altro
MBE	143.3	138.0	136.2	134.0	141.9
Saggio	144.1	141.5	137.6	133.6	140.8
MPT	142.9	145.3	136.7	134.9	138.7
P&E	144.0	138.9	139.9	136.9	142.0
Scala totale	717.7	700.6	685.5	670.5	705.3

3) Le differenze nei tassi e nei punteggi dell’esame di stato tra i gruppi razziali/etnici corrispondono alle differenze nelle loro credenziali di ammissione e nei voti della scuola di legge? Abbiamo scoperto che, in media, i candidati dei diversi gruppi razziali/etnici hanno superato l’esame di stato come ci si aspetterebbe sulla base delle loro credenziali di ammissione alla scuola di legge e dei voti della scuola di legge.

Abbiamo esaminato la questione in due modi. In primo luogo, abbiamo notato che la differenza di 8 punti nel LGPA medio tra bianchi e neri era equivalente a 0,78 unità di deviazione standard. Questo era quasi identico alla differenza (in unità di deviazione standard) tra i punteggi medi della scala totale di questi gruppi. La dimensione della differenza tra bianchi e ispanici sulla LGPA era anche molto simile alla differenza (in unità di deviazione standard) tra questi gruppi nei punteggi totali della scala. Gli asiatici sono stati l’unico gruppo che non è andato così bene all’esame di abilitazione come sarebbe stato previsto sulla base delle loro LGPA.

Il nostro secondo (e più statisticamente sofisticato e preciso) approccio ha coinvolto la costruzione di due equazioni di “regressione multipla” per prevedere il punteggio totale dell’esame di abilitazione di un candidato. Una di queste equazioni includeva l’UGPA del candidato, il punteggio LSAT e il LGPA. L’altra equazione conteneva queste stesse variabili più il sesso del candidato e il gruppo razziale/etnico. Questa analisi ha scoperto che il gruppo razziale/etnico non ha quasi nessuna relazione con i punteggi dell’esame di stato una volta che c’è un controllo sulle credenziali di ammissione del candidato e sui voti della scuola di legge.

In particolare, la prima equazione ha spiegato il 37,2% della varianza nei punteggi totali dell’esame di stato, mentre la seconda ha spiegato il 37,8%, cioè solo lo 0,6% in più. Quindi, l’aggiunta di genere e gruppo razziale/etnico all’equazione non ha avuto alcun effetto pratico sull’accuratezza predittiva. Tutti i gruppi (compresi gli asiatici) si sono comportati come previsto. In breve, i punteggi dell’esame di avvocatura delle minoranze e delle non minoranze sono stati molto coerenti con ciò che ci si sarebbe aspettato date le differenze nelle loro credenziali di ammissione e nei voti della scuola di legge. L’esame non ha aumentato o diminuito le differenze tra i gruppi che erano presenti prima che si sedessero a fare il test.

Le nostre analisi all’interno e tra le scuole hanno anche indicato che c’è una grande quantità di varianza nei punteggi dell’esame da avvocato che non è spiegata da UGPA, LSAT, LGPA, sesso e gruppo razziale/etnico. Una parte sostanziale delle differenze nei punteggi dell’esame di stato tra i candidati deve quindi essere dovuta ad altri fattori, come il modo in cui i candidati si sono preparati per l’esame.

4) Alcune attività di preparazione all’esame di stato sono state associate a punteggi più alti? Quasi tutti i candidati nel nostro campione di analisi hanno riferito di aver partecipato a uno o più corsi commerciali di preparazione all’esame di stato nei sei mesi precedenti l’esame. Per indagare se alcune di queste attività fossero più utili di altre, abbiamo costruito un’equazione di regressione che conteneva il punteggio LSAT del candidato, LGPA, e la sua risposta a ciascuna delle domande del sondaggio per studenti (vedi copia allegata di questo questionario).

Questa analisi ha rilevato che i candidati tendevano a ricevere da 4 a 10 punti in più di punteggio totale della scala se avevano fatto una o più delle seguenti attività durante i sei mesi precedenti l’esame: partecipare a lezioni e sessioni di discussione, utilizzare lezioni su Internet e utilizzare guide e libri di studio cartacei. Le percentuali di candidati che hanno usato questi metodi sono state: 85, 28, e 95, rispettivamente (molti candidati hanno usato più di una strategia).

Siamo stati sorpresi che l’uso di materiale di studio cartaceo abbia avuto un effetto statisticamente significativo perché quasi tutti i candidati li hanno usati. È evidente che coloro che non li hanno usati non sono stati ben serviti. L’effetto dell’uso di lezioni su Internet non è stato così forte come gli effetti dell’uso degli altri due metodi.

Circa il 21% dei candidati neri e ispanici (e il 15% di tutti gli altri candidati) ha riferito di aver lavorato 20 o più ore nelle cinque settimane precedenti l’esame del luglio 2004 (escludendo qualsiasi permesso retribuito che possono aver ricevuto dal loro datore di lavoro per studiare per l’esame). In media, i candidati che hanno lavorato hanno guadagnato circa 15 punti di punteggio totale in meno rispetto ai loro compagni di classe con punteggi LSAT e LGPA comparabili. Per mettere questa differenza statisticamente significativa di 15 punti nei punteggi totali in prospettiva, è paragonabile all’effetto unico (cioè dopo aver controllato su LSAT e LGPA) di essere un ripetente piuttosto che una prima volta taker.

5) Come un gruppo, gli studenti in alcune scuole di legge in genere punteggio più alto o più basso l’esame di avvocato di quello che ci si aspetterebbe sulla base dei loro punteggi medi LSAT?

Generalmente No. Come notato sul sito web del Texas Board of Law Examiners ‘(www.ble.state.tx.us), ci sono grandi differenze nei tassi di passaggio esame di stato tra le scuole. Abbiamo scoperto che quasi tutte queste differenze possono essere spiegate dalle differenze nei punteggi di ammissione degli studenti che si laureano. Per esempio, c’è una relazione quasi perfetta tra il punteggio medio totale dell’esame di legge di una scuola di legge e il suo punteggio medio LSAT (la correlazione è .98 su un possibile 1.00). Molti dei laureati di una scuola di legge fanno meglio o peggio all’esame di stato rispetto a quello che ci si aspetterebbe sulla base dei loro punteggi LSAT, ma queste differenze si bilanciano quasi completamente quando i dati vengono analizzati per scuola. Ciononostante, il punteggio medio totale dell’esame di stato di una scuola era di 10 punti più alto di quello che ci si sarebbe aspettato sulla base del suo punteggio LSAT medio (le probabilità che una differenza di queste dimensioni si verifichi per caso sono meno di 5 su 100).

Conclusioni e raccomandazioni

Gli uomini ottengono punteggi leggermente più alti delle donne nell’MBE mentre il contrario è vero per il resto dell’esame, così che nel complesso, hanno punteggi totali e tassi di passaggio quasi identici all’esame di stato del Texas. I candidati uomini e donne in Texas hanno anche credenziali di ammissione comparabili.

I candidati neri e ispanici non sono distribuiti uniformemente tra le nove scuole di legge del Texas. È molto più probabile che frequentino alcune scuole piuttosto che altre. Ci sono anche grandi differenze nei tassi di passaggio tra le scuole. Tuttavia, le grandi differenze nei tassi di passaggio tra i gruppi razziali / etnici non sono legati a quali scuole di legge che frequentano perché quasi tutte le scuole fare circa così bene l’esame di avvocato come ci si aspetterebbe sulla base dei punteggi medi LSAT dei loro laureati. Questo è ciò che guida le differenze nei punteggi dell’esame di stato tra i gruppi.

Le differenze nei punteggi tra i gruppi razziali/etnici erano abbastanza simili tra le diverse sezioni dell’esame. Con la possibile eccezione degli asiatici che sono andati particolarmente bene nell’MPT, nessuna sezione è risultata insolitamente facile o difficile per un particolare gruppo razziale/etnico. Inoltre, i punteggi totali dell’esame di abilitazione rispecchiano essenzialmente le differenze nelle credenziali di ammissione di questi gruppi e nei voti della scuola di legge. Quindi, l’esame di stato non sembra allargare o restringere il divario nei punteggi che era presente tra i gruppi prima che si sedessero per l’esame.

Abbiamo anche scoperto che una parte significativa delle differenze nei punteggi dell’esame di stato tra i candidati non è attribuibile alle differenze nelle loro credenziali di ammissione, nei voti della scuola di legge, nel sesso o nel gruppo razziale/etnico. Una piccola ma statisticamente significativa parte di questa varianza rimanente è legata al fatto che il candidato abbia lavorato per più di 20 ore durante le cinque settimane precedenti l’esame. E i candidati neri e ispanici avevano circa 1,5 volte più probabilità di essere tra quelli che hanno lavorato durante questo periodo rispetto agli altri candidati. Anche alcuni altri fattori di preparazione sono stati correlati ai punteggi, come la partecipazione a lezioni e sessioni di discussione presentate da un corso commerciale di revisione della professione forense.

Viste le conclusioni di cui sopra, non vediamo alcuna ragione per apportare modifiche alla natura dell’esame stesso. Sembra essere ben bilanciato e giusto per tutti i partecipanti. Inoltre, i risultati su di esso corrispondono da vicino alle valutazioni delle scuole di legge delle capacità dei loro laureati (come risulta dalle correlazioni generalmente elevate tra i voti della scuola di legge e i punteggi dell’esame di stato in ogni scuola). Tuttavia, i risultati sui fattori di preparazione suggeriscono che qualcosa potrebbe essere fatto in questo settore per migliorare i tassi di passaggio all’esame di stato delle minoranze. Ciò potrebbe comportare la fornitura di finanziamenti (e forse borse di studio per i corsi di revisione dell’esame di stato) agli studenti che hanno fatto bene la scuola di legge, ma non possono avere tutte le risorse finanziarie necessarie per preparare l’esame allo stesso modo dei loro compagni di classe.

Luglio 2004 Texas Bar Examination Examinee Survey

Si prega di mettere un segno di spunta (√) nella casella Sì o No in risposta ad ogni domanda sottostante:

Questione	Sì	No
1. Era occupato per una media di 20 ore/settimana o più durante le cinque settimane precedenti l’esame di abilitazione del luglio 2004? (Non contare il tempo di congedo pagato per studiare per l’esame).
2. L’inglese era la lingua principale parlata in casa sua durante la sua crescita?
3. Sei la prima persona nella tua famiglia a ricevere una laurea?
4. Sei la prima persona nella tua famiglia a ricevere una laurea o un diploma professionale?
5. Nei sei mesi precedenti l’esame di abilitazione del luglio 2004, ha seguito uno dei seguenti componenti di un corso commerciale di revisione della professione di avvocato
a. Lezioni e discussioni
b. Nastri audio e/o video o CD
c. Lezioni su Internet
d. Guide di studio cartacee e libri
6. Ha partecipato a qualche programma della scuola di legge progettato per migliorare la sua capacità di affrontare i test o di studiare durante i seguenti:
a. Sessione estiva pre-iscrizione
b. 1° Anno di scuola legale
c. 2° Anno di scuola legale
d. 3° Anno di legge

Il Dott. Stephen Klein è il Senior Partner della società di consulenza GANSK and Associates. In tale veste, ha svolto ricerche e consulenze su una vasta gamma di questioni per la National Conference of Bar Examiners, più di due dozzine di commissioni statali di esami di stato, più di una dozzina di scuole di legge e l’Association of American Law Schools. È stato anche consulente per le commissioni di certificazione in contabilità, agopuntura, scienze attuariali, odontoiatria, medicina, podologia, psicologia e insegnamento. Ha testimoniato come esperto in tribunali statali e federali e in udienze legislative e amministrative in materia di giustizia penale, test, istruzione, personale, diritti di voto e altre questioni. È stato consulente tecnico nominato dalla corte federale in una grande causa collettiva che coinvolgeva questioni di misurazione e ha fatto da consulente per la National Academy of Sciences, la National Science Foundation, la Knight Commission on Intercollegiate Athletics, la Little Hoover Commission e molte altre agenzie e organizzazioni pubbliche e private. Il Dr. Klein è anche Senior Research Scientist presso la RAND Corporation a Santa Monica, California, dove ha condotto studi su questioni relative all’istruzione, alla salute, al personale militare e alla giustizia penale.

Il Dr. Klein ha conseguito la laurea alla Tufts University e il suo M.S. e Ph.D. in Psicologia Industriale alla Purdue University. Prima di arrivare alla RAND nel 1975, è stato uno psicologo ricercatore presso l’Educational Testing Service di Princeton e professore associato in residenza alla UCLA, dove ha presieduto la divisione di metodi di ricerca nella Graduate School of Education. Il Dr. Klein ha oltre 250 pubblicazioni, fa parte del comitato editoriale della Review of Educational Research, ed è membro dell’American Statistical Association, dell’American Psychological Association, dell’American Educational Research Association e del National Council on Measurement in Education.

Il Dr. Roger Bolus è Senior Partner, Research Solutions Group, una società che fornisce servizi tecnici e analitici agli sforzi di ricerca nei settori dell’istruzione, della sanità e dei test su larga scala. Roger ha anche un incarico come Direttore, Psicometria presso il Centro per le Scienze Neuroviscerali nel Dipartimento di Medicina della UCLA. Negli ultimi 25 anni, in collaborazione con il Dr. Stephen Klein, ha fornito consulenze statistiche, psicometriche e di gestione dei dati alle commissioni d’esame di stato in tutto il paese. Tra i clienti attuali ci sono gli ordini degli avvocati di California, Illinois, Maryland, Ohio, Massachusetts, Texas, Delaware e Nevada. In questo lavoro, Roger ha sviluppato un’esperienza nella progettazione, gestione e analisi di grandi e complesse banche dati relative ai test legali. Gli interessi attuali del dott. Bolus sono nelle aree di adattabilità di Internet alla somministrazione e al punteggio delle risposte aperte nei test di alto livello. Il dott. Bolus ha ricevuto il suo M.A. e Ph.D. dalla University of California, Los Angeles School of Education con una specializzazione in Educational Testing, Measurement and Evaluation (1981). È autore o coautore di oltre 30 articoli e relazioni tecniche, e ha parlato a diverse conferenze nazionali sui temi dei test e della valutazione dei risultati.