TEXAS BOARD of LAW EXAMINERS

ANALYSIS OF JULHO 2004 TEXAS BAR EXAM RESULTADOS POR GÊNERO E GRUPO RACIAL/ETHNIC

Stephen P. Klein, Ph.D. e Roger Bolus, Ph.D.
GANSK &Associados

(Esta análise foi atualizada em junho de 2006. Clique aqui para detalhes.)
Dezembro 15, 2004

Código Governamental do Texas Sec. 82.0291 determinou que o Texas Board of Law Examiners “compilasse um relatório indicando o número de candidatos que reprovaram no exame da barra de julho de 2004. Os dados devem ser agregados por gênero, etnia e raça. O relatório também deve incluir uma análise das causas identificáveis de falha e recomendações, se houver, para abordar as causas da falha”

As análises descritas abaixo foram conduzidas para responder a esta legislação. Como pano de fundo para o que se segue, começamos por resumir as principais características do exame da barra do Texas e como as notas nele são computadas e as decisões de aprovação/reprovação são tomadas. Em seguida, descrevemos os procedimentos que foram utilizados para reunir e processar os dados para as nossas análises. Finalmente, fornecemos informações sobre o tamanho e a natureza das diferenças nas notas do exame da barra e as taxas de aprovação entre os sexos e grupos raciais/étnicos, bem como os resultados das nossas análises de certos fatores que estão e não estão relacionados a essas diferenças. As questões específicas que abordamos nas nossas análises são as seguintes:

1. Os homens e as mulheres têm taxas de aprovação comparáveis nos exames de barra e nos resultados dos exames? Resultados
2. Os diferentes grupos raciais/étnicos têm taxas de aprovação e notas comparáveis nos exames de barra? Resultados
3. As diferenças nas taxas de aprovação nos exames de advogados e nas notas entre os grupos étnicos/raciais correspondem às diferenças nas suas credenciais de admissão e nas notas das escolas de direito? Resultados
4. Existiram algumas atividades de preparação para o exame de advogados associadas a notas mais altas? Resultados
5. Como grupo, os alunos de algumas faculdades de direito geralmente obtêm notas mais altas ou mais baixas no exame de advogados do que o que seria esperado com base em suas notas médias no LSAT? Resultados

Componentes do Exame de Ordem de Advogados do Texas

O Exame de Ordem de Advogados do Texas é um teste de dois dias e meio. Há um dia para a seção de ensaios do Texas, um dia para o Exame Multiestacial da Ordem e um meio dia para a combinação do Teste de Desempenho Multiestacial e o Teste de Procedimento e Evidência do Texas. As principais características destes quatro componentes são as seguintes:

Exame de Multiestados de Barras (MBE). O MBE é um teste de escolha múltipla de seis horas e 200 perguntas. As perguntas MBE (ou “itens”) são preparadas e pontuadas pelo American College Testing (ACT) sob a direção geral da Conferência Nacional de Examinadores de Ordem de Advogados. O MBE tem um número aproximadamente igual de itens em cada um dos seis assuntos seguintes: Direito Constitucional, Contratos, Direito Penal, Provas, Propriedade, e Falsificações. A pontuação “bruta” do MBE de um candidato é o número de perguntas respondidas corretamente.

Aproximadamente 30% das perguntas do MBE que são feitas em uma administração (como julho de 2004) já foram usadas anteriormente. ACT usa os dados desses itens repetidos para ajustar a pontuação bruta da MBE para possíveis diferenças na dificuldade média das perguntas entre administrações. Como resultado deste processo de calibração (que é chamado de “equação” ou “escala”), uma determinada pontuação de “escala” MBE indica aproximadamente o mesmo nível de proficiência independentemente da administração em que foi obtida.

Multistate Performance Test (MPT). O Texas administra uma questão ou “tarefa” MPT de 90 minutos, que consiste em uma análise legal e uma tarefa de escrita. Esta tarefa é desenvolvida sob a direção da Conferência Nacional de Examinadores de Ordem. Há uma nova tarefa para cada administração. Os leitores do Texas classificam as respostas em uma escala de 1 a 6 em intervalos de meio ponto.

Uma tarefa MPT avalia certas habilidades de pesquisa, análise e redação orientadas para a prática legal. Uma tarefa consiste em um arquivo que se parece com um arquivo típico de um advogado (por exemplo, cartas, memorandos, relatórios e similares) e inclui materiais relevantes e irrelevantes e uma Biblioteca com toda a jurisprudência, estatutos e materiais secundários necessários para lidar com vários assuntos em um caso hipotético. Os candidatos usam o Arquivo e a Biblioteca para completar uma tarefa realista, tal como redigir um memorando para um advogado sénior, uma carta para um cliente ou advogado adversário, ou um resumo a ser apresentado a um tribunal.

Texas Essay Test. A parte de seis horas do exame do Texas consiste em 12 questões em áreas como Associações Empresariais, Testamentos, Propriedade Imobiliária e Direito de Família. Membros do Texas Board of Law Examiners, com a assistência de editores profissionais, redigem as perguntas. Os membros da Diretoria e os advogados graduados experientes pontuam as respostas a cada pergunta em uma escala de 1 a 25 pontos. A pontuação máxima possível no ensaio é de 12 x 25 = 300 pontos.

Texas Procedure and Evidence (P&E) Test. O teste de 90 minutos P&E contém 20 perguntas civis de resposta curta e 20 perguntas criminais de resposta curta. O Texas Board of Law Examiners é responsável pela criação dessas perguntas e eles e seus associados classificam as respostas a cada pergunta em uma escala de 0 a 5. O Texas divide a pontuação total P&E bruta em cada seção por 2 (e arredonda o resultado para um número inteiro) de modo que a pontuação total máxima possível P&E bruta nas duas seções seja de 100 pontos.

Total Scores and Pass/Fail Decisions

Texas converte a pontuação total bruta do ensaio para a mesma escala de medida usada para o MBE. Isto é feito para ajustar as pontuações do ensaio para possíveis diferenças na dificuldade média das questões entre administrações. A escala envolve atribuir à pontuação bruta de ensaio mais alta o mesmo valor que a pontuação mais alta da escala MBE no Texas, a segunda pontuação bruta de ensaio mais alta o mesmo valor que a segunda pontuação bruta da escala MBE mais alta, e assim por diante até que a pontuação bruta de ensaio total mais baixa seja a pontuação atribuída ao mesmo valor que a pontuação bruta da escala MBE mais baixa. As pontuações convertidas são chamadas de pontuações da escala de redação. Este mesmo procedimento é usado para converter as pontuações MPT e P&E para pontuações em bruto na escala.

Texas usa a seguinte fórmula para calcular a pontuação total da escala de cada candidato para que os pesos atribuídos aos testes MBE, Essay, MPT, e P&E sejam 40, 40, 10, e 10 por cento, respectivamente:

E escala total = 2(Escala MBE) + 2(Escala de Ensaio) + (Escala MPT)/2 + (P&E Escala)/2

Candidatos com pontuação total da escala de 675 ou superior passam. Todos os outros falham. Este padrão de aprovação/reprovação (que corresponde a 135 na escala MBE) é comparável aos padrões usados pela maioria dos outros estados.

Amostras de análise

O formulário de inscrição para o exame de julho de 2004 continha uma seção na qual os candidatos indicavam seu sexo e grupo étnico/racial. Quase todos os que fizeram o exame também preencheram um questionário que foi distribuído durante um intervalo na sessão de teste, embora nem todos tenham respondido a todas as perguntas. Uma cópia desta pesquisa está anexada ao final deste relatório.

Os candidatos de 2003 cujos dados são utilizados neste relatório formaram-se nas nove escolas de direito no Texas que são acreditadas pela American Bar Association. Essas escolas nos forneceram as notas do Law School Admission Test (LSAT), médias de pontos de graduação (UGPAs) e médias de pontos de graduação em Direito (LGPAs) para seus graduados que fizeram o exame da Ordem dos Advogados do Texas em julho de 2004. Nenhum dos dados fornecidos pelas faculdades de direito foi divulgado ao Texas Board of Law Examiners (Conselho dos Examinadores de Direito do Texas). Tais dados são considerados propriedade das escolas de direito individuais e não serão divulgados em nenhum momento. O Texas Board of Law Examiners (Conselho dos Examinadores de Direito do Texas) nos forneceu as notas desses candidatos no exame da Ordem dos Advogados e os dados do status de repetidor. Todos os dados reportados pelo Conselho dos Examinadores de Direito do Texas foram divulgados às faculdades de direito de acordo com o Código do Governo do Texas Sec. 82.029 e não podem ser divulgados de acordo com esse estatuto.

Todos os dados foram-nos fornecidos sem revelar a identidade de qualquer candidato e foram ligados através de um número de identificação comum de estudo para cada candidato. A confidencialidade desses dados foi preservada através de procedimentos que nos impediram de ter acesso aos nomes dos candidatos e impediram o Texas Board de ter acesso aos dados fornecidos pelas escolas de direito.

Análises Preliminares

É bem reconhecido que os padrões de classificação variam entre as escolas de direito. Uma LGPA de 3,00 em uma escola pode corresponder a um nível de proficiência substancialmente maior ou menor do que uma LGPA de 3,00 em outra escola. Entretanto, várias análises requerem a combinação de LGPAs entre escolas. Assim, para ajustar as possíveis diferenças nos padrões de classificação entre escolas, convertemos as LGPAs dentro de uma escola para uma distribuição de notas que tivesse a mesma média e desvio padrão que a distribuição das notas LSAT naquela escola. Esta conversão é utilizada ao longo deste relatório.

Candidatos indicaram seu sexo e grupo étnico/racial no formulário de inscrição. A amostra de análise continha candidatos de 19 grupos raciais/étnicos, mas havia apenas alguns candidatos em alguns desses grupos. Isto levou-nos a formar os seguintes cinco grupos para as nossas análises:

Asiático = Asiático, Chinês, Japonês, Coreano, Ilhas do Pacífico, Polinésio e Vietnamita
Preto = Afro-americano, Africano e Negro
Hispânico = Hispânico, Mexicano, Cubano, Porto Riquenho, Latim, e Central/Sul-Americano
Branco = Caucasiano e Branco
Outro = Todos os outros (inclui 5 nativos americanos e grupo racial/étnico omitidos)

Perguntas e respostas à pesquisa

1) Homens e mulheres têm taxas de aprovação comparáveis nos exames de bar e nos resultados dos testes?

Sim. Homens e mulheres têm taxas de aprovação praticamente idênticas (74,73 por cento e 74,85 por cento, respectivamente). Houve também números quase idênticos de homens e mulheres na nossa amostra de nove escolas (1005 e 998, respectivamente). A Tabela 1a mostra que os homens tiveram uma pontuação média LSAT ligeiramente mais alta do que as mulheres, enquanto o inverso foi verdadeiro na UGPA. Homens e mulheres tiveram LGPAs médios muito semelhantes.

Tabela 1a
Supervisões UGPAs, LSAT e LGPAs por sexo

>

Partitura	Homens	Mulheres	Todas as tomadas
UGPA	3.15	3,29	3,22
LSAT	153,8	153.0	153.4
LGPA	152.8	154.0	153.4

Desvios-padrão para todos os tomadores para UGPA, LSAT, e LGPA foram 0.47, 7,34, e 10,41, respectivamente.

Em média, os homens pontuaram ligeiramente mais alto que as mulheres na MBE enquanto o inverso foi verdadeiro em outras seções (veja Tabela 1b). Este achado é consistente com os resultados relativos aos efeitos de gênero que são apresentados em relatórios técnicos regularmente publicados pelo Comitê de Examinadores de Ordem da Califórnia. As diferenças nas notas médias entre os grupos de gênero se equilibraram de modo que, de modo geral, homens e mulheres tiveram notas médias totais praticamente idênticas na escala.

Tabela 1b
Escalas de notas do exame de barra por gênero e para todos os examinadores

>

Desvios padrão para a MBE, Essay, MPT, e P&E as pontuações foram todas 13.0. O desvio padrão da pontuação total da escala foi 54,5,

2) Diferentes grupos raciais/étnicos têm taxas de aprovação e pontuação comparáveis nos exames de barra?

Não. Usando as designações dos grupos raciais/étnicos mencionadas acima, Brancos e Asiáticos tiveram taxas de aprovação nos exames de barra e pontuação média nos exames de barra significativamente mais altas do que os seus colegas de classe. Isto foi realizado para os candidatos ao primeiro exame e repetidores.

Tabela 2a mostra o número de candidatos por grupo racial/étnico e status de repetidor. A tabela 2b mostra as suas taxas de aprovação. Estes dados indicam que 75% dos candidatos de 2003 na amostra de análise passaram. A taxa de aprovação para os primeiros candidatos (81%) foi quase o dobro da taxa para os repetentes (42%). Juntos, Negros e Hispânicos compreendiam 18% dos primeiros inscritos, mas 36% dos repetentes.

Tabela 2a
Número de repetidores por grupo racial/étnico e status do repetidor

Escalas	Homens	Mulheres	Todos os examinadores
MBE	142.6	140.2	141.4
Ensaio	141.4	143.0	142.2
MPT	140.0	143.0	141.5
P&E	142.0	143.1	142.6
Escala total	708.5	708.9	708.7

Grupo	Branco	Asiático	Hispânico	Preto	Outros	Total
Primeiro Temporizador	1290	75	162	138	35	1700
Repetições	178	13	47	58	7	303
Total	1468	88	209	196	42	2003

Tabela 2b
Percentagem de Passagem Racial/Etnica Grupo e Repetidor Estado

Grupo	Branco	Asiático	Hispânico	Preto	Outro	Total
Primeiro Temporizador	85	80	69	53	74
Repetidores	49	46	30	28	29	42
Total	81	75	60	45	67	75

Tabela 3a (que usa os dados de todos os 2003 dos candidatos da amostra de análise) mostra a média UGPA de cada grupo, Pontuação do LSAT, e LGPA.

A tabela 3b mostra as suas notas médias no exame da barra. Estes dados indicam que a pontuação média de um grupo foi muito semelhante nas quatro secções do exame. A única exceção foi que os candidatos asiáticos se saíram especialmente bem no MPT, mas isso poderia facilmente ser devido ao acaso, dada a confiabilidade comparativamente baixa da pontuação de uma única tarefa MPT. Hispânicos e Negros se saíram tão bem no MBE quanto nas partes escritas do exame. Assim, em geral, o formato do exame não teve efeito sobre as diferenças nas médias das notas totais entre os grupos.

Tabela 3a
Mean UGPA, LSAT, e LGPA Por Grupo Racial/Etnico

Partitura	Branco	Asiático	Hispânico	Preto	Outro
UGPA	3.28	3.27	3.06	2,94	3,18
LSAT	154,6	154,9	149,5	146.6	152,5
LGPA	154,9	154,2	149,3	146,8	151.6

Tabela 3b
Pontuações do Exame de Bar do Texas por Grupo Racial/Etnico

Pontuação	Branco	Asiático	Hispânico	Preto	Outro
MBE	143.3	138.0	136.2	134.0	141.9
Ensaio	144.1	141.5	137.6	133.6	140.8
MPT	142.9	145.3	136.7	134.9	138.7
P&E	144.0	138.9	139.9	136.9	136.9	142.0
Escala total	717,7	700,6	685,5	670,5	705.3

3) As diferenças nas taxas de aprovação nos exames de bar e notas entre o grupo racial/étnico correspondem às diferenças nas suas credenciais de admissão e notas da faculdade de direito?

Sim. Verificamos que, na média, os candidatos de diferentes grupos raciais/étnicos se apresentaram tão bem no exame da Ordem quanto seria de se esperar com base nas suas credenciais de admissão e notas na Faculdade de Direito.

Examinamos este assunto de duas maneiras. Primeiro, notamos que a diferença de 8 pontos na média da LGPA entre Brancos e Negros era equivalente a 0,78 unidades de desvio padrão. Isto foi quase idêntico à diferença (em unidades de desvio padrão) entre as notas médias da escala total destes grupos. A dimensão da diferença entre Brancos e Hispânicos na LGPA também foi muito semelhante à diferença (em unidades de desvio padrão) entre estes grupos nas pontuações da escala total. Os asiáticos foram o único grupo que não se saiu tão bem no exame da barra como seria previsto com base nas suas LGPAs.

A nossa segunda abordagem (e estatisticamente mais sofisticada e precisa) envolveu a construção de duas equações de “regressão múltipla” para prever a pontuação total na escala do exame da barra de um candidato. Uma dessas equações incluiu a UGPA do candidato, a pontuação do LSAT e a LGPA. A outra equação continha essas mesmas variáveis mais o sexo e o grupo étnico/racial do candidato. Esta análise constatou que o grupo racial/étnico não tinha quase nenhuma relação com as notas do exame de bar, uma vez que há controle sobre as credenciais de admissão do candidato e as notas da faculdade de direito.

Específica, a primeira equação explicou 37,2% da variância no total das notas do exame de bar, enquanto a segunda explicou 37,8%, ou seja, apenas 0,6% a mais. Assim, a adição de gênero e grupo racial/étnico à equação não teve qualquer efeito prático na precisão preditiva. Todos os grupos (incluindo os asiáticos) tiveram o desempenho esperado. Em resumo, as notas nos exames de bar para minorias e não minorias foram muito consistentes com o que seria esperado dadas as diferenças nas suas credenciais de admissão e nas notas da Faculdade de Direito. O exame não aumentou ou diminuiu as diferenças entre os grupos que estavam presentes antes de se sentarem para fazer o teste.

As nossas análises dentro e entre as escolas também indicaram que existe uma grande variação nas notas do exame da barra que não é explicada pela UGPA, LSAT, LGPA, gênero e grupo racial/étnico. Uma parte substancial das diferenças nas notas nos exames de barra entre os candidatos deve, portanto, ser devida a outros fatores, como a forma como os candidatos se prepararam para o exame.

4) Algumas atividades de preparação para exames de barra foram associadas a notas mais altas?

Sim. Quase todos os candidatos da nossa amostra de análise relataram ter participado de um ou mais cursos comerciais de revisão de barra nos seis meses anteriores à realização do exame. Para investigar se algumas dessas atividades foram mais úteis que outras, construímos uma equação de regressão que continha a pontuação do candidato no LSAT, LGPA, e sua resposta a cada uma das perguntas da pesquisa com os alunos (ver cópia anexa deste questionário).

Esta análise constatou que os candidatos tinham tendência a receber de 4 a 10 pontos a mais na escala total se fizessem um ou mais dos seguintes durante os seis meses anteriores à realização do exame: assistir a palestras e sessões de discussão, usar aulas na Internet, e usar guias e livros de estudo impressos. A percentagem de candidatos que utilizaram estes métodos foi: 85, 28 e 95, respectivamente (muitos candidatos usaram mais de uma estratégia).

Ficámos surpreendidos que o uso de materiais de estudo em papel tenha tido um efeito estatisticamente significativo porque quase todos os candidatos os usaram. É evidente que aqueles que não os utilizaram não foram bem servidos. O efeito do uso de aulas pela Internet não foi tão forte quanto os efeitos do uso dos outros dois métodos.

Sobre 21% dos candidatos negros e hispânicos (e 15% de todos os outros candidatos) relataram que trabalharam 20 ou mais horas durante as cinco semanas anteriores à realização do exame de julho de 2004 (excluindo qualquer tempo de licença remunerada que possam ter recebido de seu empregador para estudar para o exame). Em média, os candidatos que trabalharam ganharam cerca de 15 pontos na escala total de pontuação inferior aos seus colegas de turma com pontuação LSAT e LGPAs comparáveis. Para colocar esta diferença estatisticamente significativa de 15 pontos na pontuação total da escala em perspectiva, ela é comparável ao efeito único (ou seja Como grupo, os alunos de algumas escolas de direito geralmente obtêm notas mais altas ou mais baixas no exame de advocacia do que o esperado com base em suas notas médias no LSAT?

5) Como observado no site do Texas Board of Law Examiners (www.ble.state.tx.us), há grandes diferenças nas taxas de aprovação no exame de advocacia entre as escolas. Descobrimos que quase todas essas diferenças podem ser explicadas pelas diferenças nas notas de admissão dos alunos que eles se formam. Por exemplo, existe uma relação quase perfeita entre a pontuação média total da escala do exame de uma Faculdade de Direito e sua pontuação média no LSAT (a correlação é .98 de uma possível 1,00). Muitos dos graduados de uma Faculdade de Direito fazem melhor ou pior no exame da barra do que seria esperado com base nas suas próprias notas no LSAT, mas estas diferenças equilibram-se quase inteiramente quando os dados são analisados pela escola. No entanto, a média da pontuação total do exame de uma escola na escala do exame da barra foi 10 pontos superior ao que seria esperado com base na sua pontuação média no LSAT (as probabilidades de uma diferença deste tamanho ocorrer por acaso são inferiores a 5 em 100).

Conclusões e Recomendações

Nomeadamente superior às mulheres no MBE, enquanto o inverso é verdadeiro no resto do exame, de modo que, no geral, eles têm pontuações totais quase idênticas e taxas de aprovação no exame da barra do Texas. Homens e mulheres candidatos no Texas também têm credenciais de admissão comparáveis.

Candidatos negros e hispânicos não estão distribuídos uniformemente entre as nove escolas de direito do Texas. Eles são muito mais propensos a freqüentar algumas escolas do que outras. Há também grandes diferenças nas taxas de aprovação entre as escolas. No entanto, as grandes diferenças nas taxas de aprovação entre os grupos raciais/étnicos não estão relacionadas com as escolas de direito que frequentam porque quase todas as escolas fazem tão bem no exame da Ordem como seria de esperar com base na média das notas dos seus graduados no LSAT. É isso que está a conduzir as diferenças de notas entre os grupos.

As diferenças de notas entre os grupos raciais/étnicos foram bastante semelhantes entre as diferentes secções do exame. Com a possível exceção dos asiáticos que se saíram especialmente bem no MPT, nenhuma seção se destacou como sendo anormalmente fácil ou difícil para um grupo racial/étnico em particular. Além disso, o total de notas no exame da barra reflete essencialmente as diferenças nas credenciais de admissão destes grupos e nas notas da faculdade de direito. Assim, o exame da Ordem não parece aumentar ou diminuir a diferença de notas que estava presente entre os grupos antes de se sentarem para o exame.

Verificamos também que uma parte significativa das diferenças nas notas do exame da Ordem entre os candidatos não é atribuível a diferenças nas suas credenciais de admissão, notas da Faculdade de Direito, sexo ou grupo étnico/racial. Uma parte pequena, mas estatisticamente significativa desta variação restante está relacionada com o facto de o candidato ter trabalhado mais de 20 horas durante as cinco semanas que antecederam o exame. E, os candidatos negros e hispânicos tinham cerca de 1,5 vezes mais probabilidade de estar entre aqueles que trabalharam durante esse período do que os outros candidatos. Alguns outros fatores de preparação também estavam relacionados às notas, como a participação em palestras e sessões de discussão apresentadas por um curso de revisão de bar comercial.

Dados os resultados acima, não vemos razão para fazer qualquer mudança na natureza do exame em si. Parece ser bem equilibrado e justo para todos os participantes. Além disso, os resultados nele apresentados correspondem intimamente às próprias avaliações das faculdades de direito sobre as habilidades de seus graduados (como refletido pelas correlações geralmente altas entre as notas das faculdades de direito e as notas dos exames de advocacia em cada escola). No entanto, os resultados sobre os factores de preparação sugerem que algo pode ser feito nesta área para melhorar as taxas de passagem das minorias na barra. Isto pode envolver o financiamento (e talvez bolsas de estudo para cursos de revisão da barra) para estudantes que se saíram bem na faculdade de direito mas podem não ter todos os recursos financeiros necessários para se prepararem para o exame da mesma forma que seus colegas de classe.

Julho 2004 Texas Bar Examinee Survey

Por favor coloque uma marca de verificação (√) na caixa Sim ou Não em resposta a cada pergunta abaixo:

O Dr. Stephen Klein é o Sócio Sénior da empresa de consultoria GANSK and Associates. Nessa qualidade, ele tem pesquisado e consultado sobre uma ampla gama de assuntos para a Conferência Nacional de Examinadores de Ordem, mais de duas dúzias de conselhos estaduais de examinadores de ordem, mais de uma dúzia de escolas de direito e a Associação das Escolas Americanas de Direito. Ele também consultou conselhos de certificação em contabilidade, acupuntura, ciências atuariais, odontologia, medicina, podologia, psicologia e ensino. Ele testemunhou como especialista em tribunais estaduais e federais e em audiências legislativas e administrativas sobre justiça criminal, testes, educação, pessoal, direito de voto e outros assuntos. Ele atuou como assessor técnico nomeado pelo tribunal federal em um grande processo de ação coletiva envolvendo questões de medição e foi consultor da Academia Nacional de Ciências, da Fundação Nacional de Ciências, da Comissão Cavaleiro de Atletismo Intercolegial, da Comissão Little Hoover e de muitas outras agências e organizações públicas e privadas. Dr. Klein também é Pesquisador Sênior da RAND Corporation em Santa Monica, Califórnia, onde liderou estudos sobre educação, saúde, força de trabalho militar e questões de justiça criminal.

Dr. Klein recebeu seu BS da Tufts University e seu M.S. e Ph.D. em Psicologia Industrial da Purdue University. Antes de vir para o RAND em 1975, ele foi Psicólogo de Pesquisa no Serviço de Testes Educacionais em Princeton e Professor Associado em Residência na UCLA, onde presidiu a divisão de Métodos de Pesquisa na Graduate School of Education. O Dr. Klein tem mais de 250 publicações, faz parte do conselho editorial da Review of Educational Research e é membro da American Statistical Association, da American Psychological Association, da American Educational Research Association e do National Council on Measurement in Education.

Dr. Roger Bolus atua como Senior Partner, Research Solutions Group, uma empresa que presta serviços técnicos e analíticos para empreendimentos de pesquisa nas áreas de educação, saúde e testes em larga escala. Roger também tem uma nomeação como Director, Psicometria no Centro de Ciências Neuroviscerais no Departamento de Medicina da UCLA. Durante os últimos 25 anos, ele, em colaboração com o Dr. Stephen Klein, tem prestado consultoria estatística, psicométrica e de gestão de dados às comissões de exame de advogados do estado em todo o país. Entre os clientes atuais estão as bancas estaduais da Califórnia, Illinois, Maryland, Ohio, Massachusetts, Texas, Delaware e Nevada. Neste trabalho, Roger desenvolveu uma especialização no desenho, gestão e análise de grandes e complexos bancos de dados relacionados com testes legais. Os interesses atuais do Dr. Bolus estão nas áreas de adaptabilidade da Internet à administração e pontuação de respostas abertas em testes de alto risco. O Dr. Bolus recebeu seu mestrado e doutorado da Universidade da Califórnia, Los Angeles School of Education, com especialização em Teste, Medição e Avaliação Educacional (1981). Ele é autor ou co-autor de mais de 30 artigos e relatórios técnicos, e tem falado em várias conferências nacionais sobre os tópicos de testes e avaliação de resultados.

Question	Sim	Não
1. Você foi empregado por uma média de 20 horas/semana ou mais durante as cinco semanas que antecederam o Exame de Ordem de Julho de 2004? (Não conte qualquer tempo de licença pago para estudar para o exame).
>2. O inglês era a língua principal falada em sua casa quando você estava crescendo?
3. Você é a primeira pessoa da sua família a receber um diploma universitário?
>4. Você é a primeira pessoa da sua família a receber um diploma universitário ou profissional?
5. Fez algum dos seguintes componentes de um curso de revisão de bar comercial nos seis meses anteriores ao exame de bar de Julho de 2004?
a. Palestra e sessões de discussão
b. Fitas ou CDs de áudio e/ou vídeo
c. Lições na Internet
d. Guias de estudo e livros em papel
6. Participou em algum programa de faculdade de direito concebido para melhorar a sua capacidade de fazer ou estudar durante os seguintes:
a. Pré-inscrição Sessão de Verão
b. 1º Ano da Faculdade de Direito
c. 2º Ano da Licenciatura em Direito
d. 3º Ano da Faculdade de Direito