ANALYSIS OF JULY 2004 TEXAS BAR EXAM RESULTS BY GENDER AND RACIAL/ETHNIC GROUP
Stephen P. Klein, Ph.D. and Roger Bolus, Ph.D…
GANSK & Associates
（この分析は2006年6月に更新されました。 詳細はこちらをご覧ください）
December 15, 2004
Texas Government Code Sec.82.0291 は、テキサス州法試験委員会に「2004年7月の司法試験で失敗する申請者の数を示すレポートを作成すること」を指示しました。 そのデータは性別、民族、人種別に集計されるものとする。 この報告書には、不合格の特定可能な原因の分析、および不合格の原因に対処するための推奨事項（もしあれば）も含まれなければならない」
以下に述べる分析は、この法案に対応するために行われたものである。 以下の背景として、まずテキサス州司法試験の主な特徴と、その点数がどのように計算され、合否が決定されるかを要約する。 次に、分析のためのデータの収集と処理に使用した手順を説明する。 最後に、司法試験の得点と合格率における男女間、人種・民族間の差の大きさと性質について、また、これらの差に関連する、あるいは関連しない特定の要因についての分析結果について述べる。
- 男女の司法試験合格率やテストのスコアは同等か？ 6397>
- 異なる人種／民族グループは、司法試験の合格率や点数が同等か？ 調査結果
- 人種／民族グループごとの司法試験合格率や得点の違いは、入学資格やロースクールの成績の違いに対応しているか？ 調査結果
- いくつかの司法試験準備活動は、より高い得点と関連していたのか？ 調査結果
- グループとして、いくつかのロースクールの学生は、LSATの平均点に基づいて予想されるよりも一般的に司法試験の得点が高いか低いか？ 調査結果
テキサス州司法試験の構成要素
テキサス州司法試験は2日半の試験である。 テキサス小論文セクションに1日、Multistate Bar Examに1日、そしてMultistate Performance TestとTexas Procedure and Evidence testの組み合わせに半日が費やされます。 これら4つのコンポーネントの主な特徴は以下の通りです：
Multistate Bar Exam (MBE)（マルチステート司法試験）。 MBEは、6時間、200問の多肢選択式試験である。 MBEの問題（または「アイテム」）は、全米司法試験評議会の一般的な指示のもと、アメリカン・カレッジ・テスティング（ACT）が作成・採点しています。 MBEは、以下の6つの科目のそれぞれで、ほぼ同数の項目が出題されます。 憲法、契約、刑法、証拠、財産、不法行為。 受験者のMBE「生」スコアは、正解した問題数です。
ある試験（2004年7月など）で問われるMBE問題のおよそ30%は、以前に使用されたものです。 ACTでは、これらの繰り返し出題される問題のデータを使用して、実施期間中の平均的な問題の難易度に差がある可能性があるため、MBEの生得点を調整しています。 この調整プロセス（「均等化」または「スケーリング」と呼ばれる）の結果、MBEの「スケール」スコアは、どの試験実施機関で取得したかにかかわらず、ほぼ同じレベルの習熟度を示すことになります。 テキサス州は、法的分析とライティングの課題からなる90分のMPT問題または「タスク」を1回実施します。 この課題は、全米司法試験評議会の指導のもとで作成されます。 毎回、新しいタスクが出題されます。 テキサス州の読者は、半分のポイント間隔で1から6のスケールで答えを採点します。
MPTタスクは、特定の実践指向の法的研究、分析、およびライティングスキルを評価します。 タスクは、典型的な弁護士のファイル（例：レター、メモ、レポートなど）のように見え、関連する資料と無関係な資料を含むファイルと、仮想のケースで様々な事項を扱うために必要なすべての判例、法令、副資料のあるライブラリから構成されている。 受験者は、ファイルとライブラリを使用して、上級弁護士へのメモ、クライアントや相手弁護士への手紙、裁判所に提出する準備書面の作成など、現実的なタスクをこなします。
Texas Essay Test. テキサス州試験の6時間のエッセイ部分は、ビジネス・アソシエーション、遺言、不動産、家族法などの分野で12問から構成されています。 テキサス州法試験委員会のメンバーが、プロの編集者の助けを借りて、問題を作成します。 そして、委員会のメンバーと経験豊富な弁護士の採点者が、各問題の解答を1～25点の間で採点します。 最大可能な小論文の生得点は、12×25＝300点です。
Texas Procedure and Evidence (P&E) Test. 90分のP&Eテストは、20の短答式民事問題と20の短答式刑事問題で構成されています。 テキサス州法試験委員会はこれらの問題を作成する責任を負っており、彼らやその仲間は各問題への回答を0から5までのスケールで採点しています。 テキサス州は、各セクションのP&E raw scoreの合計を2で割り（その結果を整数に丸めます）、2つのセクションを通したP&E raw scoreの最大合計が100点になるようにします。
合計スコアと合否判定
テキサス州は、小論文raw score合計をMBEに使用されているものと同じ測定尺度に変換しています。 これは、小論文の点数を、実施機関によって異なる平均的な問題の難易度を調整するために行われます。 テキサス州では、最も高い小論文生スコアに最も高いMBEスケールスコアと同じ値を割り当て、2番目に高い小論文生スコアに2番目に高いMBEスケールスコアと同じ値を割り当て、そして最も低い小論文生スコアに最も低いMBEスケールスコアと同じ値を割り当てるまで、スケーリングは行われます。 変換されたスコアは、小論文の「スケール」スコアと呼ばれます。 これと同じ手順で、MPTとP&Eの生得点もスケールスコアに変換されます。
テキサス州は、MBE、エッセイ、MPT、およびP&Eテストに割り当てられる重みがそれぞれ40、40、10、および10％となるように、各申請者の合計スケールスコアを計算するために以下の式を使用する。
Total scale = 2(MBE Scale) + 2(Essay Scale) + (MPT Scale)/2 + (P&E Scale)/2
合計スケールスコアが675以上の申請者は合格となる。 それ以外は不合格。 この合否基準（MBE尺度の135点に相当）は、他のほとんどの州で用いられている基準と同等です。
Analysis Sample Data
2004年7月の試験の願書には、受験者が性別と人種/民族を記入する欄がありました。 また、試験の休憩時間に配布されたアンケートには、ほぼすべての受験者が回答していますが、全員がすべての質問に答えているわけではありません。 このアンケートのコピーは、本報告書の末尾に添付されている。
本報告書でデータを使用した2003年の受験者は、米国法曹協会に認定されているテキサス州の9つのロースクールを卒業している。 これらの学校は、2004年7月のテキサス州司法試験を受けた卒業生のロースクール入学試験（LSAT）のスコア、学部の成績平均値（UGPA）、ロースクールの成績平均値（LGPA）を我々に提供してくれた。 ロースクールから提供されたデータは、テキサス州弁護士試験委員会には一切開示されていません。 当該データは各ロースクールの所有物とみなされ、いかなる場合も開示されることはありません。 テキサス州法試験委員会は、これらの志願者の司法試験の得点とリピーターの状況データを当社に提供しました。 テキサス州弁護士協会から報告されたすべてのデータは、テキサス州政府規定第82.029条に従ってロースクールに開示されており、その法令に従ってこれ以上開示することはできません。
すべてのデータは、いかなる受験者の身元も明かすことなく当社に提供され、それぞれの受験者の共通の学習ID番号を通してリンクされています。 これらのデータの機密性は、私たちが志願者の名前にアクセスできないようにし、テキサス州委員会がロースクールから提供されたデータにアクセスできないようにする手続きを採用することによって守られた。 ある学校のLGPA3.00は、別の学校の3.00よりもかなり高いまたは低いレベルの習熟度に相当する場合があります。 しかし、いくつかの分析では、学校間でLGPAを組み合わせる必要がある。 そこで、学校間の成績評価基準の違いの可能性を調整するために、学校内のLGPAを、その学校のLSATの得点分布と同じ平均と標準偏差を持つ得点分布に変換した。 本報告書では、この変換を用いた。
出願者は、願書に性別と人種・民族を記入している。 分析サンプルには19の人種・民族グループからの志願者が含まれているが、これらのグループの中には少数の志願者しかいないものもある。 このため、以下の5つのクラスターを形成して分析を行った。
Asian = アジア、中国、日本、韓国、太平洋諸島、ポリネシア、ベトナム
Black = African American, African, and Black
Hispanic = Hispanic, Mexican, Cuban, Puerto Rican, Latin, ホワイト = 白人および白人
その他 = その他（ネイティブアメリカン5名を含む、人種・民族グループ省略）
Research Questions and Answers
1) 司法試験の合格率や試験の得点は男女で同等か？
はい、そうです。 男女の合格率はほぼ同じでした（それぞれ74.73％、74.85％）。 また、9校のサンプルでは、男女の人数はほぼ同じでした（それぞれ1005人と998人）。 表1aは、男性の方が女性よりLSATの平均点が若干高いことを示しているが、UGPAでは逆であった。 男女の平均LGPAは非常に似通っていた。
表1a
男女別の平均UGPA、LSATスコア、LGPA
| スコア | 男性 | 女性 | 全員 |
|---|---|---|---|
| UGPA | 3.15 | 3.29 | 3.22 |
| LSAT | 153.8 | 153.8 | |
| LSAT | 154.9 | 153.4 | |
| LGPA | 152.8 | 154.0 | 153.4 |
UGPA, LSATおよびLGPAについてすべての受験者の標準偏差は0.8でした。3352>
平均すると、男性はMBEで女性よりわずかに高いスコアを獲得したが、他のセクションでは逆であった（表1bを参照）。 この結果は、カリフォルニア州弁護士試験委員会が定期的に発行している技術報告書に記載されている男女の影響に関する結果と一致している。 男女間の平均点の差は均衡し、全体として男女の平均点合計はほぼ同じであった。
表1b
男女別および全受験者の司法試験平均スコア
| スコア | 男性 | 女性 | 全受験者 | |
|---|---|---|---|---|
| MBE | 男女別平均スコア
全受験者の男女別平均スコア 男性 |
全受験者162.1点6 | 140.2 | 141.4 |
| Essay | 141.4 | 141.4 | 143.0 | 142.2 |
| mpt | 140.0 | 143.2 | 143.30 | 141.5 |
| p&e | 142.0 | 143.1 | 142.0 | 143.1 |
| p&e | ||||
| Total Scale | 708.5 | 708.9 | 708.7 |
MBE, Essay, MPT, P&E scoreの標準偏差はすべて13.0であった。 2）異なる人種／民族グループは、司法試験の合格率やスコアが同等なのか？ これは、初回受験者、再受験者とも同様である。
表2aは、人種・民族グループ別、再受験者の有無別の受験者数である。 表2bは、その合格率である。 これらのデータから、分析対象である2003年の志願者の75％が合格していることがわかる。 初回受験者の合格率（81％）は、再受験者の合格率（42％）のほぼ2倍である。 黒人とヒスパニック系は、初回受験者の18％であったが、再受験者の36％を占めている。
表2a
人種／民族グループおよびリピーター状況別の受験者数
| グループ | 白人 | アジア人 | ヒスパニック | 黒人 | その他 | 合計 | |
|---|---|---|---|---|---|---|---|
| ファーストタイマー | 1290 | 75 | 162 | 138 | 1999> 9人 | 35 | 1700 |
| リピーター | 178 | 13 | 47 | 58 | 7 | 303 | |
| Total | 1468 | 88 | 209 | 196 | 42 | 2003 |
Table 2b
Racial/Ethnic 別合格者数率 グループおよびリピーターの状況
| グループ | 白人 | アジア人 | ヒスパニック | 黒人 | その他 | 合計 |
|---|---|---|---|---|---|---|
| ファーストタイマー | 85 | 80 | 69 | 53 | 74 | 81 |
| リピーター | 49 | 46 | 30 | 28 | 29 | 42 |
| 合計 | 81 | 75 | 60 | 45 | 67 | 75 |
表3a（分析対象者2003名全員のデータ）は、各グループの平均UGPAを示したものである。 LSATスコア、LGPA
表3bは、司法試験の平均点である。 これらのデータは、グループの平均スケールのスコアは、試験の4つのセクションで非常に似ていたことを示している。 唯一の例外は、アジア系の志願者がMPTで特に良い成績を収めたことですが、これは、MPTの単一の課題の得点信頼性が比較的低いことを考えると、偶然によるものである可能性が高いです。 ヒスパニック系と黒人は、筆記試験と同じようにMBEで好成績を収めました。 したがって、全体として、試験形式は、グループ間の平均総得点の差に影響を与えなかった。
表3a
平均UGPA、LSAT, and LGPA By Racial/Ethnic Group
| スコア | 白人 | アジア人 | ヒスパニック | ブラック | その他 | |
| UGPA | 3.黒人 LGPA アジア人 | 3.27 | 3.06 | 2.94 | 3.18 | |
| LSAT | 154.6 | 154.9 | 149.5 | 146.1 | 146.16 | 152.5 |
| LGPA | 154.9 | 154.2 | 149.3 | 146.8 | 151.6 |
表3b
人種／民族グループ別テキサス州司法試験平均点
| 得点白人 | アジア人 | ヒスパニック | 黒人 | その他 | ||||
| MBE | 143人.3 | 138.0 | 136.2 | 134.0 | 141.9 | |||
| Essay | 144.0 | 144.9 | Essay | 144.01 | 141.5 | 137.6 | 133.6 | 140.8 |
| mpt | 142.9 | 145.3 | 136.8 | 141.5 141.57 | 134.9 | 138.7 | ||
| p&e | 144.0 | 138.9 | 136.9 | 142.9 | 136.9 | 136.9> | 132.7 | |
| トータルスケール | 717.7 | 700.6 | 685.5 | 670.5 | 705.3 |
3) 人種・民族間の司法試験合格率や得点の差は、入学資格やロースクールの成績の差に対応しているか？
Yes. 我々は、平均して、異なる人種／民族グループの志願者が、ロースクールの入学資格とロースクールの成績に基づいて期待されるほど、司法試験で良い成績を収めていることを発見した
我々は、この問題を二つの方法で検討した。 まず、白人と黒人の LGPA の平均値の 8 ポイントの差は、標準偏差の 0.78 単位に相当することを指摘した。 これは、これらのグループの平均総スケール得点の差（標準偏差単位）とほぼ同じであった。 白人とヒスパニックのLGPAの差の大きさも、これらのグループの合計得点の差（標準偏差値）と非常によく似ていた。
私たちの2つ目のアプローチでは、司法試験の総得点を予測するために2つの「重回帰」方程式を構築しました（統計的により洗練され正確な）。 これらの方程式の1つは、申請者のUGPA、LSATスコア、およびLGPAを含んでいた。 もう1つは、これらと同じ変数に、受験者の性別と人種・民族を加えたものである。 この分析では、出願人の入学資格とロースクールの成績がコントロールされると、人種・民族グループは司法試験の得点とほとんど関係がないことがわかった。 したがって、性別と人種・民族を式に加えたとしても、予測精度に実質的な影響はなかった。 すべてのグループ（アジア人を含む）が予想通りの結果を示した。 つまり、マイノリティと非マイノリティの司法試験のスコアは、入学資格やロースクールの成績の違いから予想されるものと非常に一致したのです。 この試験は、試験を受けるために座る前に存在していたグループ間の差異を増加または減少させなかった。
学校内および学校間の分析では、UGPA、LSAT、LGPA、性別、および人種/民族グループによって説明できない司法試験のスコアに非常に大きな分散があることも示された。 したがって、受験者間の司法試験得点の違いのかなりの部分は、受験者の試験準備の仕方など、他の要因によるものでなければならない。
4) いくつかの司法試験準備活動は、より高い得点と関連していたか？
Yes. 分析対象者のほぼ全員が、受験前の6ヶ月間に1つ以上の市販の司法試験対策講座に参加したと報告しています。 これらの活動のいくつかが他よりも有用であったかどうかを調査するために、私たちは申請者の LSAT スコア、LGPA、および学生アンケートの各質問に対する回答を含む回帰式を構築しました（このアンケートの添付コピーを参照してください）
この分析により、申請者が試験を受ける前の 6 か月間、講義や討論セッションへの参加、インターネットレッスンの利用、ハードコピー学習ガイドと本の使用、のうちの 1 つまたは複数を行った場合に、4 ～ 10 点多い合計スケールスコアを受け取る傾向にあることが判明しました。 これらの方法を利用した受験者の割合は それぞれ85、28、95人であった（多くの受験者が複数の戦略を使用した）。
ほとんどすべての受験者がハードコピー教材を使用したため、ハードコピー教材の使用が統計的に有意な影響を与えたことに驚かされた。 使わなかった人は、十分な効果が得られなかったことがわかる。 インターネット授業の利用効果は、他の2つの方法の利用効果ほど強くはありませんでした。
黒人およびヒスパニック系受験者の約21%（他の受験者全体の15%）が、2004年7月の試験を受ける前の5週間に20時間以上働いていたと報告しています（試験勉強のために雇用者から受け取った有給休暇は除いています）。 平均すると、働いていた志願者は、LSATのスコアとLGPAが同程度のクラスメートに比べ、合計得点で約15点劣っていた。 この統計的に有意な15ポイントの差は、独自の効果（すなわち, 5）グループとして、いくつかの法科大学院の学生は、彼らの平均LSATスコアに基づいて予想されるものよりも司法試験で一般的に高いまたは低いスコアを持っていますか？
一般的にいいえ。テキサス州法試験委員会のウェブサイト（www.ble.state.tx.us）で述べたように、学校間で司法試験の合格率に大きな違いがあります。 これらの差のほぼすべてが、卒業する学生の入試成績の差で説明できることがわかった。 例えば、ロースクールの司法試験平均総得点とLSAT平均得点の間には、ほぼ完璧な関係がある（相関は1.00点満点中0.98点）。 ロースクールの卒業生の多くは、司法試験でLSATの得点に基づいて予想されるよりも良いまたは悪い結果を出していますが、データを学校別に分析すると、これらの違いはほぼ完全に均衡しています。 それにもかかわらず、ある学校の平均合計司法試験スケールスコアは、その平均LSATスコアに基づいて予想されるものよりも10ポイント高かった（このサイズの差が偶然に発生する確率は100分の5未満です）
結論と勧告
男性はMBEで女性よりもわずかに高いスコアが、逆は試験の残りの部分で真なので、全体として、彼らはテキサス州司法試験のほぼ同じ合計スコアと合格率を持っています。 テキサス州の男女の受験生も、同等の入学資格を有しています。
黒人やヒスパニックの受験生は、テキサス州の9つのロースクールに均等に分散しているわけではありません。 彼らは他の学校よりもある学校に通う可能性が非常に高い。 また、学校間の合格率にも大きな差がある。 しかし、人種・民族間の合格率の大きな差は、どのロースクールに通うかとは関係がない。なぜなら、ほとんどすべての学校が、卒業生のLSATの平均点に基づいて予想されるのと同じくらい、司法試験で良い成績を収めているからである。 それが、グループ間の司法試験の得点の差を生み出している。
人種・民族グループ間の得点の差は、試験のさまざまなセクションで非常によく似ていた。 MPT で特に良い結果を出したアジア人を除いて、特定の人種/民族グループにとって、異常に簡単または困難なセクションはありませんでした。 さらに、司法試験の総得点は、これらのグループの入学資格とロースクールの成績の差をほぼ反映している。 したがって、司法試験は、受験前のグループ間の得点差を広げたり狭めたりしないようである。
また、受験者間の司法試験得点の差のかなりの部分が、入学資格、ロースクールの成績、性別、または人種・民族グループの差に起因しないことが分かった。 この残りの分散のうち、小さいながらも統計的に有意な部分は、受験者が試験までの5週間に20時間以上働いたかどうかに関連している。 そして、黒人とヒスパニック系の志願者は、他の志願者に比べて、この期間に働いた人の割合が約1.5倍も多かったのです。 その他のいくつかの準備要因も得点と関連しており、たとえば、市販の司法試験レビュー コースの講義や討論会への参加が挙げられます。
以上の調査結果を考慮すると、試験自体の性質に変更を加える理由はないと思われます。 それは、すべての受験者にとってバランスが取れていて公平であるように見える。 さらに、この試験の結果は、ロースクールの卒業生の能力に対する独自の評価と密接に対応している（ロースクールの成績と各校の司法試験の得点との間に概して高い相関関係があることがそれを反映している）。 とはいえ、準備要因に関する調査結果は、少数派の司法試験合格率を向上させるために、この分野で何かできることがあるかもしれないことを示唆している。 そのためには、ロースクールで成績が良くても、クラスメートと同じように試験準備をするために必要な財力がない可能性のある学生に資金（そしておそらく司法試験対策講座への奨学金）を提供することが必要かもしれない。
July 2004 Texas Bar Examination Examinee Survey
Please put checkmark (√) in the box or No in the respective question below:
| Question | Yes |
|---|---|
| 1.について、YESかNOで答えてください。 2004年7月の司法試験直前の5週間に、平均20時間/週以上雇用されていましたか？ (試験勉強のための有給休暇はカウントしないでください） | |
| 2. あなたが育った時、家庭で主に使われていた言語は英語でしたか？ | |
| 3. あなたは家族の中で最初に大学の学位を取得した人ですか。 | |
| 4. あなたは家族の中で最初に大学院や専門職学位を取得した人ですか。 | |
| 5. 2004年7月の司法試験前の6ヶ月間に、市販の司法試験対策講座の次のような内容を受講しましたか。 | |
| a. 講演会・討論会 | |
| b. オーディオおよび/またはビデオテープ、CD | |
| c. インターネット上の授業 | |
| d. ハードコピーの学習ガイドと本 | |
| 6. 以下の期間、受験または学習スキルを向上させるためにデザインされたロースクールのプログラムに参加しましたか: | |
| a． 入学前サマーセッション | |
| b. ロースクール1年目 | |
| c. ロースクール2年目 | |
| d. ロースクール3年目 |
Stephen Klein博士は、コンサルティング会社GANSK and Associatesのシニアパートナーです。 その中で、全米司法試験委員会、20以上の州司法試験委員会、10以上のロースクール、米国ロースクール協会に対して、さまざまな問題について調査やコンサルティングを行いました。 また、会計、鍼灸、数理科学、歯学、医学、足病学、心理学、教育学などの資格認定委員会のコンサルティングも行っています。 刑事司法、試験、教育、人事、投票権などに関して、州裁判所や連邦裁判所、立法・行政機関の公聴会で専門家として証言を行っている。 また、測定問題を含む大規模な集団訴訟において、連邦裁判所から任命された技術顧問を務め、全米科学アカデミー、全米科学財団、大学間運動に関するナイト委員会、リトルフーバー委員会、その他多くの公的・民間機関や組織に対してコンサルティングを提供しています。 クライン博士はまた、カリフォルニア州サンタモニカのランド研究所で上級研究員として、教育、健康、軍事要員、刑事司法の問題についての研究を主導している。 1975年にランド研究所に来る前は、プリンストンのEducational Testing Serviceの研究心理学者、UCLAの助教授として滞在し、教育学研究科の研究方法部門の主任を務めた。 クライン博士は250以上の出版物を持ち、Review of Educational Researchの編集委員であり、アメリカ統計協会、アメリカ心理学会、アメリカ教育研究協会、National Council on Measurement in Educationのメンバーでもあります。 また、UCLA医学部の神経内臓科学センターで心理測定ディレクターを務めています。 過去25年間、スティーブン・クライン博士と共同で、全米の司法試験委員会に統計学、心理測定、データ管理のコンサルティングを提供しています。 現在、カリフォルニア、イリノイ、メリーランド、オハイオ、マサチューセッツ、テキサス、デラウェア、ネバダの各州の弁護士をクライアントとしています。 この仕事を通じて、ロジャーは、法的テストに関連する大規模で複雑なデータベースの設計、管理、分析に関する専門知識を身につけました。 現在、ボーラス博士の関心は、高得点試験における自由形式回答の管理および採点へのインターネットの適応性の分野にあります。 カリフォルニア大学ロサンゼルス校教育学部で教育テスト、測定、評価を専攻し、修士号と博士号を取得しました（1981年）。 30以上の論文やテクニカルレポートの著者または共著者であり、テストと結果評価をテーマとするいくつかの国内会議で講演を行っています。
