بعد ما يقرب من شهرين من مئات من محامو كاليفورنيا المحتملين اشتكوا من أنهم كانت امتحانات البار تعاني من المشكلات الفنية والمخالفات، تسببت هيئة الترخيص القانوني في الولاية في غضب جديد من خلال الاعتراف بأن بعض الأسئلة متعددة الخيارات تم تطويرها بمساعدة الذكاء الاصطناعي.
وقال شريط ولاية كاليفورنيا في أ بيان صحفي يوم الاثنين سوف تطلب من المحكمة العليا في كاليفورنيا ضبط درجات الاختبار لأولئك الذين خضعوا لامتحان شريط فبراير.
لكنها رفضت الاعتراف بمشكلات كبيرة في أسئلتها متعددة الخيارات-على الرغم من أنها كشفت أنه تم إعادة تدوير مجموعة فرعية من الأسئلة من امتحان طالب القانون في السنة الأولى ، بينما تم تطوير آخرين بمساعدة AI من قبل ACS Ventures ، The State Bar Psychometrician.
وقالت ماري باسيك ، مساعدة عميد المهارات الأكاديمية في كلية الحقوق في جامعة كاليفورنيا في إيرفين: “إن الهاربة التي كانت امتحان شريط فبراير 2025 أسوأ مما تخيلنا”. “أنا عاجز عن الكلام تقريبًا. إن الحصول على الأسئلة التي تم صياغتها من قبل غير المحامين الذين يستخدمون الذكاء الاصطناعي أمر لا يصدق.”
وقال باسيك ، بعد الانتهاء من الامتحان ، اشتكى بعض المتقاعدين من الاختبارات من أن بعض الأسئلة شعرت كما لو كانت كتبها منظمة العفو الدولية.
“لقد دافعت عن الشريط” ، قال باسيك. “لا يمكن أن يفعلوا ذلك!”
باستخدام الأسئلة التي تم تطويرها من الذكاء الاصطناعى التي كتبها أخصائيو السيكومتريون غير المدربين-مثل “تضارب واضح في المصالح” ، جادل باسيك ، لأن “هذه هي نفس الأطباء النفسيين المكلفين بتأسيس أن الأسئلة صالحة وموثوقة”.
“إنه اعتراف مذهل” ، وافقت كاتي موران ، الأستاذة المساعد في كلية الحقوق بجامعة سان فرانسيسكو المتخصصة في إعداد امتحان المحامين.
وقالت: “لقد اعترف شريط الدولة بأنهم استخدموا شركة لإنشاء غير محلي يستخدم الذكاء الاصطناعي لصياغة الأسئلة التي تم تقديمها في امتحان الشريط الفعلي”. “ثم دفعوا نفس الشركة لتقييم الأسئلة والموافقة عليها في نهاية المطاف في الامتحان ، بما في ذلك الأسئلة التي قامت بها الشركة.”
قال حانة الولاية ، وهي ذراع إدارية للمحكمة العليا في كاليفورنيا ، يوم الاثنين إن غالبية الأسئلة متعددة الخيارات تم تطويرها من قبل كابلان لخدمات امتحان ، وهي شركة تعاقدت عليها العام الماضي أثناء سعتها لتوفير المال.
حسب حديث عرض تقديمي من خلال شريط الدولة ، تم استخلاص 100 من 171 من الأسئلة المتعددة الخيارات من قبل كابلان وتم استخلاص 48 من امتحان طلاب القانون في السنة الأولى. تم تقديم مجموعة فرعية أصغر من 23 سؤالًا مسجلاً من قبل ACS Ventures ، وهو أخصائي Scyomometricist في بار الدولة ، وتم تطويره مع الذكاء الاصطناعي.
“لدينا ثقة في صحة [multiple-choice questions] وقال ليا ويلسون ، المدير التنفيذي لحزام الولاية ، في بيان “لتقييم الدقة والإنصاف الكفاءة القانونية لمقدمي الاختبارات”.
في يوم الثلاثاء ، قال متحدث باسم حانة الولاية لصحيفة التايمز إن جميع الأسئلة – بما في ذلك 29 أسئلة مسجلة وغير مسجلة من أخصائي السيكومتريسي المستقل بالوكالة والذي تم تطويره بمساعدة منظمة العفو الدولية – تمت مراجعته من قبل لوحات التحقق من صحة المحتوى وخبراء الموضوع قبل امتحان العوامل بما في ذلك الدقة القانونية ، والحد الأدنى من الكفاءة والحيوية المحتملة.
عندما تم قياسه للموثوقية ، قال شريط الدولة لصحيفة التايمز ، حيث تم تسجيل أسئلة متعددة الخيارات من جميع المصادر-بما في ذلك الذكاء الاصطناعى-“فوق الهدف السيكومتري البالغ 0.80”.
ورفض شريط الدولة أيضًا فكرة تضارب المصالح.
وقال حانة الدولة: “عملية التحقق من صحة الأسئلة واختبار الموثوقية ليست ذاتية ، والمعلمات الإحصائية المستخدمة من قبل الأطباء السيكومتريسيين تظل كما هي بغض النظر عن مصدر السؤال”.
أخبر أليكس تشان ، وهو محامي يشغل منصب رئيس لجنة المحامين في المحامين ، التايمز أن مجموعة فرعية صغيرة فقط من الأسئلة تستخدم الذكاء الاصطناعي – وليس بالضرورة لإنشاء الأسئلة.
وقال تشان: “يقترح الأساتذة أننا استخدمنا منظمة العفو الدولية لصياغة جميع أسئلة الاختيار من متعدد ، بدلاً من استخدام الذكاء الاصطناعى لفحصها”. “هذا ليس فهمي.”
لاحظ تشان أن المحكمة العليا في كاليفورنيا حث شريط الدولة في شهر أكتوبر لمراجعة “توفر أي تقنيات جديدة ، مثل الذكاء الاصطناعي ، والتي قد تبتكر وتحسين موثوقية وفعالية التكلفة لمثل هذا الاختبار.”
“لقد أعطت المحكمة إرشاد وقال تشان: “للنظر في استخدام الذكاء الاصطناعي ، وهذا بالضبط ما سنفعله”.
وأوضح تشان أن هذه العملية تخضع لمراجعة المحكمة وموافقتها.
وقال: “لم يتم إبلاغ اللجنة مطلقًا باستخدام الذكاء الاصطناعي قبل إجراء الامتحان ، لذلك لم يكن من الممكن أن يفكر ، أقل بكثير من استخدامه”.
قال متحدث باسم أعلى محكمة في كاليفورنيا يوم الثلاثاء إن القضاة اكتشفوا هذا الأسبوع فقط أن شريط الولاية قد استخدم الذكاء الاصطناعي في تطوير أسئلة الامتحانات.
“حتى شريط الدولة الأمس بيان صحفيوقال متحدث باسم المتحدث في بيان “لم تكن المحكمة على دراية بأن الذكاء الاصطناعى قد استخدمت لصياغة أي من أسئلة الاختيار من متعدد”.
في العام الماضي ، حيث واجه شريط الولاية عجزًا بقيمة 22 مليون دولار في صندوقه العام ، فقد قررت خفض التكاليف من خلال التخلص من المؤتمر الوطني لفحص البار المتعددين لفاحصين المحامين ، ونظام يستخدمه معظم الولايات ، والانتقال إلى نموذج هجين جديد من الاختبارات الشخصية والبعيدة. قطع صفقة بقيمة 8.25 مليون دولار مع خدمات امتحان شركة اختبار Kaplan لإنشاء أسئلة اختبار وتوظيف meazure تعلم إدارة الامتحان.
كانت هناك مشاكل متعددة في عرض شريط الولاية للامتحانات الجديدة. أفاد بعض المتقدمين في الاختبارات أنهم تم إزالتهم من منصات الاختبار عبر الإنترنت أو الشاشات ذات الخبرة التي تتخلف عن رسائل الخطأ وعرضها. واشتكى آخرون من أن أسئلة اختبار الاختيار من متعدد كانت مطبعية ، وتألفت من أسئلة هراء واستبقى حقائق مهمة.
دفعت الامتحانات الفاشلة بعض الطلاب إلى رفع دعوى اتحادية ضد تعلم meazure. وفي الوقت نفسه ، رئيس القضاء في مجلس الشيوخ في كاليفورنيا توماس ج. أومبرج (دي سانتا آنا) دعا إلى تدقيق شريط الدولة وأمرت المحكمة العليا في كاليفورنيا الوكالة العودة إلى الإدارة التقليدية للشخصية لامتحانات شريط يوليو.
لكن شريط الولاية يضغط إلى الأمام مع نظامه الجديد لأسئلة الاختيار من متعدد-على الرغم من أن بعض الخبراء الأكاديميين قد وضعوا مرارًا وتكرارًا لمشاكل في جودة أسئلة امتحان فبراير.
وكتب باسك وموران في 16 أبريل في تعليق عام على لجنة الفاحصين في المحامين: “لقد أعرب الكثيرون عن قلقهم بشأن السرعة التي تمت بها صياغة أسئلة كابلان والجودة الناتجة عن هذه الأسئلة”. “لا تزال أسئلة الممارسة الخمسين التي تم إصدارها-والتي تم تحريرها بشكل كبير وإعادة إصدارها قبل أسابيع قليلة من الامتحان-تحتوي على العديد من الأخطاء. وقد أدى ذلك إلى تآكل ثقتنا في جودة الأسئلة.”
تاريخيا ، قال موران ، أسئلة الامتحانات التي كتبها المؤتمر الوطني لفاحصاء المحامين استغرق سنوات لتطويرها.
وقال باسيك إن إعادة استخدام بعض الأسئلة من امتحان قانون السنة الأولى أثارت أعلامًا حمراء. وقالت إن اختبارًا لمعرفة ما إذا كان الشخص قد تعلم ما يكفي في عامه الأول من كلية الحقوق يختلف عن الذي يحدد ما إذا كان متجانس الاختبار مؤهلاً إلى الحد الأدنى لممارسة القانون.
قالت: “إنه معيار مختلف كثيرًا”. “هذا ليس فقط ،” مهلا ، هل تعرف هذه القاعدة؟ ” إنه ، “هل تعرف كيفية تطبيقه في موقف يكون فيه الغموض ، وتحديد المسار الصحيح للعمل؟”
أيضا ، فإن استخدام أسئلة إعادة التدوير من الذكاء الاصطناعى وإعادة التدوير من امتحان قانون في السنة الأولى يمثل تغييرًا كبيرًا لإعداد امتحان المحامين ، على حد قول Basick. وقالت إن هذا التغيير يتطلب إشعارًا لمدة عامين بموجب كاليفورنيا رمز الأعمال والمهن.
لكن شريط الدولة أخبر التايمز أن مصادر الأسئلة لم تثير إشعارًا لمدة عامين.
“حقيقة أن هناك مصادر متعددة لتطوير أسئلة لم تؤثر على إعداد الامتحانات” ، قال حانة الدولة.
قالت باسيك إنها نشعر بالقلق في أوائل مارس عندما ، كما قالت ، أن بار الدولة ركلها وغيرها من الخبراء الأكاديميين من لوحات تسوية الأسئلة.
وقالت إن شريط الدولة جادل بأن أساتذة القانون قد عملوا مع أسئلة صاغها المؤتمر الوطني لفاحصي المحامين في الأشهر الستة الماضية ، مما قد يثير قضايا انتهاك حقوق الطبع والنشر المحتملة.
وقالت: “من المفارقات أن ما فعلوه بدلاً من ذلك هو أن يكون هناك مسودة أسئلة غير محامين باستخدام الذكاء الاصطناعي”. “المكان الذي كان من الممكن أن يكون الذكاء الاصطناعي قد حصل على معلوماتهم من أسئلة NCBE ، لأنه لا يوجد شيء آخر متاح. ماذا سيستخدم الذكاء الاصطناعي؟”
منذ كارثة الامتحان في فبراير ، أدى إلى عدم شأن شريط الولاية فكرة أن هناك مشاكل كبيرة مع أسئلة الاختيار من متعدد. بدلاً من ذلك ، ركزت على مشاكل تعلم meazure.
وقال حانة الدولة في أ “إننا نقوم بفحص أداء البائع في تلبية التزاماتهم التعاقدية”. وثيقة وقد أدرجت المشكلات اختبار المتقدمين الذين عانوا وأبرزوا توقعات الأداء ذات الصلة المنصوص عليها في العقد.
لكن النقاد اتهموا شريط الدولة بتحويل اللوم-وجادلوا بأنه فشل في الاعتراف بجدية المشكلات المتعلقة بالأسئلة متعددة الخيارات.
دعا Moran شريط الدولة إلى إصدار جميع الأسئلة الـ 200 التي كانت في اختبار الشفافية والسماح لمحبي الاختبار المستقبلي بفرصة للتعود على الأسئلة المختلفة. كما دعت إلى شريط الدولة للعودة إلى امتحان شريط الولايات المتحدة لامتحانات يوليو.
قالت: “لقد أظهروا للتو أنهم لا يستطيعون إجراء اختبار عادل”.
وقال تشان إن لجنة فاحصي المحامين ستجتمع في 5 مايو لمناقشة التعديلات غير المتوقعة والعلاجات. لكنه شكك في أن شريط الدولة سيطلق جميع الأسئلة 200 أو يعود إلى امتحانات المؤتمر الوطني لامتحانات المحامين في يوليو.
وقال إن أمان امتحان NCBE لن يسمح بأي شكل من أشكال الاختبارات عن بُعد ، وأظهرت الدراسات الاستقصائية الأخيرة لحانة الولاية أن ما يقرب من 50 ٪ من المتقدمين في نقاط المحامين في كاليفورنيا يرغبون في الاحتفاظ بالخيار البعيد.
وقال تشان: “لن نعود إلى NCBE – على الأقل على المدى القريب”.
