وحثت المحكمة العليا في كاليفورنيا شريط ولاية كاليفورنيا يوم الخميس على شرح كيف ولماذا استخدمت الذكاء الاصطناعي لتطوير أسئلة متعددة الخيارات لامتحانات شريط فبراير الفاشلة.
كشفت أعلى محكمة في كاليفورنيا ، والتي تشرف على شريط الولاية ، يوم الثلاثاء أن قضاةها لم يتم إبلاغهم قبل الامتحان بأن شريط الولاية قد سمح له النفسي المستقل باستخدام الذكاء الاصطناعي لتطوير مجموعة فرعية صغيرة من الأسئلة.
رفعت المحكمة يوم الخميس ضغوطها العامة على شريط الدولة ، مطالبة بها تشرح كيف استخدمت الذكاء الاصطناعي لتطوير الأسئلة – وما هي الإجراءات التي اتخذتها لضمان موثوقية الأسئلة.
ويأتي هذا الطلب في الوقت الذي يقدم فيه حزب الولاية المحكمة لضبط درجات الاختبار لمئات من محامو كاليفورنيا المحتملين الذين اشتكوا من عدة المشاكل الفنية والمخالفات خلال امتحانات فبراير.
إن الجدل يدور حول استخدام بار الدولة للذكاء الاصطناعي في حد ذاته. يتعلق الأمر بكيفية استخدام شريط الدولة لمنظمة العفو الدولية لتطوير أسئلة – وكيف كانت عملية فحصها الصارمة – لامتحان المخاطر العالية التي تحدد ما إذا كان الآلاف من المحامين الطموحين يمكنهم ممارسة القانون في كاليفورنيا كل عام.
كما أنه يثير تساؤلات حول مدى شفافية مسؤولي نقابة المحامين أثناء سعينا للتخلي عن المؤتمر الوطني لفحص المحامين المتعددين لفاحصين المحامين-وهو نظام تستخدمه معظم الولايات-وطرح نموذج هجين جديد للاختبار الشخصي والبالي في محاولة لخفض التكاليف.
في بيان يوم الخميس ، قالت المحكمة العليا إنها كانت تسعى للحصول على إجابات حول “كيف ولماذا تم استخدام الذكاء الاصطناعى لصياغة أو مراجعة أو تطوير أسئلة معينة متعددة الخيارات ، وجهود لضمان موثوقية أسئلة متعددة من الأسئلة المتعددة التي تم تساؤلها من AI ، ما إذا كانت أي أسئلة متعددة الأوساط قد تم تحديدها من ذلك ، وموثوقية من أسئلة متعددة المصادر. أسئلة متعددة الخيارات المستخدمة للتسجيل. “
في العام الماضي ، وافقت المحكمة على خطة شريط الولاية لصياغة صفقة بقيمة 8.25 مليون دولار ، مدتها خمس سنوات مع كابلان لإنشاء 200 سؤال اختبار لامتحان جديد. استأجر شريط الدولة أيضًا شركة منفصلة ، Meazure Learning ، لإدارة الامتحان.
لم يكن حتى هذا الأسبوع – بعد ما يقرب من شهرين من الامتحان – أن شريط الدولة كشف في أ بيان صحفي أنها انحرفت عن خطتها لاستخدام خدمات امتحان Kaplan لكتابة جميع أسئلة الاختيار من متعدد.
في عرض تقديمي، كشف شريط الدولة أن 100 من 171 تم تسجيل أسئلة متعددة الخيارات من قبل كابلان وتم استخلاص 48 من امتحان طلاب القانون في السنة الأولى. تم تقديم مجموعة فرعية أصغر من 23 سؤالًا مسجلاً من قبل ACS Ventures ، وهو أخصائي Scyomometricist في بار الدولة ، وتم تطويره مع الذكاء الاصطناعي.
“لدينا ثقة في صحة [multiple-choice questions] وقال ليا ويلسون ، المدير التنفيذي لحزام الولاية ، في بيان “لتقييم الدقة والإنصاف الكفاءة القانونية لمقدمي الاختبارات”.
أخبر أليكس تشان ، وهو محامي يرأس لجنة الفاحصين المحامين ، والذي يمارس الإشراف على امتحان بار كاليفورنيا ، التايمز يوم الثلاثاء أن مجموعة فرعية صغيرة فقط من الأسئلة تستخدم الذكاء الاصطناعي – وليس بالضرورة لإنشاء الأسئلة.
كما أشار تشان إلى أن المحكمة العليا في كاليفورنيا حث شريط الدولة في شهر أكتوبر لمراجعة “توفر أي تقنيات جديدة ، مثل الذكاء الاصطناعي ، والتي قد تبتكر وتحسين موثوقية وفعالية التكلفة لمثل هذا الاختبار.”
“لقد أعطت المحكمة إرشاد وقال تشان: “للنظر في استخدام الذكاء الاصطناعي ، وهذا بالضبط ما سنفعله”.
وأوضحت تشان في وقت لاحق أن هذه العملية تخضع لمراجعة المحكمة وموافقةها.
في يوم الخميس ، كشفت تشان لصحيفة التايمز التي لم يخبرها مسؤولو حارات الولاية للجنة الفاحصين المحامين قبل الامتحانات التي خططت لاستخدام الذكاء الاصطناعي.
وقال تشان: “لم يتم إبلاغ اللجنة مطلقًا باستخدام الذكاء الاصطناعي قبل إجراء الامتحان ، لذلك لم يكن من الممكن أن يفكر ، وأقل من أي وقت مضى ، استخدامه”.
وقالت كاتي موران ، أستاذة مشاركة في كلية الحقوق بجامعة سان فرانسيسكو التي تتخصص في إعداد امتحان المحامين ، هذه سلسلة من الأسئلة.
“من الذي قام في حانة الولاية بإخراج ACS Ventures ، وهي شركة نفسية بدون خلفية في كتابة أسئلة امتحان الشريط ، لتأليف أسئلة الخيارات متعددة الخيارات التي ستظهر في امتحان الشريط؟” قالت في LinkedIn. “ما هي الإرشادات ، إن وجدت ، التي قدمها شريط الدولة؟”
وقالت ماري باسيك ، مساعدة عميد المهارات الأكاديمية في كلية الحقوق في جامعة كاليفورنيا في إيرفين ، إنها كانت هناك صفقة كبيرة في كيفية صياغة شريط الدولة لم تتم الموافقة على أسئلتها من قبل لجنة امتحان المحامين أو المحكمة العليا في كاليفورنيا.
وقالت: “ما وافقوا عليه هو امتحان متعدد الخيارات مع أسئلة صرف كابلان”. “Kaplan هي شركة الإعدادية المحاماة ، لذلك بالطبع ، لديها معرفة بالمفاهيم القانونية التي يتم اختبارها ، امتحان المحامين نفسه ، وكيف ينبغي تنظيم الأسئلة. لذلك كان التفكير أنه لن يكون تغييرًا كبيرًا”.
وأشارت إلى أن أي تغيير كبير يمكن أن يؤثر على كيفية تحضير المختبرين للامتحان ، يتطلب إشعارًا لمدة عامين بموجب كاليفورنيا رمز الأعمال والمهن.
وقال باسيك: “عادةً ما تستغرق هذه الأنواع من الأسئلة سنوات للتأكد من أنها صالحة وموثوقة وهناك خطوات متعددة للمراجعة”. “لم يكن هناك ما يكفي من الوقت للقيام بذلك.”
كما أثار باسك وغيره من الأساتذة مخاوف من أن توظيف أخصائي سيكومتر غير مدرب القانوني لتطوير أسئلة مع الذكاء الاصطناعى ، وكذلك تحديد ما إذا كانت الأسئلة صالحة وموثوقة ، يمثل تضاربًا في المصالح.
وقد عارض شريط الدولة هذه الفكرة: “إن” عملية التحقق من صحة الأسئلة واختبار الموثوقية ليست ذاتية ، والمعلمات الإحصائية المستخدمة من قبل الأخصائي النفسي تظل كما هي بغض النظر عن مصدر السؤال “.
في يوم الثلاثاء ، أخبر شريط الولاية التايمز أن جميع الأسئلة تمت مراجعتها من قبل لوحات التحقق من صحة المحتوى وخبراء الموضوع قبل امتحان العوامل بما في ذلك الدقة القانونية والحد الأدنى من الكفاءة والتحيز المحتمل.
عندما تم قياسه للموثوقية ، قال شريط الدولة ، حيث سجلت أسئلة متعددة الخيارات من جميع المصادر-بما في ذلك الذكاء الاصطناعى-“فوق الهدف السيكومتري البالغ 0.80”.
لم يجيب شريط الدولة بعد على أسئلة حول سبب انحرافها من خطته لكابلان لصياغة جميع أسئلة الاختيار من متعدد. كما أنه لم يتم وضعه حول كيفية استخدام مشاريع ACS لمنظمة العفو الدولية لتطوير أسئلتها.
