صُغ الطلب نفسه بطريقة مختلفة قليلاً، وسيجيبك نموذج اللغة بشكل مختلف تماماً. وبحسب فريق مشروع QuantPi، هذه هي المشكلة الأكثر شيوعاً التي تظهر عند اختبار الذكاء الاصطناعي التوليدي. فقد بنى الباحثون منصة تنشئ الاختبارات بنفسها، وترصد عدم الثبات والتحيّز، وتُعدّ وثائق للمدقّقين. وجرّبوها أيضاً على نظام يوصي بمرشحين للوظائف — وفي النهاية يمكنك أن تعرف مدى ثقتك بإجابات الذكاء الاصطناعي.
يساعد الذكاء الاصطناعي التوليدي بصورة متزايدة في تقييم المرشحين للوظائف وخدمة العملاء ودعم القرارات التجارية. وأكبر نقاط قوته هي السرعة. لكن له نقطة ضعف يسهل إغفالها: فقد يتفاعل بشكل مختلف تماماً مع تغيير بسيط في صياغة السؤال أو في اللغة أو في السياق. وهذا يعني للشركات مهمة مزدوجة. فعليها أن ترصد هذه الشذوذات، وتحتاج كذلك إلى وثائق تثبت أن الخطر قد اختُبر وأنه تحت السيطرة.
تصدّى لهذه المشكلة مشروع QuantPi الذي يدعمه مجلس الابتكار الأوروبي. فقد أنتج منصة لإدارة مخاطر الذكاء الاصطناعي التوليدي، مبنية حول تقنية PiCrystal. وتنشئ الأداة تلقائياً مجموعات اختبار، وتفحص سلوك النموذج، وتحوّل النتائج إلى وثائق جاهزة للتدقيق ومرتبطة بمتطلبات قانون الاتحاد الأوروبي للذكاء الاصطناعي. وتفحص المنصة الأنظمة من ثلاث زوايا: المخرجات غير المستقرة، والتحيّز، وتوفر الأدلة التي يمكن تقديمها أثناء التدقيق.
ما الذي يظهر في أغلب الأحيان في هذه الاختبارات؟ يجيب لوكاس بيرينغر (Lukas Bieringer)، رئيس قسم السياسات والمنح في QuantPi، بلا مواربة: «إنه عادةً سلوك غير متسق أو غير مستقر عند حدوث تغيّرات واقعية في المدخلات — فالفئة نفسها من الأوامر تعطي مخرجات مختلفة اختلافاً جوهرياً بحسب الصياغة أو اللغة أو السياق».
وعملياً، قد يجتاز النظام اختباراً مرجعياً بسيطاً بسلاسة، ثم يفشل عندما يلتقي بمستخدمين حقيقيين يصوغون طلباتهم على طريقتهم. وعندها فقط تظهر التحيّزات وأوجه عدم المساواة بين المجموعات، وهي فروق لا تُرى في النتائج المتوسطة.
تحقق الفريق من ذلك في حالة محددة. فقد جرى تقييم نظام توصية بالمرشحين يقوم على نموذج لغوي كبير، بشراكة مع منصة التوظيف Stepstone ومختبر ضمان الذكاء الاصطناعي TÜV AI.Lab. وهذه الخلاصة مهمة لكل من قد تصل سيرته الذاتية إلى مثل هذا النظام. فاختبار أدوات الذكاء الاصطناعي المستخدمة في التوظيف يتطلب مجموعات بيانات كبيرة وممثِّلة. وحدها تتيح الاختبار التقاطعي، الذي يمكن فيه فحص الخصائص المتداخلة لمجموعات مختلفة. ويعمل المتوسط هنا كستار: فهو يُخفي فروقاً مهمة في طريقة تعامل النظام مع كل شريحة على حدة.
الفكرة الثانية لدى QuantPi هي فصل طبقة الأدلة عن طبقة العرض. وهي تنبع من ملاحظة بسيطة: يحتاج أشخاص مختلفون في الشركة إلى معلومات مختلفة عن النظام نفسه.
ولكي لا تتباعد هذه المنظورات، توجد قاعدة واحدة. يوضح بيرينغر: «مبدأ التصميم الأساسي هو أن تُشتق جميع المنظورات من قاعدة الأدلة الإحصائية نفسها، بحيث يمكن دائماً تتبّع أي بيان على مستوى مجلس الإدارة وصولاً إلى نتيجة اختبار محددة».
الأتمتة لا تعني أن الحكم البشري صار غير ضروري. فالناس هم من يحدد الغرض من النظام، ويختار أي تعريفات للإنصاف أو السلامة تُطبَّق، ويضع عتبات القبول، ويقرر هل تُعتمد الأداة أو تُؤجَّل أو تُسحب. وتوزيع الأدوار واضح: المنصة تقيس الخطر، والأشخاص المسؤولون يقررون أي مستوى منه مقبول.
كما أن الاختبار الذي يُجرى مرة واحدة لا يكفي إلى الأبد. فتبدأ المراقبة كلما تغيّر الوضع: بعد تحديث النموذج، أو تعديل الأمر النصي، أو إنشاء فهرس استرجاع جديد. وانحراف المدخلات وانحراف المخرجات وتغيّر القواعد تستدعي أيضاً إعادة التقييم، لأن أيّاً منها قد يبطل النتائج السابقة.
بحسب بيرينغر، لم تعد العقبة الكبرى أمام كثير من الشركات هي الوعي بالقواعد. ويقولها بصراحة: «ما لا يستطيعون فعله هو تقديم أدلة تقنية على المطابقة تصمد أمام جهة مُبلَّغة أو مدقّق، خصوصاً في الأنظمة التوليدية التي لا تكفي فيها تقارير الاختبارات المرجعية التقليدية ولا تتوافر حتى الآن معايير منسّقة». وتهدف منصة QuantPi إلى سدّ هذه الفجوة تحديداً، بتحويل الاختبارات التقنية إلى أدلة يمكن لفرق مختلفة استخدامها قبل الاعتماد وبعده.
قد يكون الذكاء الاصطناعي التوليدي متقلب المزاج: فالسؤال نفسه إذا طُرح بكلمات أخرى قد يعطي جواباً مختلفاً تماماً، وقد تُخفي النتائج المتوسطة للاختبارات معاملة غير متكافئة لمجموعات بعينها. ويبيّن مشروع QuantPi أن التقييم السليم لمثل هذه الأنظمة يتطلب اختبارات آلية قابلة للتكرار، وبيانات ممثِّلة، وقاعدة أدلة واحدة مشتركة للجميع، من المحلل إلى مجلس الإدارة. غير أن الكلمة الأخيرة في تحديد أي خطر مقبول تبقى للبشر.
5 أسئلة · دقيقة واحدة
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文