Microsoft تطلق ASSERT لاختبار سلوك الذكاء الاصطناعي

كشفت شركة Microsoft يوم الثلاثاء عن ASSERT، وهو إطار عمل مفتوح المصدر مصمم لتقييم سلوك الذكاء الاصطناعي الخاص بتطبيقات معينة. تهدف الأداة، التي يرمز اسمها إلى Adaptive Spec-driven Scoring for Evaluation and Regression Testing (التسجيل القائم على المواصفات التكيفية للتقييم واختبار الانحدار)، إلى تبسيط عملية الاختبار للمطورين. وهي تتيح لهم تحويل الأوصاف عالية المستوى باللغة الطبيعية للأهداف أو السياسات أو السلوكيات المقصودة إلى اختبارات منظمة ومسجلة. يأتي هذا الإصدار في الوقت الذي يواجه فيه المطورون والشركات ما يبدو أنه حاجة جديدة ومحددة لضمان تصرف أنظمة الذكاء الاصطناعي كما هو مقصود لمنتجاتهم أو خدماتهم المحددة.

يعمل إطار العمل ASSERT من خلال أخذ أوصاف باللغة العادية للسلوك والسياسات المتوقعة لنموذج الذكاء الاصطناعي، وتحويلها إلى مجموعة منظمة من السلوكيات المقبولة وغير المقبولة. ثم يقوم إطار العمل بإنشاء سيناريوهات مشكلات وحالات اختبار، وتشغيلها مقابل النظام المستهدف، وتسجيل النتائج. ولمساعدة المطورين على فحص أماكن حدوث الإخفاقات، يمكن للأداة تسجيل المسارات التي تتخذها أنظمة الذكاء الاصطناعي، بما في ذلك الإجراءات الوسيطة واستدعاءات الأدوات. يمكن للمطورين أيضاً تقديم سياق النظام والأدوات والقيود لتخصيص ما تغطيه التقييمات بشكل أكبر. على سبيل المثال، يمكن للمطور تحديد أن وكيل الذكاء الاصطناعي الخاص بالبحث في المستندات يجب ألا يرسل رسائل بريد إلكتروني إلى أشخاص خارج الشركة، وسيستخدم ASSERT هذه القواعد لإنشاء حالات اختبار للتحقق من الامتثال بشكل مستمر.

ووفقاً لشركة Microsoft، يسد إطار العمل فجوة لا يمكن للتقييمات الأوسع والأكثر عمومية معالجتها عندما يجب أن تتصرف نماذج الذكاء الاصطناعي بطريقة يشكلها السياق والسياسات والأدوات الخاصة بالتطبيق. وأكدت Sarah Bird، الرئيس التنفيذي للمنتجات للذكاء الاصطناعي المسؤول في Microsoft، على أهمية هذا النهج المصمم خصيصاً. وقالت Bird: “أحد الأشياء التي تعلمناها هو أن التقييمات بالغة الأهمية لاتخاذ قرارات جيدة”. وأشارت إلى أنه بدون فهم سلوك نظام الذكاء الاصطناعي، تكافح المؤسسات لمعرفة ما إذا كان يلبي معاييرها، مضيفة أن بناء نظام جدير بالثقة يتطلب تقييم أبعاد أكثر بكثير تكون خاصة بالتطبيق. وذكرت Bird أن ASSERT يمكن استخدامه لتقييم الأنظمة أثناء التطوير، وبعد النشر، وللمراقبة المستمرة.

يتماشى إصدار ASSERT مع تحول تدريجي وأوسع في صناعة الذكاء الاصطناعي نحو الاختبار القابل للتكرار وفحوصات الانحدار مع زيادة قدرة النماذج. وينضم إطار عمل Microsoft إلى نظام بيئي متنامٍ من أدوات التقييم والمعايير. وتشمل هذه المعايير معيار HELM (التقييم الشامل لنماذج اللغة) من جامعة Stanford، ومعيار AILuminate (معيار تقييم الذكاء الاصطناعي) من MLCommons، ومجموعة METR (مجموعة تقييم الذكاء الاصطناعي)، والتي طرحت معايير لقياس كيفية تصرف النماذج في ظل ظروف مختلفة.

لماذا يهم

يعالج إطار العمل فجوة حرجة في تطوير الذكاء الاصطناعي: فبينما توجد معايير عامة، فإنها غالباً ما تفشل في مراعاة السياق والسياسات والأدوات المحددة التي تحدد كيفية تصرف تطبيق الذكاء الاصطناعي في بيئة الإنتاج.