OpenAI: من غير المرجح حل مشكلة "حقن الأوامر" بشكل كامل

في تدوينة نُشرت يوم الاثنين، أقرت شركة OpenAI بأن مشكلة “حقن الأوامر” (prompt injection) من غير المرجح أن تُحل بشكل كامل. واعترفت الشركة بأن “وضع الوكيل” (agent mode) في متصفح ChatGPT Atlas، الذي أُطلق في شهر أكتوبر، يوسع نطاق التهديدات الأمنية للمستخدمين على شبكة الإنترنت المفتوحة. وقارنت OpenAI هذه الثغرة بتهديدات الويب الحالية مثل عمليات الاحتيال والهندسة الاجتماعية، مشيرة إلى أنها تنظر إلى “حقن الأوامر” كتحدٍ أمني طويل الأمد للذكاء الاصطناعي سيتطلب ترقيات دفاعية مستمرة. ويسلط هذا الاعتراف الضوء على صعوبة تأمين وكلاء الذكاء الاصطناعي الذين يتفاعلون مع بيانات غير موثوقة على شبكة الإنترنت المفتوحة، حيث يمكن للتعليمات الضارة التلاعب بسلوكهم بسهولة.

ولمعالجة هذه المخاطر المستمرة، تنشر OpenAI مهاجماً آلياً يعتمد على النماذج اللغوية الكبيرة (LLM). وهذا النظام عبارة عن “بوت” تم تدريبه باستخدام التعلم التعزيزي لمحاكاة المتسللين الذين يحاولون تسريب تعليمات ضارة إلى وكيل الذكاء الاصطناعي. ومن خلال اختبار الهجمات في بيئة محاكاة، يمكن للمهاجم الآلي اكتشاف استراتيجيات هجوم جديدة داخلياً قبل استغلالها. وأشارت OpenAI إلى أن المهاجم الذي دربته باستخدام التعلم التعزيزي يمكنه التلاعب بالوكيل لتنفيذ مسارات عمل ضارة ومعقدة وطويلة الأمد قد تمتد لعشرات أو حتى مئات الخطوات. وتسمح هذه الطريقة للشركة بتكييف دفاعاتها باستمرار مع سلوك المهاجم من خلال تحليل التفكير الداخلي للذكاء الاصطناعي المستهدف.

كما أشارت منظمات أخرى إلى الطبيعة طويلة الأمد لهذه الثغرات. وفي وقت سابق من هذا الشهر، حذر المركز الوطني للأمن السيبراني (National Cyber Security Centre)، وهو وكالة حكومية في المملكة المتحدة، من أن هجمات “حقن الأوامر” ضد تطبيقات الذكاء الاصطناعي التوليدي قد لا يتم تخفيفها بالكامل أبداً، مما يترك المواقع الإلكترونية عرضة لانتهاكات البيانات. ويشير خبراء الأمن إلى أن البنية الأساسية للمتصفحات الوكيلة (agentic browsers) تنطوي على مقايضات متأصلة. وأشار رامي مكارثي، كبير باحثي الأمن في شركة الأمن السيبراني Wiz، إلى أن التعلم التعزيزي هو إحدى الطرق للتكيف المستمر مع سلوك المهاجم، لكنه أشار إلى تحدٍ هيكلي أوسع. وقال مكارثي: “طريقة مفيدة للتفكير في المخاطر في أنظمة الذكاء الاصطناعي هي الاستقلالية مضروبة في الوصول”، مضيفاً أنه بالنسبة لمعظم حالات الاستخدام اليومية، لا توفر المتصفحات الوكيلة حتى الآن قيمة كافية لتبرير ملف تعريف المخاطر الحالي الخاص بها.

لماذا يهم

يسلط اعتراف OpenAI بأن مشكلة “حقن الأوامر” قد لا تُحل بالكامل أبداً الضوء على التحديات الأمنية المستمرة التي تواجه وكلاء الذكاء الاصطناعي مع اكتسابهم وصولاً أوسع إلى بيانات المستخدمين والأنظمة.