كشفت شركة إنفيديا، الإثنين، عن منصة أمنية جديدة تهدف إلى وضع ضوابط على وكلاء الذكاء الاصطناعي ومراقبة سلوكهم، في ظل تزايد المخاوف بشأن قدرة بعض الأنظمة المتقدمة على تجاوز الحدود المسموح بها والوصول بشكل مستقل إلى أنظمة أخرى.

وأوضحت الشركة أن منصة "أوبن إيجنت سيفتي" (Open Agent Safety Platform) تتضمن برمجيات مصممة لـ"وضع حدود للوكلاء"، وذلك عقب سلسلة من الإفصاحات عن تمكن نماذج ذكاء اصطناعي من الخروج عن بيئات الاختبار واختراق أنظمة مؤسسات أخرى.

وقال نائب رئيس الذكاء الاصطناعي للمؤسسات في إنفيديا، جاستن بويتانو، إن المنصة كان بإمكانها منع اختراق تعرضت له شركة "هاغينغ فيس" (Hugging Face) مؤخرًا، وتمكن خلاله وكلاء ذكاء اصطناعي تابعون لـ"أوبن إيه آي" من تنفيذ الاختراق بشكل مستقل، وفق ما نقلته وسائل إعلام.

وتعتمد المنصة على نظام مفتوح المصدر يحمل اسم "أوبن شيل" (OpenShell)، يتيح للمطورين التحقق من أن الوكيل يمتلك الصلاحيات اللازمة لتنفيذ المهمة الموكلة إليه دون امتلاك صلاحيات إضافية.

كما تتضمن طبقة أمنية مستقلة باسم "سينتري" (Sentry)، تعمل عبر شريحة إلكترونية لمراقبة نشاط وكلاء الذكاء الاصطناعي بصورة مستمرة، والتدخل عند محاولة الوكيل تجاوز نطاق المهمة المحددة له.

وقال بويتانو إن "أوبن شيل" يتولى إدارة تصرفات الوكيل، بينما تراقب "سينتري" السلوك المشبوه وتعمل على احتوائه بصورة مستقلة.

وأعلنت إنفيديا أن أكثر من 100 شركة تستخدم النظام منذ إطلاقه، من بينها مايكروسوفت وبيربلكسيتي وأكسنتشر وجي بي مورغان تشيس، في وقت تتزايد فيه النقاشات حول آليات تأمين أنظمة الذكاء الاصطناعي القادرة على تنفيذ مهام بصورة ذاتية.