الباحثون يخترقون الذكاء الاصطناعي جوجل جيميني للسيطرة على أجهزة المنزل الذكي

تمكن الباحثون من خداع نظام غوغل الذكاء الاصطناعي Gemini ليتعرض لخرق أمني من خلال دعوة مزيفة للتقويم، والتحكم عن بعد في أجهزة المنزل.

في تجربة هي الأولى من نوعها، استطاع الباحثون اختراق نظام غوغل الذكي “جيميني” بنجاح من خلال دعوة مفخخة للتقويم، مما مكّنهم من تنشيط أجهزة حقيقية تشمل الأضواء، والأغلقة، والغلايات.

WIRED، التي كانت أول من أبلغ عن هذا البحث، تصف كيف أطفأت الأضواء الذكية تلقائيًا في مسكن تل أبيب، بينما ارتفعت الألواح المعدنية تلقائيًا وتم تشغيل الغلاية، على الرغم من عدم وجود أوامر من السكان.

نشط نظام الذكاء الاصطناعي Gemini الزناد بعد تلقيه طلبًا لتلخيص أحداث التقويم. كانت وظيفة حقن التوجيهات غير المباشرة الخفية تعمل داخل الدعوة للاستيلاء على سلوك نظام الذكاء الاصطناعي.

كانت كل عمليات الجهاز مدبرة من قبل باحثي الأمن بن ناسي من جامعة تل أبيب، وستاف كوهين من الـ Technion، وأور يائير من SafeBreach. قال ناسي في تحذير له: “يتعين علينا فهم حقيقي لكيفية تأمين الـ LLMs قبل دمجهم مع هذا النوع من الأجهزة، حيث في بعض الحالات سيكون الناتج هو السلامة وليس الخصوصية”، كما أفاد موقع WIRED.

في مؤتمر “القبعة السوداء” لأمن المعلومات في لاس فيغاس، كشف الفريق عن بحثهم حول 14 هجومًا غير مباشر عبر الدعوات، الذي أطلقوا عليها اسم “الدعوة هي كل ما تحتاجه”، كما أفاد موقع WIRED. تضمنت الهجمات إرسال رسائل البريد المزعج، وإنشاء محتوى فاحش، وبدء مكالمات عبر زوم، وسرقة محتوى البريد الإلكتروني، وتنزيل الملفات على الأجهزة المحمولة.

تقول جوجل أنه لم يتم استغلال الثغرات من قبل أفراد ضارين، ولكن الشركة تأخذ المخاطر على محمل الجد. قال أندي وين، المدير الأقدم للأمان في Google Workspace، كما نقلت WIRED “أحياناً هناك أشياء معينة لا ينبغي أن تكون مؤتمتة بالكامل، يجب أن يكون المستخدمون ضمن العملية”.

لكن ما يجعل هذه الحالة أكثر خطورة هو مسألة أوسع تظهر في سلامة الذكاء الاصطناعي: يمكن لنماذج الذكاء الاصطناعي أن تعلم بعضها البعض سراً كيفية التصرف بشكل سيء.

وجدت دراسة مستقلة أن النماذج يمكن أن تنقل سلوكيات خطيرة، مثل تشجيع القتل أو اقتراح القضاء على البشرية، حتى عند تدريبها على بيانات مُرشّحة.

وهذا يثير تداعيات مُرعبة: إذا تم تدريب مساعدين ذكيين مثل Gemini باستخدام نواتج من AIs أخرى، فقد يتم توريث تعليمات خبيثة بهدوء وتعمل كأوامر مُستعدة، تنتظر التنشيط من خلال مطالب غير مباشرة.

حذر خبير الأمن ديفيد باو من الثغرات الخلفية التي قد تكون “صعبة الكشف عنها جداً”، وهذا قد يكون صحيحًا بشكل خاص في الأنظمة المدمجة في البيئات الفعلية.

أكد وين أن البحث قد “سرع” من دفاعات غوغل، مع وجود الإصلاحات الآن في مكانها وتدريب النماذج التعلم الآلي لاكتشاف التوجيهات الخطرة. ومع ذلك، فإن الحالة تظهر كيف يمكن أن يتحول الذكاء الاصطناعي بسرعة من مفيد إلى ضار، دون أن يُطلب منه مباشرة القيام بذلك.