تعرض خلل في AI المُؤيد للأخطار المرتبطة بتغيير العمال بالأتمتة

أدخل روبوت الدعم لشركة Cursor الناشئة في مجال الذكاء الاصطناعي سياسة تسجيل دخول، مما أثار الارتباك وردود الفعل السلبية من المستخدمين، وأثار قلقًا جديًا بشأن الخدمة الآلية.

تعرضت Anysphere، الشركة الناشئة في مجال الذكاء الصناعي والمسؤولة عن الأداة المساعدة في البرمجة المعروفة باسم Cursor، لضربة قاسية بعد أن قدم روبوت الدعم المدعوم بالذكاء الصناعي معلومات خاطئة، أدى ذلك إلى إحباط المستخدمين وإلغاء الاشتراكات، كما أفادت أولاً فورتشن.

تم إطلاق “Cursor” في عام 2023، وقد شهد نمواً متفجراً – حيث وصلت إيراداته السنوية إلى 100 مليون دولار وجذب تقييماً قريباً من 10 مليارات دولار. لكن هذا الأسبوع، أصبح نظام الدعم فيه محط جدل عندما تم تسجيل خروج المستخدمين بطريقة غامضة أثناء تبديل الأجهزة.

قام أحد مستخدمي “Hacker News” بمشاركة هذه التجربة الغريبة، كاشفاً أنه عندما تواصل مع خدمة العملاء، رد عليه بوت يدعى “Sam” ببريد إلكتروني يقول أن عمليات تسجيل الخروج كانت جزءاً من “سياسة تسجيل دخول جديدة”.

كانت هناك مشكلة واحدة فقط: هذا السياسة لم تكن موجودة أصلاً. كان التفسير مجرد هلوسة – هذا ما يعبر عنه الذكاء الاصطناعي عند الإشارة إلى المعلومات المختلقة. لم يكن هناك تدخل بشري.

عندما انتشرت الأخبار في مجتمع المطورين، بدأت الثقة تتآكل بسرعة. أقر المشارك في التأسيس، مايكل ترويل، بالمشكلة في منشور على ريديت، وأكد أنها كانت “رد غير صحيح من روبوت الدعم الأولي للذكاء الاصطناعي”. لاحظ أيضا أن الفريق كان يحقق في خلل يسبب تسجيل الخروج، وأضاف، “أعتذر عن الالتباس الحاصل هنا”.

لكن بالنسبة للعديد من المستخدمين، فقد تم تكبيد الضرر. قالت ميلاني واريك، المستخدمة لـ Cursor والمشاركة في تأسيس شركة Fight Health Insurance: “أعطى الدعم نفس الرد المعتاد، والذي من المحتمل أنه تم إنشاؤه بواسطة الذكاء الاصطناعي عدة مرات. توقفت عن استخدامه – لم يكن الوكيل يعمل، وكان البحث عن حل مزعجًا للغاية.”

يقول الخبراء إن هذا يعتبر إشارة تحذيرية للإعتماد الزائد على الأتمتة. حذر سانكيت بالاكريشنا من Datadog: “تتطلب الدعم الفني للعملاء مستوى من التعاطف والتفاصيل الدقيقة وحل المشكلات الذي يكافح الذكاء الاصطناعي لتقديمه حاليا”.

قالت أميران شاحار، الرئيس التنفيذي لشركة Upwind، إن هذا يعكس الأخطاء السابقة للذكاء الصناعي، مثل إنتاج الدردشة الذاتية لشركة Air Canada لسياسة استرداد مزيفة. “الذكاء الصناعي لا يفهم مستخدميك أو كيف يعملون”، أوضحت. “بدون القيود الصحيحة، سيملأ الفراغات ‘بثقة’ بمعلومات غير مدعومة.”

الآن، يحذر الباحثون في مجال الأمن أن مثل هذه الحوادث قد تفتح الباب أمام تهديدات أكثر خطورة. تشير الثغرة الأمنية الجديدة التي تم اكتشافها والمعروفة باسم MINJA (هجوم الحقن في الذاكرة) إلى كيف يمكن استغلال الدردشات الذاتية للذكاء الصناعي التي تمتلك ذاكرة من خلال التفاعلات العادية للمستخدم، مما يدمر بشكل أساسي المعرفة الداخلية للذكاء الصناعي.

يسمح منجا للمستخدمين الخبيثين بتضمين موالب خادعة تستمر في ذاكرة النموذج، مما يمكن أن يؤثر على المحادثات المستقبلية مع المستخدمين الآخرين. يتجاوز الهجوم الوصول إلى الخلفية ومرشحات الأمان، وفي الاختبارات أظهر نسبة نجاح تبلغ 95٪.

“أي مستخدم يمكنه بسهولة التأثير على تنفيذ المهمة لأي مستخدم آخر. لذلك، نقول أن هجومنا يمثل تهديداً عملياً لوكلاء LLM “، قال زهن شيانغ، الأستاذ المساعد في جامعة جورجيا.

ومع ذلك، بالرغم من هذه المخاطر، فإن الثقة في وكلاء الذكاء الصناعي في الشركات في تزايد. كشف استطلاع حديث شمل أكثر من 1000 من قادة تكنولوجيا المعلومات أن 84% منهم يثقون في وكلاء الذكاء الصناعي بنفس درجة الثقة التي يضعونها في البشر، أو أكثر. مع توقع 92% منهم لنتائج تجارية قابلة للقياس خلال 18 شهرًا، وتركيز 79% منهم على نشر الوكلاء هذا العام، فإن الدافع من الشركات واضح حتى مع استمرار المخاوف من الخصوصية ومخاطر الهلوسة كعوائق

على الرغم من أن وكلاء الذكاء الصناعي يعدون بتقليل تكاليف العمالة، إلا أن خطأ واحد يمكن أن يضر بثقة العملاء. وقد قال أحد الخبراء لمجلة Fortune: “هذا بالضبط هو أسوأ سيناريو ممكن”.

أصبحت قضية الـCursor الآن قصة تحذيرية للشركات الناشئة: حتى الروبوتات الأذكى يمكن أن تسبب ضررًا حقيقيًا إذا تُركت بدون رقابة.