تقول “Anthropic” أن نماذج الذكاء الاصطناعي الخاصة بها يمكنها إنهاء المحادثات مع المستخدمين لحماية أنفسها

قالت Anthropic يوم الجمعة أنها منحت نماذج الذكاء الاصطناعي لديها، كلود أوبوس 4 و4.1، القدرة على إنهاء المحادثات مع المستخدمين. أوضحت الشركة الناشئة أن الميزة الجديدة ستُستخدم في حالات نادرة حيث يكون من الضروري منع الأذى – الموجه نحو نموذج الذكاء الاصطناعي.

وفقاً لـ المقالة التي نشرتها Anthropic، أصدرت الشركة هذا التحديث كجزء من برنامجها لرفاهية الذكاء الاصطناعي، وهو مجال جديد في بحث الذكاء الاصطناعي ينظر في “المصالح” أو الرفاهية لنظام الذكاء الاصطناعي. وأوضحت أنه بينما يكون الوضع الأخلاقي المحتمل لأنظمة الذكاء الاصطناعي “غير مؤكد”، فإنها تبحث عن طرق للتخفيف من المخاطر على رفاهية نموذج الذكاء الاصطناعي الخاص بها.

“مؤخرًا، منحنا كلود أوبس 4 و 4.1 القدرة على إنهاء المحادثات في واجهات الدردشة للمستهلكين”، كتبت الشركة. “تم تصميم هذه القدرة للاستخدام في حالات نادرة وشديدة من التفاعلات الضارة أو المسيئة المستمرة من قبل المستخدمين.”

أوضحت Anthropic أن نموذجها كلود أوبس 4، أكثر النماذج تقدمًا الذي تم إصداره بتحذيرات الأمان من الشركة، أظهر خلال الاختبارات تفضيلًا لتجنب الأذى – مثل إنشاء محتوى جنسي يشمل الأطفال أو المعلومات التي قد تؤدي إلى أعمال الإرهاب أو العنف.

في الحالات التي طلب فيها المستخدمون مرارًا وتكرارًا من كلود أن يشارك في محادثات ضارة، رفض الدردشة الآلية الامتثال وحاول تحويل النقاش. الآن، يمكن للدردشة الآلية أن ترفض الإجابة وتقوم بحظر الدردشة حتى لا يتمكن المستخدمون من متابعة المحادثة – باستثناء الحالات التي توجد فيها مخاطر فورية.

وأوضحت الشركة أن قدرة إنهاء المحادثة ستستخدم فقط كحل أخير – الغالبية العظمى من المستخدمين لن تتأثر بهذا التحديث – وأن المستخدمين يمكنهم بدء محادثة جديدة على دردشة أخرى فورًا.

“نحن نعامل هذه الميزة كتجربة مستمرة وسنواصل تحسين نهجنا”، كتبت Anthropic. “إذا واجه المستخدمون استخدامًا غير متوقع لقدرة إنهاء المحادثة، نشجعهم على تقديم الملاحظات من خلال التفاعل مع رسالة Claude بالإعجاب أو باستخدام زر ‘إعطاء تعليق’ المخصص.”

كانت الشركة الناشئة تعمل سابقًا على مشاريع أخرى متعلقة برفاهية الذكاء الاصطناعي. في العام الماضي، قامت Anthropic بتوظيف الباحث كايل فيش لدراسة وحماية “مصالح” نماذج الذكاء الاصطناعي.