تم اعتقال مراهق بعد أن فسرت الرقابة المدرسية الذكاء الاصطناعي النكتة على الإنترنت بشكل خاطئ

تم اعتقال فتاة تبلغ من العمر 13 عامًا من تينيسي بعد أن فسر نظام المدرسة الذكي الصناعي نكتتها على الإنترنت بشكل خاطئ، مما أثار مخاوف حول مراقبة الطلاب.

قالت ليزلي ماثيس، والدة الفتاة، إن تعليق الفتاة المراهقة كان “خاطئًا” ولكنه لم يكن تهديدًا حقيقيًا. “جعلني أشعر وكأنني أفكر، هل هذه هي أمريكا التي نعيش فيها؟ وكانت هذه التكنولوجيا الغبية، التكنولوجيا الغبية التي تمر فقط بالكلمات العشوائية ولا تنظر إلى السياق،” كما ذكرت ماثيس كما أفادت فورتشن، التي روت القصة أولاً.

في وقت سابق من ذلك اليوم، قام أصدقاؤها بالسخرية من لون بشرتها وأطلقوا عليها لقب “المكسيكية”، رغم أنها ليست كذلك. عندما سُئلت عن خططها ليوم الخميس، أجابت، “في الخميس سنقتل كل المكسيكيين” في دردشة مدرسية تتم مراقبتها بواسطة برنامج يُدعى Gaggle.

بحلول الصباح، تم استجوابها، وتفتيشها بالكشف عن الجسم، واحتجازها في السجن ليلة كاملة. أمرت المحكمة بوضعها تحت الإقامة الجبرية لمدة ثمانية أسابيع، وإجراء تقييم نفسي لها، وقضاء عشرين يومًا في مدرسة بديلة.

تستخدم المدارس في جميع أنحاء الولايات المتحدة الآن تكنولوجيا الذكاء الاصطناعي لمراقبة اتصالات الطلاب بحثًا عن علامات العنف أو الأذى الذاتي. تعمل أنظمة مثل Gaggle و Lightspeed Alert في الآلاف من المقاطعات، محذرة الموظفين في المدارس وأفراد الشرطة. ومع ذلك، تشكل أدوات المراقبة المدرسية المدعومة بالذكاء الاصطناعي مخاطر كبيرة على الرغم من وعدها بالأمان.

تشير AP إلى كيف يمكن أن يتم تعريض المعلومات الحساسة للطلاب بطريق الخطأ، كما رأينا عندما كانت الآلاف من الوثائق غير المحمية متاحة على الإنترنت. قد تولد هذه الأدوات إنذارات كاذبة، أو تقوم بتحديد التهديدات بشكل خاطئ، أو تكشف عن هوية الطلاب من المجتمع اللغتبكي+، مما يؤدي إلى تآكل الثقة بين الطلاب والعائلات والمربين.

تضيف وكالة الأسوشيتد برس أن الرقابة الزائدة يمكن أن تسبب التوتر وتقيد التعبير الذاتي الصحي، بينما يثير الفوائد غير الواضحة على المدى الطويل والاعتماد على الموارد غير الكافية للصحة العقلية قضايا أخلاقية وتنموية.

وقد أظهرت تحليل لتنبيهات Gaggle في كانساس، كما ذكرتها وكالة الأسوشيتد برس في مشكلة أخرى، أن ما يقرب من ثلثي الحوادث كانت إنذارات كاذبة، أطلقت بسبب الواجبات المنزلية أو الصور المحذوفة.

لقد تم أيضًا تحذير الطلاب بشأن تحرير المقالات أو نشر النكات على المنصات الخاصة، مما يوضح كيف يمكن للرقابة عبر الذكاء الصناعي تجريم السلوك العادي للمراهقين.

“لقد جعلت الإنفاذ القانوني روتينيًا وموجودًا في حياة الطلاب، بما في ذلك في منازلهم”، كما قالت إليزابيث ليرد، مديرة في مركز الديمقراطية والتكنولوجيا، كما ذكرتها مجلة فورتشن.

قال جيف باترسون، الرئيس التنفيذي لشركة Gaggle، إن مدرسة تينيسي استخدمت البرنامج بطريقة غير صحيحة. “أتمنى أن يكون ذلك قد تم معالجته كلحظة تعليمية، وليس كلحظة تنفيذ للقانون،” قال.

غالباً ما لا يدرك الطلاب أن الرسائل الخاصة التي يرسلونها تتعرض للرصد. “إذا كان البالغ يقول نكتة عنصرية بشكل مهدد على جهاز الكمبيوتر الخاص به، فيمكنه حذفها، ولن يتم القبض عليه،” قالت أليكسا مانجانيوتيس، 16 عامًا، وهي طالبة في فلوريدا.

حذر النقاد من أن الرقابة عبر الذكاء الاصطناعي قد تصيب الأطفال بالصدمات النفسية. قال سام بويد من مركز الفقر الجنوبي للقانون أن التقييمات الصحية العقلية غير الطوعية غالباً ما تشعر بأنها “مؤلمة ومضرة”، كما ذكرت مجلة فورتشن.

وفعلاً، تشير وكالة الأنباء الأمريكية إلى أن سرعة ومدى المراقبة بواسطة الذكاء الاصطناعي يمكن أن يكون مذهلاً. فقد أثار نكتة على سناب شات حول حوادث إطلاق النار في المدارس في فلوريدا تدخل الـ FBI واعتقال فوري، بينما كشفت تنبيهات Lightspeed رسائل محذوفة، مما أدى إلى تدخلات مدرسية سريعة.

أدى نظام التنبيه “Gaggle” في مقاطعة بولك إلى إنتاج المئات من التنبيهات على مدى أربع سنوات، مما أدى إلى تقييمات غير طوعية للصحة العقلية لطلاب، وصف بعضهم لوكالة AP هذه التجارب بأنها كانت صادمة.

في مقاطعة بولك وحدها، أدت المئات من التنبيهات “Gaggle” على مدى أربع سنوات إلى إجراء تقييمات غير طوعية للصحة العقلية، وصف بعض الطلاب بعضها بأنه كان صادما.

بعد مرور سنتين، قالت ماثيس إن ابنتها تتحسن لكنها لا تزال “مرعوبة” من فكرة مواجهة الضباط الذين اعتقلوها. “إنه كأننا نريد فقط أن يكون الأطفال جنودًا صغارًا، ولكنهم ليسوا كذلك”، قالت. “إنهم ببساطة بشر”.