تسمح المدارس للذكاء الاصطناعي بمراقبة الأطفال الذين قد يفكرون في الانتحار. لكن ما هو الثمن؟

(SeaPRwire) –   يعتبر انتحار الآن السبب الرئيسي للوفيات بين الشباب الأمريكي ما بين أعمار 10 و 14 سنة. ازداد مشكلة انتحار الشباب أخيرًا، جزئيًا بسبب نقص أخصائيي الصحة العقلية، خاصة في المناطق الريفية، حيث إذا كان متوفرًا، يمكن لأخصائي النفسية أو المرشد أو أخصائي الرعاية الاجتماعية في المدرسة مساعدة تحديد الشباب ذوي المخاطر واتخاذ خطوات نحو تدخل مناسب.

كحل لهذه المشكلة، لجأ مديرو المدارس، واجهوا نقصًا مدهشًا في التمويل والموظفين، إلى استخدام التكنولوجيا لمساعدتهم في إدارة أزمة انتحار الشباب. على وجه التحديد، طورت شركات مثل بارك وجاجل وجوجارديان وسيكورلي تقنية عبارة عن برامج تتتبع استخدام الطلاب للحواسيب لتحديد الطلاب الذين يواجهون تحديات في الصحة العقلية. يمكنها العمل في الخلفية لأجهزة وحسابات الطلاب المدرسية المصدرة وتحديد النشاط الذي قد يشير إلى خطر الذات.

يتم استخدام هذه البرامج التتبعية على نطاق واسع في جميع أنحاء البلاد على ملايين الطلاب. ومع ذلك، لا يزال العديد من الآباء وأفراد المجتمع غير على علم بوجودها. قد يكون لدى الطلاب بعض الوعي بمراقبة أجهزتهم المدرسية، لكن من المرجح أن لديهم فهم محدود لـ “كيفية” استخدامها. وحتى لو كان تحديد خطر الانتحار هدفًا مجديًا، فإن المراقبة باستخدام الذكاء الاصطناعي قد تشعر بانتهاك كبير للخصوصية، في حين أنها قد تسبب أيضًا أضرارًا غير متوقعة أخرى.

كباحثين تركز أعمالنا على أبعاد عدم المساواة والصحة العقلية وسياسة التكنولوجيا، قمنا بمقابلة موظفي المدارس والحديث معهم لفهم أفضل للفوائد والمخاطر المحتملة لهذه البرامج. أخبرنا أحد مديري المدارس أن هذه البرامج التتبعية القائمة على الذكاء الاصطناعي يمكن أن تحدد الطلاب ذوي المخاطر الذين قد لا يكونون بالفعل على رادار هيئة التدريس، مما يوفر لهم فرصة للتدخل قبل تفاقم الموقف.

نحن باحثون، لكننا جميعًا أيضًا آباء، وهذا الجانب الإضافي من السلامة للكشف عن خطر الانتحار يمكن أن يشعر، في البداية، بأنه أمر بديهي. فكرة فقدان طفل مرعبة، لذا من المفهوم تمامًا أن المدارس ستمتد إلى أداة تبدو منخفضة التكلفة يمكنها “التقاط” الأفكار الحساسة والخاصة بالانتحار التي قد لا يكشف عنها الطلاب لأي شخص خارج شريط البحث الخاص بهم في جوجل.

ولكن المشكلة هي أنه، بصرف النظر عن القصص المألوفة، لا توجد أدلة صلبة تدعم دقة هذه البرامج، وهناك أمثلة عديدة عبر التاريخ حيث تسببت المحاولات ذات النوايا الحسنة للتدخل في مجال الصحة العقلية في آثار سلبية. وبالمثل، يتضح أن تقنية الذكاء الاصطناعي الناشئة لها أيضًا مجموعة من التأثيرات على الصحة العقلية للشباب.

من خلال مراجعة دقيقة للأدلة المتاحة حاليًا، ومن خلال مقابلات مع عشرات من موظفي المدارس والآباء وغيرهم، توصلنا إلى أن المراقبة القائمة على الذكاء الاصطناعي، بدلاً من أن تكون حلاً لمشكلة انتحار الشباب المستمرة والمتزايدة، قد تؤدي بالفعل إلى مزيد من المشكلات أكثر مما تسعى لحله.

أولاً، يهدد استخدام المراقبة القائمة على الذكاء الاصطناعي الخصوصية الطلابية. لأن البرامج تعمل أثناء استخدام الطلاب لأجهزتهم وحساباتهم المدرسية المصدرة، فإن لديها القدرة على جمع كميات كبيرة من البيانات حول حياتهم. بينما اتخذ بعض الشركات إجراءات لحماية بيانات الطلاب، لا توجد تنظيمات وطنية تقيد الكثير من البيانات التي يتم جمعها وكيفية تخزينها وما إذا كانت مشاركة.

وتزيد من هذا الخطر الخصوصية، قد يجد العائلات صعوبة في الامتناع عن استخدام البرامج. لقد وجدنا أنه في العديد من مدارس المقاطعات، يتعين على العائلات الموافقة على المراقبة القائمة على الذكاء الاصطناعي كشرط لاستخدام أجهزة الكمبيوتر المدرسية من الأساس. إذا امتنعت العائلات عن المراقبة، يجب توفير حاسوب خاص بهم للاستخدام المدرسي، وهو خيار غير قابل للتطبيق بالنسبة للعديد من العائلات من الناحية المالية.

ثانياً، توصلت أبحاثنا إلى أن العديد من الآباء والباحثين يعتقدون أن استخدام الخوارزميات القائمة على الذكاء الاصطناعي لتحديد الطلاب ذوي المخاطر قد يزيد من عدم المساواة. على سبيل المثال، كانت هناك ادعاءات بأن بحوث الإنترنت للطلاب من مجتمع الميم قد تم تحديدها بمعدلات مفرطة من قبل برامج الذكاء الاصطناعي. ثم يتم إحالة أنشطتهم إلى اهتمام موظفي المدرسة، مما يؤدي إلى “إخراجهم عن طوعهم” من هذه الهوية.

تم التوثيق جيدًا إمكانية تحيز الخوارزميات المستخدمة للتنبؤ بخطر الانتحار ضد المجموعات الأقلية من خلال أبحاث أخرى. وفي حين أن العديدين ادعوا أن هذه الخوارزميات يمكن تصحيحها، إلا أنه لا يوجد شفافية حول كيفية ومتى يتم توليد إنذارات الذكاء الاصطناعي بالضبط، مما يجعل من الصعب مراجعة البيانات لفهم أفضل إذا كانت فعلاً محيزة أم لا. كما أثارت دراسة أخرى في عام 2023 مخاوف إضافية بشأن الإنذارات التي تولدها برامج المراقبة الطلابية القائمة على الذكاء الاصطناعي، حيث وثقت أن البرامج تحدد باستمرار محتوى يتعلق بالعرق والنوع الاجتماعي والتوجه الجنسي. وتشمل هذا البحوث