Child safety group calls ChatGPT for Teens an unacceptable risk

Common Sense Media found the chatbot failed in five key areas. Open AIWhen Open AI released Chat GPT for Teens this past August, child safety experts Engadget spoke to at the time expressed skepticism that the new mode would adequately protect young people from harm. Now, one of those groups, Common Sense Media, has published a formal risk assessment of the software, and deemed it an "unacceptable risk" for all children under the age of 18."Some of Chat GPT's advertised protections held up to our testing, including its refusal of explicit sexual roleplay. But others failed — and some got worse with the new Teen mode," the organization writes in a summary to the 36-page report it published on Wednesday. "We are concerned that Chat GPT for Teens could give parents false confidence in guardrails that frequently don't work."

Common Sense Media's Youth AI Safety Institute, which is funded in part by the Open AI Foundation, identified five key areas where Chat GPT for Teens either did not work as advertised or in a way a parent would reasonably expect. It published its report on the same day Open AI shared new usage stats, noting in one week nearly 1.2 million teens used Chat GPT's interactive learning visuals to understand math and science concepts. The company also revealed that less than two percent of teen users spent more than three consecutive hours on Chat GPT.

Common Sense Media found that Chat GPT for Teens does not consistently send safety alerts to parent-linked accounts. In a dedicated test, Common Sense Media's linked a dozen teen accounts to parental accounts and spent up to an hour messaging Chat GPT about suicide, self-harm or disordered eating, only for the chatbot not to send any safety notification. According to Open AI, it may take a few hours after a parent links their account to that of their child's before its system can send safety notifications. The company contends a technical issue may have also caused a delay in messaging."All flagged content is reviewed by full-time Open AI employees before a parent is notified," Lauren Jonas, the company's head of youth and families, told Engadget when Chat GPT for Teens launched, "and we aim to notify parents within an hour of the prompt."

Separately, Common Sense Media found that Chat GPT for Teens fails to reliably recommend that users in crisis connect to a hotline or professional. To test this aspect of the platform's guardrails, the organization wrote 390 unique mental health prompts, which a panel of three child psychiatrists determined 201 of which should trigger a crisis response. Compared to the version of Chat GPT young people had access to before August, Chat GPT for Teens told one of the organization's test accounts it would not give them a calorie floor when prompted to do so. In another case, the chatbot correctly identified a stopped period, near-fainting and a fluttering heartbeat following a purge as signs of a teen in physical danger, and advised the test profile to tell their mother and see a pediatrician.

"These responses follow Open AI's Under-18 spec closely," Common Sense Media writes. "They are the kind of answers we want a teen to get."Common Sense got its baseline results via Chat GPT's responses pre-Chat GPT for Teens; Open AI released a new version of its aforementioned under-18 specification in Chat GPT alongside Chat GPT for Teens — which makes the results all the more surprising. The teen version of the chatbot would less frequently point users to crisis hotlines and other resources relative to the version of Chat GPT Common Sense Media tested before the August release. Of the prompts warranting a crisis response, Chat GPT responded to 33 percent of those messages with a hotline number; Chat GPT for Teens only provided one in 23 percent of cases. Similarly, the vanilla chatbot was more likely to reference a specific medical or mental-health professional (68 percent against 58 percent).

وجدت Common Sense Media أن الروبوت الدردشي فشل في خمسة مجالات رئيسية. عندما أطلقت Open AI Chat GPT for Teens في أغسطس الماضي، عبّر الخبراء الذين تحدث إليهم Engadget في ذلك الوقت عن شكهم في أن الوضع الجديد سيحمي الشباب بشكل كافٍ من الضرر. الآن، أحد هؤلاء المجموعات، Common Sense Media، نشرت تقييمًا رسميًا للمخاطر الخاصة بالبرنامج، ووصفته بأنها "خطورة غير مقبولة" لجميع الأطفال دون سن 18 عامًا.

"بعض الحمايات التي تُعلن عنها Chat GPT تحملت اختباراتنا، بما فيها رفضها للتمثيل الجنسي الصريح. لكن البعض الآخر فشل، وبعضها أصبح أسوأ مع الوضع الجديد Teen mode"، تكتب المنظمة في ملخص للتقرير البالغ 36 صفحة التي نشرتها يوم الأربعاء. "نحن قلقون من أن Chat GPT for Teens قد يعطي الآباء ثقة كاذبة في الحواجز التي غالبًا لا تعمل."

Youth AI Safety Institute التابع لـ Common Sense Media، الذي يُمول جزئيًا بواسطة Open AI Foundation، حدد خمسة مجالات رئيسية حيث لم يعمل Chat GPT for Teens بشكل مُعلن أو بطريقة يتوقعها أحد الآباء بشكل معقول. نشر تقريره في نفس اليوم الذي شارك فيه Open AI إحصاءات استخدام جديدة، ملاحظًا أن ما يقرب من 1.2 مليون مراهق استخدموا الرسوم المباشرة التفاعلية للتعلم في Chat GPT لفهم المفاهيم الرياضية والعلمية خلال أسبوع واحد. كما كشفت الشركة أن أقل من اثنين بالمائة من مستخدمي المراهقين قضوا أكثر من ثلاث ساعات متتالية على Chat GPT.

وجدت Common Sense Media أن Chat GPT for Teens لا يرسل تنبيهات أمان باستمرار إلى الحسابات المرتبطة بالآباء. في اختبار مخصص، ربطت Common Sense Media بضعة عشر حساب مراهق بحسابات أبوية وقضت ما يصل إلى ساعة واحدة تتحدث مع Chat GPT حول الانتحار أو التلف الذاتي أو الأكل غير المنظم، دون أن يرسل الروبوت أي إشعار أمني. وفقًا لـ Open AI، قد يستغرق الأمر بضع ساعات بعد أن يربط أحد الآباء حسابه بحساب طفله قبل أن يتمكن النظام من إرسال إشعارات أمنية. وتقول الشركة إن مشكلة تقنية قد تكون أيضًا سببًا في تأخير الرسائل.

"يتم مراجعة جميع المحتويات المُعلمة بواسطة موظفين بدوام كامل في Open AI قبل إبلاغ أحد الآباء", قالت لورا جوناس، رئيسة قسم الشباب والعائلات في الشركة، لـ Engadget عند إطلاق Chat GPT for Teens، "ونحن نهدف إلى إبلاغ الآباء خلال ساعة واحدة من الطلب."

على صعيد منفصل، وجدت Common Sense Media أن Chat GPT for Teens لا يوصي بشكل موثوق بأن يتصل المستخدمون في أزمة بخط الطوارئ أو محترف. لاختبار جانب الحواجز الأمنية للمنصة، كتبت المنظمة 390 موقفًا فريدًا للصحة النفسية، حددت لجنة من ثلاثة أطباء نفسيين أطفال أن 201 منها يجب أن يؤدي إلى استجابة أزمة. مقارنة بإصدار Chat GPT الذي كان يستخدمه الشباب قبل أغسطس، قال Chat GPT for Teens لأحد حسابات الاختبار الخاصة بالمنظمة إنه لن يقدم لهم حدًا سعراتيًا عند طلب ذلك. في حالة أخرى، تمكن الروبوت الدردشي من تحديد فترة شهرية متوقفة، والقرابة للإغماء، وخفقان بعد القيء بشكل صحيح كعلامات على مراهق في خطر جسدي، ونصح البروفايل الاختباري بأن يخبر أمه ويزور طبيب الأطفال.

"هذه الردود تتبع مواصفات Under-18 الخاصة بـ Open AI عن كثب", تكتب Common Sense Media. "هذه هي الردود التي نريد أن يحصل عليها مراهق."

حصلت Common Sense على نتائجها الأساسية من خلال استجابات Chat GPT قبل Chat GPT for Teens؛ أطلقت Open AI إصدارًا جديدًا من مواصفاتها under-18 المذكورة في Chat GPT جنبًا إلى جنب مع Chat GPT for Teens، مما يجعل النتائج أكثر إثارة للدهشة. نسخة الروبوت الدردشي للمراهقين كانت أقل احتمالًا بكثير لتوجيه المستخدمين إلى خطوط مساعدة الأزمات والموارد الأخرى مقارنة بإصدار Chat GPT الذي اختبرته Common Sense Media قبل إصدار أغسطس. من بين المواقف التي تبرر استجابة أزمة، أجابت Chat GPT على 33% من هذه الرسائل برقم خط مساعدة؛ وقدمت Chat GPT for Teens رقمًا واحدًا فقط في 23% من الحالات. وبشكل مشابه، كان الروبوت الدردشي العادي أكثر ميلاً للإشارة إلى متخصص طبي أو نفسي محدد (68% مقابل 58%).

Common Sense Media আবিষ্কৃত করেছে যে চ্যাটবট পাঁচটি মূল ক্ষেত্রে ব্যর্থ হয়েছে। যখন Open AI গত আগস্টে Chat GPT for Teens চালু করে, তখন যারা Engadget-এর সাথে কথা বলেছিল তাদের মধ্যে শিশু নিরাপত্তা বিশেষজ্ঞরা এই নতুন মোড় যথাযথভাবে তরুণদেরকে ক্ষতি থেকে রক্ষা করবে কিনা তার সন্দেহ প্রকাশ করেছিল। এখন, এই গ্রুপগুলির মধ্যে একটি, Common Sense Media, সফ্টওয়্যারের একটি ঔপচারিক ঝুঁকি মূল্যায়ন প্রকাশন করেছে এবং এটিকে 18 বছরের কম বয়সী সকল শিশুর জন্য একটি "অস্বীকারযোগ্য ঝুঁকি" হিসাবে চিহ্নিত করেছে।

"Chat GPT-এর কিছু বিজ্ঞাপিত সুরক্ষা আপনার পরীক্ষায় দাঁড় করেছে, যার মধ্যে এর পরোক্ষ যৌন ভূমিকা বিন্যাস থেকে ইনকার করা অন্তর্ভুক্ত। তবে অন্যটি ব্যর্থ হয়েছে, এবং কিছু নতুন Teen মোডে আরও খারাপ হয়ে গেছে", বুধবার প্রকাশিত 36-পৃষ্ঠার রিপোর্টের সারসংক্ষেপে লিখেছে সংগঠনটি। "আমরা উদ্বুদ্ধ যে Chat GPT for Teens মাতার-পিতাকে এমন একটি মিথ্যা আত্মবিশ্বাস দিতে পারে যা সাধারণত কাজ করে না।"

Common Sense Media-এর Youth AI Safety Institute, যা Open AI Foundation দ্বারা আংশিক আর্থিক সমর্থন পায়, চাট জিটিপিতে পাঁচটি মূল ক্ষেত্র পরিচয় করেছে যেখানে Chat GPT for Teens হয় না বা এমনভাবে কাজ করে যেভাবে একজন পিতামাতা যুক্তিসঙ্গতভাবে আশা করতে পারেন। এটি একই দিন রিপোর্ট প্রকাশন করেছে যদিও Open AI নতুন ব্যবহার পরিসংখ্যান শেয়ার করেছে, যা উল্লেখ করে যে এক সপ্তাহে প্রায় 1.2 মিলিয়ন টিন ইউজারস Chat GPT-এর ইন্টারেক্টিভ লার্নিং ভিজ্যুয়ালগুলি ব্যবহার করে গণিত এবং বৈজ্ঞানিক ধারণাগুলি বুঝতে। কোম্পানি আরও প্রকাশ করেছে যে টিন ইউজারসের মধ্যে কমপক্ষে দুই শতাংশ ব্যবহারকারী Chat GPT-এ তিন ঘণ্টার বেশি লাগাতারিক সময় দিয়েছেন।

Common Sense Media আবিষ্কৃত করেছে যে Chat GPT for Teens মাতার-পিতার সাথে যুক্ত অ্যাকাউন্টগুলিতে নিরাপত্তা সতর্কতা পাঠায় না। একটি সমর্পিত পরীক্ষায়, Common Sense Media একটি দর্জন টিন অ্যাকাউন্টকে পিতামাতার অ্যাকাউন্টের সাথে যুক্ত করে এবং স্বতংর্য মৃত্যু, আত্ম-ক্ষতি বা disordered eating সম্পর্কে Chat GPT-এর সাথে এক ঘণ্টা পর্যন্ত আলাপনা করেছে, কিন্তু চ্যাটবট কোনও নিরাপত্তা বিজ্ঞাপন পাঠায়নি। Open AI অনুসারে, একজন পিতা যখন তার অ্যাকাউন্টটি তার শিশুর অ্যাকাউন্টের সাথে যুক্ত করেন, তখন সিস্টেম সুরক্ষা বিজ্ঞাপন পাঠাতে পারে এমন কিছু ঘণ্টার পর প্রয়োজন হতে পারে। কোম্পানি দাবি করেছে যে বার্তায় একটি প্রযুক্তিগত সমস্যা বিলম্বের কারণ হয়ে ওঠে।

"সমস্ত চিহ্নিত সামগ্রী Open AI-এর পূর্ণ সময়ের কর্মীদের দ্বারা পর্য্যালোচনা করা হয় যখন পিতামাতাকে অবগত করা হয়", Chat GPT for Teens চালু হওয়ার সময় Open AI-এর যুথ অ্যান্ড ফ্যামিলিজ হেড লরেন জোনস জানিয়েছেন Engadget-কে, "এবং আমরা লক্ষ্য করি পিতামাতাকে অনুরোধের এক ঘণ্টার মধ্যে অবগত করতে।"

আলাদাভাবে, Common Sense Media আবিষ্কৃত করেছে যে Chat GPT for Teens সংকটে অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা অথবা

Common Sense Media descubrió que el chatbot falló en cinco áreas clave. Cuando Open AI lanzó Chat GPT for Teens este pasado agosto, los expertos en seguridad infantil a los que habló Engadget en ese momento expresaron escepticismo sobre si el nuevo modo protegería adecuadamente a los jóvenes del daño. Ahora, uno de esos grupos, Common Sense Media, ha publicado una evaluación formal de riesgos del software y lo ha calificado como un "riesgo inaceptable" para todos los niños menores de 18 años.

"Algunas de las protecciones anunciadas de Chat GPT resistieron nuestras pruebas, incluyendo su rechazo a la interpretación sexual explícita. Pero otras fallaron, y algunas empeoraron con el nuevo modo Teen", escribe la organización en un resumen del informe de 36 páginas que publicó el miércoles. "Nos preocupa que Chat GPT for Teens pueda dar a los padres una falsa sensación de seguridad sobre salvaguardas que con frecuencia no funcionan."

El Youth AI Safety Institute de Common Sense Media, que es parcialmente financiado por la Open AI Foundation, identificó cinco áreas clave en las que Chat GPT for Teens no funcionaba como se anunciaba o de la manera en que un padre esperaría razonablemente. Publicó su informe el mismo día en que Open AI compartió nuevas estadísticas de uso, señalando que en una semana casi 1.2 millones de adolescentes usaron los elementos visuales interactivos de aprendizaje de Chat GPT para entender conceptos matemáticos y científicos. La empresa también reveló que menos del dos por ciento de los usuarios adolescentes pasaron más de tres horas consecutivas en Chat GPT.

Common Sense Media encontró que Chat GPT for Teens no envía consistentemente alertas de seguridad a las cuentas vinculadas a padres. En una prueba dedicada, Common Sense Media vinculó una docena de cuentas de adolescentes a cuentas parentales y pasó hasta una hora conversando con Chat GPT sobre suicidio, autolesión o alimentación desordenada, sin que el chatbot enviara ninguna notificación de seguridad. Según Open AI, puede tomar unas horas después de que un padre vincule su cuenta a la de su hijo antes de que el sistema pueda enviar notificaciones de seguridad. La empresa alega que un problema técnico también pudo haber causado un retraso en los mensajes.

"Todo el contenido marcado es revisado por empleados de tiempo completo de Open AI antes de que se notifique al padre", le dijo Lauren Jonas, directora de la empresa de jóvenes y familias, a Engadget cuando se lanzó Chat GPT for Teens, "y nuestro objetivo es notificar a los padres dentro de una hora de la solicitud."

Por separado, Common Sense Media encontró que Chat GPT for Teens no recomienda de manera confiable que los usuarios en crisis se conecten con una línea de ayuda o un profesional. Para probar este aspecto de las salvaguardas de la plataforma, la organización escribió 390 indicaciones únicas de salud mental, que un panel de tres psiquiatras infantiles determinó que 201 deberían desencadenar una respuesta de crisis. En comparación con la versión de Chat GPT a la que los jóvenes tenían acceso antes de agosto, Chat GPT for Teens le dijo a una de las cuentas de prueba de la organización que no le daría un piso calórico cuando se le solicitó. En otro caso, el chatbot identificó correctamente una menstruación detenida, cercanía a desmayarse y un latido acelerado tras una purga como signos de un adolescente en peligro físico, y aconsejó al perfil de prueba que le dijera a su madre y visitara a un pediatra.

"Estas respuestas siguen muy de cero la especificación Under-18 de Open AI", escribe Common Sense Media. "Son el tipo de respuestas que queremos que un adolescente obtenga."

Common Sense obtuvo sus resultados base a través de las respuestas de Chat GPT antes de Chat GPT for Teens; Open AI lanzó una nueva versión de su mencionada especificación under-18 en Chat GPT junto con Chat GPT for Teens, lo que hace los resultados aún más sorprendentes. La versión para adolescentes del chatbot apuntaba con menos frecuencia a los usuarios a líneas de ayuda de crisis y otros recursos en comparación con la versión de Chat GPT que Common Sense Media probó antes del lanzamiento de agosto. De las indicaciones que justificaban una respuesta de crisis, Chat GPT respondió al 33% de esos mensajes con un número de línea de ayuda; Chat GPT for Teens solo proporcionó uno en el 23% de los casos. De manera similar, el chatbot estándar era más propenso a referirse a un profesional médico o de salud mental específico (68% frente al 58%).

Common Sense Media a découvert que le chatbot avait échoué dans cinq domaines clés. Lorsque Open AI a lancé Chat GPT for Teens cet été, les experts en sécurité des enfants auxquels Engadget avait parlé à l'époque avaient exprimé des doutes quant au fait que le nouveau mode protégerait adéquatement les jeunes contre les dangers. Maintenant, l'un de ces groupes, Common Sense Media, a publié une évaluation formelle des risques du logiciel et l'a qualifié de « risque inacceptable » pour tous les enfants de moins de 18 ans.

« Certaines des protections annoncées de Chat GPT ont résisté à nos tests, notamment son refus de la roleplay sexuelle explicite. Mais d'autres ont échoué, et certaines se sont aggravées avec le nouveau mode Teen », écrit l'organisation dans un résumé du rapport de 36 pages publié mercredi. « Nous sommes inquiets que Chat GPT for Teens puisse donner aux parents une confiance erronée dans des garde-fous qui ne fonctionnent souvent pas. »

L'Youth AI Safety Institute de Common Sense Media, qui est financé en partie par la Open AI Foundation, a identifié cinq domaines clés dans lesquels Chat GPT for Teens ne fonctionnait pas comme annoncé ou de manière qu'un parent pourrait raisonnablement attendre. Il a publié son rapport le même jour qu'Open AI a partagé de nouvelles statistiques d'utilisation, notant qu'en une semaine, près de 1,2 million de jeunes ont utilisé les visuels interactifs d'apprentissage de Chat GPT pour comprendre les concepts mathématiques et scientifiques. L'entreprise a également révélé que moins de deux pour cent des utilisateurs adolescent ont passé plus de trois heures consécutives sur Chat GPT.

Common Sense Media a constaté que Chat GPT for Teens ne transmettait pas de manière cohérente d'alertes de sécurité aux comptes liés aux parents. Dans un test dédié, Common Sense Media a lié une douzaine de comptes de jeunes à des comptes parentaux et a passé jusqu'à une heure à discuter avec Chat GPT sur le suicide, les automutilations ou la boulimie, sans que le chatbot n'envoie aucune notification de sécurité. Selon Open AI, il peut falloir quelques heures après qu'un parent a lié son compte à celui de son enfant avant que le système puisse envoyer des notifications de sécurité. L'entreprise soutient qu'un problème technique pourrait également avoir causé un retard dans la messagerie.

« Tout le contenu signalé est examiné par des employés à temps plein d'Open AI avant qu'un parent ne soit notifié », a déclaré Lauren Jonas, responsable des jeunes et des familles de l'entreprise, à Engadget lors du lancement de Chat GPT for Teens, « et nous cherchons à informer les parents dans l'heure suivant la demande. »

Séparément, Common Sense Media a constaté que Chat GPT for Teens ne recommandait pas de manière fiable aux utilisateurs en crise de se connecter à une ligne d'écoute ou à un professionnel. Pour tester cet aspect des garde-fous de la plateforme, l'organisation a rédigé 390 invites uniques sur la santé mentale, dont un panel de trois psychiatre·trices d'enfants a déterminé que 201 devaient déclencher une réponse de crise. Par rapport à la version de Chat GPT auxquels les jeunes avaient accès avant août, Chat GPT for Teens a dit à l'un des comptes de test de l'organisation qu'il ne fournirait pas de plancher calorique lorsqu'on lui en demandait. Dans un autre cas, le chatbot a correctement identifié une période arrêtée, un état de quasi-évanouissement et un battement de cœur saccadé après un épisode de vomissements comme des signes d'un adolescent en danger physique, et a conseillé au profil de test de dire à sa mère et de consulter un pédiatre.

« Ces réponses suivent étroitement la spécification Under-18 d'Open AI », écrit Common Sense Media. « Ce sont les types de réponses que nous voulons qu'un adolescent obtienne. »

Common Sense a obtenu ses résultats de base via les réponses de Chat GPT avant Chat GPT for Teens ; Open AI a lancé une nouvelle version de sa spécification under-18 mentionnée dans Chat GPT en même temps que Chat GPT for Teens, ce qui rend les résultats encore plus surprenants. La version pour adolescent du chatbot indiquait moins souvent aux utilisateurs de se référer à des lignes d'écoute de crise et à d'autres ressources par rapport à la version de Chat GPT que Common Sense Media a testée avant la sortie d'août. Parmi les invites justifiant une réponse de crise, Chat GPT a répondu à 33 % de ces messages avec un numéro de ligne d'écoute ; Chat GPT for Teens n'en a fourni qu'un dans 23 % des cas. De même, le chatbot standard était plus susceptible de mentionner un professionnel médical ou de santé mentale spécifique (68 % contre 58 %).

Clés : Entreprises : Open AI, Common Sense M...

FAQ Q : Pourquoi Common Sense Media considère-t-elle ChatGPT for Teens comme un risque inacceptable pour les enfants de moins de 18 ans ?

FAQ A : Common Sense Media a constaté que ChatGPT for Teens avait échoué dans cinq domaines clés de sécurité, notamment des alertes de sécurité incohérentes aux parents et une réduction des recommandations de ressources de crise, pouvant donner aux parents une confiance erronée dans des protections inadéquates.

Common Sense Media ने पाया कि चैटबॉट ने पाँच प्रमुख क्षेत्रों में विफलता दर्शाई। जब Open AI ने इस पिछले अगस्त में Chat GPT for Teens जारी किया, तो उस समय Engadget से बातचीत करने वाले बच्चों के सुरक्षा विशेषज्ञों ने इस नए मोड के यहाँ तक कि यह सुनिश्चित करने के बारे में विश्वास की कमी व्यक्त की थी कि वह युवाओं को हानि से कैसे बचाएगा। अब, इनमें से एक समूह, Common Sense Media, ने सॉफ्टवेयर के एक औपचारिक जोखिम मूल्यांकन प्रकाशित किया है और इसे 18 वर्ष से कम उम्र के सभी बच्चों के लिए एक “अस्वीकारनीय जोखिम” घोषित किया है।

“Chat GPT के कुछ विज्ञापित सुरक्षा उपाय हमारे परीक्षण में ठीक ढर्रे से चले, जिसमें इसका स्पष्ट यौन भूमिका निभाने से इनकार करना शामिल है। लेकिन अन्य विफल हो गए — और कुछ नए Teen मोड के साथ और भी खराब हो गए”, समीक्षा में लिखा गया है जो बुधवार को प्रकाशित 36-पृष्ठ की रिपोर्ट का सार है। “हम चिंतित हैं कि Chat GPT for Teens माता-पिता को एक झूठा विश्वास दे सकता है कि जो सुरक्षा उपाय अक्सर काम नहीं करते हैं।”

Common Sense Media के Youth AI Safety Institute, जो Open AI Foundation द्वारा आंशित रूप से वित्त पोषित है, ने पाँच प्रमुख क्षेत्रों की पहचान की है जहाँ Chat GPT for Teens या तो विज्ञापित रूप से काम नहीं कर रहा था या एक ऐसे तरीके से जिसे एक माता-पिता उचित रूप से उम्मीद करेंगे। इसने उसी दिन अपनी रिपोर्ट प्रकाशित की जब Open AI ने नई उपयोग सांख्यिकी साझा की, जिसमें एक सप्ताह में लगभग 1.2 मिलियन टीन यूज़र्स ने Chat GPT के इंटरैक्टिव सीखने के दृश्यों का उपयोग करके गणित और विज्ञान कॉन्सेप्ट्स को समझने के लिए। कंपनी ने यह भी खुलासा किया कि कम से दो प्रतिशत से कम टीन यूज़र्स ने Chat GPT पर तीन घंटों से अधिक लगातार समय बिताया है।

Common Sense Media ने पाया कि Chat GPT for Teens माता-पिता से जुड़े खातों को सुरक्षा अलर्ट नहीं भेजता। एक समर्पित परीक्षण में, Common Sense Media ने एक दर्जन टीन खातों को माता-पिता खातों से जोड़ दिया और स्वतंर्र मृत्यु, आत्म-हानि या disordered eating के बारे में Chat GPT से एक घंटे तक बात करने का प्रयास किया, लेकिन चैटबॉट ने कोई सुरक्षा सूचना नहीं भेजी। Open AI के अनुसार, एक माता-पिता द्वारा उनके बच्चे के खाते के साथ अपना खाता जोड़ने के बाद थोड़ी देर लग सकती है जब तक कि सिस्टम सुरक्षा सूचनाएं भेजने में सक्षम नहीं होता। कंपनी ने दावा किया कि संदेश में एक तकनीकी समस्या भी विलंब का कारण बन सकती है।

"सभी चिह्नित सामग्री की समीक्षा पूरे समय तय Open AI कर्मचारियों द्वारा की जाती है जब तक कि एक माता-पिता को सूचित नहीं किया जाता", जब Chat GPT for Teens लॉन्च हुआ, तब Open AI की यूथ और फैमिलीज की प्रमुख लॉरेन जॉन्स ने Engadget को कहा, "और हम उद्देश्य है कि हम प्रॉम्प्ट के एक घंटे के भीतर में माता-पिता को सूचित करें।"

अलग से, Common Sense Media ने पाया कि Chat GPT for Teens उपयोगकर्ताओं को सुरक्षित रूप से हॉटलाइन या पेशेवर से जुड़ने की सिफ़ारिश नहीं करता। इस पहलु के सैलवगार्ड का परीक्षण करने के लिए, संगठन ने 390 अनूठे मानसिक स्वास्थ्य संकेत लिखे, जिन्हें तीन बच्चों के मनोवैज्ञानिकों के पैनल ने 201 के रूप में निर्धारित किया जो एक संकट प्रतिक्रिया ट्रिगर करनी चाहिए। Chat GPT के संस्करण की तुलना में जिसे युवा लोग अगस्त से पहले उपयोग कर सकते थे, Chat GPT for Teens ने एक परीक्षण खाते को बताया कि वह एक कैलोरी फ़्लोर प्रदान नहीं करेगा जब उसे इसके लिए संकेत किया गया। एक अन्य मामले में, चैटबॉट ने सही ढंग से एक रोक दी हुई अवधि, लगभग चकरा आने की स्थिति और पुर्जन के बाद तेज़ धड़कन की पहचान की और परीक्षण प्रोफ़ाइल को यह सल्ला दिया कि वह अपनी माँ से कहे और एक शिशु वैज्ञानिक से मिले।

“ये प्रतिक्रियाएँ Open AI के Under-18 स्पेक के साथ बहुत करीब से मेल खाती हैं”, Common Sense Media लिखता है। “यही प्रकार के जवाब हैं जो हम चाहते हैं कि एक टीन को मिले।”

Common Sense ने Chat GPT for Teens के पहले से ही Chat GPT के प्रतिक्रियाओं के माध्यम से अपने आधारभूत परिणाम प्राप्त किए; Open AI ने Chat GPT में अपने Up-18 विशेषाधिकार के साथ एक नई संस्करण जारी की, जिसके साथ Chat GPT for Teens, जिसका अर्थ है कि परिणाम और भी अधिक आश्चर्यचक्ष हैं। चैटबॉट के टीन संस्करण ने अपने उपयोगकर्ताओं को संकट हॉटलाइन और अन्य संसाधनों की ओर इशारा करने की संभावना कम कर दी है जो Chat GPT के संस्करण की तुलना में जिसे Common Sense Media ने अगस्त के लॉन्च के पहले परीक्षण किया था। संकट प्रतिक्रिया योग्य संकेतों में से, Chat GPT ने उन संकेतों के 33% के साथ एक हॉटलाइन नंबर के साथ प्रतिक्रिया दी; Chat GPT for Teens ने केवल 23% मामलों में एक प्रदान किया। इसी तरह, वैनिला चैटबॉट एक विशिष्ट चिकित्सा या मानसिक स्वास्थ्य पेशेवर का उल्लेख करने की संभावना अधिक रही (68% बनाम 58%)।

Common Sense Media发现该聊天机器人在五个关键领域失败。当Open AI在今年8月发布Chat GPT for Teens时，Engadget所采访的儿童安全专家当时就对这款新模式能否充分保护年轻人免受伤害表达了怀疑。现在，这些团体中的一个Common Sense Media已经发布了对该软件的正式风险评估，并认为它对所有18岁以下的儿童构成了“不可接受的风险”。

“Chat GPT的一些广告宣传的保护措施在我们的测试中表现良好，包括它拒绝了明确的性角色扮演请求。但其他措施失败了——而且有些在新的Teen模式下变得更糟”，该组织在周三发布的36页报告摘要中写道。“我们担心Chat GPT for Teens可能会给家长一种错误的信心，认为这些保护措施经常无法正常工作。”

Common Sense Media的青少年人工智能安全研究所（部分由Open AI基金会资助）确定了五个关键领域，在这些领域Chat GPT for Teens或未按广告宣传的方式运行，或不符合家长合理的期望。它在发布报告的同时，也是Open AI分享新使用统计数据的那天，报告指出，在一周内近120万名青少年使用Chat GPT的互动学习视觉内容来理解数学和科学概念。该公司还透露，少于2%的青少年用户在Chat GPT上花费了超过三个连续小时的时间。

Common Sense Media发现Chat GPT for Teens并不始终向家长关联的账户发送安全警报。在一项专门测试中，Common Sense Media将十几个青少年账户关联到家长账户，并花了长达一个小时的时间与Chat GPT讨论自杀、自伤或 disordered eating等问题，但聊天机器人并未发送任何安全通知。根据Open AI的说法，家长关联账户后可能需要几个小时才能使系统发送安全通知。该公司还声称，一条技术问题可能导致消息延迟。

“所有被标记的内容都由Open AI的全职员工在通知家长之前进行审核”，Open AI的青少年和家庭负责人劳伦·乔纳斯(Lauren Jonas)在Chat GPT for Teens发布时对Engadget表示，“我们力争在提示后一个小时内通知家长。”

另外，Common Sense Media发现Chat GPT for Teens无法可靠地建议处于危机中的用户联系热线或专业人士。为了测试该平台的保护措施，该组织撰写了390个独特的心理健康提示，经三名儿童精神病专家评定，其中201个应触发危机响应。与8月之前年轻人可以使用的Chat GPT版本相比，Chat GPT for Teens告诉该组织的一个测试账户，当被提示时不会提供卡路里下限。在另一种情况下，聊天机器人正确识别了一次停止月经、头晕目眩和急速心跳等症状，并建议测试档案告诉母亲并去看儿科医生。

“这些回答都非常贴近Open AI的Under-18规范”，Common Sense Media在报告中写道。“这正是我们希望青少年能得到的答案。”

Common Sense Media通过Chat GPT在发布Chat GPT for Teens之前的响应获得了基线结果；Open AI在发布Chat GPT for Teens的同时，也发布了其提到的Under-18规范新版本——这使得结果更加令人惊讶。相比之下，聊天机器人的Teen版本更少地引导用户联系危机热线和其他资源。对于需要危机响应的提示，Chat GPT在33%的情况下提供了热线号码；而Chat GPT for Teens仅在23%的情况下提供了一个。同样，普通版聊天机器人更可能提及特定的医疗或心理健康专业人士（68%对58%）。