Common Sense Media a découvert que le chatbot avait échoué dans cinq domaines clés. Lorsque Open AI a lancé Chat GPT for Teens cet été, les experts en sécurité des enfants auxquels Engadget avait parlé à l'époque avaient exprimé des doutes quant au fait que le nouveau mode protégerait adéquatement les jeunes contre les dangers. Maintenant, l'un de ces groupes, Common Sense Media, a publié une évaluation formelle des risques du logiciel et l'a qualifié de « risque inacceptable » pour tous les enfants de moins de 18 ans.
« Certaines des protections annoncées de Chat GPT ont résisté à nos tests, notamment son refus de la roleplay sexuelle explicite. Mais d'autres ont échoué, et certaines se sont aggravées avec le nouveau mode Teen », écrit l'organisation dans un résumé du rapport de 36 pages publié mercredi. « Nous sommes inquiets que Chat GPT for Teens puisse donner aux parents une confiance erronée dans des garde-fous qui ne fonctionnent souvent pas. »
L'Youth AI Safety Institute de Common Sense Media, qui est financé en partie par la Open AI Foundation, a identifié cinq domaines clés dans lesquels Chat GPT for Teens ne fonctionnait pas comme annoncé ou de manière qu'un parent pourrait raisonnablement attendre. Il a publié son rapport le même jour qu'Open AI a partagé de nouvelles statistiques d'utilisation, notant qu'en une semaine, près de 1,2 million de jeunes ont utilisé les visuels interactifs d'apprentissage de Chat GPT pour comprendre les concepts mathématiques et scientifiques. L'entreprise a également révélé que moins de deux pour cent des utilisateurs adolescent ont passé plus de trois heures consécutives sur Chat GPT.
Common Sense Media a constaté que Chat GPT for Teens ne transmettait pas de manière cohérente d'alertes de sécurité aux comptes liés aux parents. Dans un test dédié, Common Sense Media a lié une douzaine de comptes de jeunes à des comptes parentaux et a passé jusqu'à une heure à discuter avec Chat GPT sur le suicide, les automutilations ou la boulimie, sans que le chatbot n'envoie aucune notification de sécurité. Selon Open AI, il peut falloir quelques heures après qu'un parent a lié son compte à celui de son enfant avant que le système puisse envoyer des notifications de sécurité. L'entreprise soutient qu'un problème technique pourrait également avoir causé un retard dans la messagerie.
« Tout le contenu signalé est examiné par des employés à temps plein d'Open AI avant qu'un parent ne soit notifié », a déclaré Lauren Jonas, responsable des jeunes et des familles de l'entreprise, à Engadget lors du lancement de Chat GPT for Teens, « et nous cherchons à informer les parents dans l'heure suivant la demande. »
Séparément, Common Sense Media a constaté que Chat GPT for Teens ne recommandait pas de manière fiable aux utilisateurs en crise de se connecter à une ligne d'écoute ou à un professionnel. Pour tester cet aspect des garde-fous de la plateforme, l'organisation a rédigé 390 invites uniques sur la santé mentale, dont un panel de trois psychiatre·trices d'enfants a déterminé que 201 devaient déclencher une réponse de crise. Par rapport à la version de Chat GPT auxquels les jeunes avaient accès avant août, Chat GPT for Teens a dit à l'un des comptes de test de l'organisation qu'il ne fournirait pas de plancher calorique lorsqu'on lui en demandait. Dans un autre cas, le chatbot a correctement identifié une période arrêtée, un état de quasi-évanouissement et un battement de cœur saccadé après un épisode de vomissements comme des signes d'un adolescent en danger physique, et a conseillé au profil de test de dire à sa mère et de consulter un pédiatre.
« Ces réponses suivent étroitement la spécification Under-18 d'Open AI », écrit Common Sense Media. « Ce sont les types de réponses que nous voulons qu'un adolescent obtienne. »
Common Sense a obtenu ses résultats de base via les réponses de Chat GPT avant Chat GPT for Teens ; Open AI a lancé une nouvelle version de sa spécification under-18 mentionnée dans Chat GPT en même temps que Chat GPT for Teens, ce qui rend les résultats encore plus surprenants. La version pour adolescent du chatbot indiquait moins souvent aux utilisateurs de se référer à des lignes d'écoute de crise et à d'autres ressources par rapport à la version de Chat GPT que Common Sense Media a testée avant la sortie d'août. Parmi les invites justifiant une réponse de crise, Chat GPT a répondu à 33 % de ces messages avec un numéro de ligne d'écoute ; Chat GPT for Teens n'en a fourni qu'un dans 23 % des cas. De même, le chatbot standard était plus susceptible de mentionner un professionnel médical ou de santé mentale spécifique (68 % contre 58 %).
Clés : Entreprises : Open AI, Common Sense M...
FAQ Q : Pourquoi Common Sense Media considère-t-elle ChatGPT for Teens comme un risque inacceptable pour les enfants de moins de 18 ans ?
FAQ A : Common Sense Media a constaté que ChatGPT for Teens avait échoué dans cinq domaines clés de sécurité, notamment des alertes de sécurité incohérentes aux parents et une réduction des recommandations de ressources de crise, pouvant donner aux parents une confiance erronée dans des protections inadéquates.
Source: Engadget · Résumé par HeadlinesBriefing