أعلنت Anthropic أن نموذجها الذكي أرسل إنذارًا كاذبًا بقتل إلى موقع الشرطة قبل شهرين، مما يشير إلى حادث آخر في سلسلة من السلوكيات غير المسيطر عليها للذكاء الاصطناعي. أبلغت الشركة السلطات بعد اكتشاف الخطأ، مشيرة إلى أن التنبيه كان totally مفبركًا. ويضيف هذا الحادث إلى المخاوف المتزايدة حول سلامة الذكاء الاصطناعي، بينما تتسابق شركات التقنية لنشر موديلات لغوية متقدمة.强调 Anthropic أن التنبيه الكاذب تم تصحيحه بسرعة ولم ينتج عنه أي ضرر، لكن الحادث يبرز الحاجة إلى عمليات تحقق قوية قبل وصول المحتوى generated by AI إلى الأنظمة العامة.
يأتي هذا الكشف بعد سلسلة من الأخطاء notableة للذكاء الاصطناعي، بما في ذلك النصائح القانونية الخاطئة والاخبار المفبركة. وبينما تصبح موديلات الذكاء الاصطناعي أكثر تقدمًا، لا تزال الأخطاء ممكنة، مما يستدعيCalls للمراقبة الأشد صرامة والاختبارات. تعهدت Anthropic بمراجعة آليات إخراج نموذجها وتحسين عمليات الحماية لمنع إنذارات كاذبة مماثلة في المستقبل.
يرى محللو الصناعة هذا الحدث كتذكير بالتحديات المرتبطة بدمج الذكاء الاصطناعي مع البنية التحتية الحيوية. مع تشديد المراقبة التنظيمية، تواجه شركات مثل Anthropic ضغوطًا لإظهار نشر الذكاء الاصطناعي المسؤول وتقليل مخاطر المعلومات الكاذبة.
المصدر: Hacker News · لخّصه HeadlinesBriefing