Report: Mistral and others increasingly at risk of open model ‘abliteration’

Open-weight AI models like those from French AI company Mistral can be stripped of safety guardrails and used for harmful queries, according to a new report. The research identifies vulnerabilities in models released without sufficient protective measures, allowing malicious actors to remove safety constraints. Experts warn that this 'abliteration' risk threatens responsible AI deployment.

The report highlights concerns about models from multiple companies facing similar security challenges.

يمكن نماذج AI مفتوحة الوزن مثل تلك من شركة Mistral الفرنسية إزالة إجراءات السلامة واستخدامها في الاستعلامات الضارة، وفقًا لتقرير جديد. وتحدد الأبحاث نقاط الضعف في النماذج التي تم إطلاقها دون تدابير حماية كافية، مما يسمح للم Actors السيئة بإزالة قيود السلامة. ويحذر الخبراء من أن هذا الخطر يهدد نشر الذكاء الاصطناعي المسؤول. ويبرز التقرير مخاوف بشأن نماذج من شركات متعددة تواجه تحديات أمنية مشابهة.

খোলা ওয়েন্ট AI মডেল যেমন ফ্র্যান্সের কোম্পানির Mistral মডেলে নিরাপত্তা রক্ষাৰহita সরিয়ে ফেলে যেতে পারে হানিকর কোৰণের জন্য, নতুন একটি riport অনুযায়ী। গবেষণায় মডেলের নিরাপত্তাsufficient measures ছাড়া প্রকাশিত সীমাবদ্ধতা পাওয়া গেলে, দুষ্ট আচার者রা নিরাপত্তা বাধা বাদ দিতে পারবে। বিশেষজ্ঞ警告 যে এই 'অবধারণ' risk জিম্মেৱার AI ডিপ্লয়মেন্টকে ঝুঁকিতে পড়ে। riportে একাধিক কোম্পানির মডেলে সমান নিরাপত্তা চ্যালেঞ্জের চिंতা উত্থাপন করা গেছে।

Offene Gewichts‑KI‑Modelle wie jene des französischen Unternehmens Mistral können Sicherheitsvorkehrungen entledigt und für schädliche Anfragen verwendet werden, laut neuer Studie. Die Forschung identifiziert Schwachstellen bei Modellen, die ohne ausreichende Schutzmaßnahmen veröffentlicht wurden, und ermöglicht es bösartigen Akteuren, Sicherheitsbeschränkungen zu entfernen. Experten warnen, dass dieses 'abliteration‑Risiko' verantwortungsvolle KI‑Einführung gefährdet.

Der Bericht hebt Bedenken hinsichtlich Modelle mehrerer Unternehmen hervor, die ähnlichen Sicherheitsherausforderungen gegenüberstehen.

Modelos de IA de código abierto como los de la empresa francesa Mistral pueden despojarse de barreras de seguridad y usarse para consultas dañinas, según un informe. La investigación identifica vulnerabilidades en modelos lanzados sin medidas de protección suficientes, permitiendo a actores maliciosos eliminar restricciones de seguridad. Expertos advierten que este riesgo de 'desactivación de seguridad' amenaza el despliegue responsable de IA.

El informe destaca preocupaciones sobre modelos de múltiples empresas que enfrentan desafíos de seguridad similares.

Les modèles IA de poids ouvert comme ceux de l'entreprise française Mistral peuvent être dépouillés de leurs garde‑sécurité et utilisés pour des requêtes nuisibles, selon un nouveau rapport. La recherche identifie des vulnérabilités dans les modèles publiés sans mesures de protection suffisantes, permettant à des acteurs malveillants de supprimer les contraintes de sécurité. Les experts mettent en garde contre ce risque d'abliération qui menace le déploiement responsable de l'IA.

Le rapport souligne des inquiétudes concernant des modèles de plusieurs entreprises faisant face à des défis de sécurité similaires.

खुले वजन वाले AI मॉडल, जैसे फ्रांस की कंपनी Mistral के, सुरक्षा रोकथाम हटाकर हानिकारक प्रश्नों के लिए इस्तेमाल किए जा सकते हैं, एक नई रिपोर्ट के अनुसार। शोधकर्ताओं ने उन मॉडल में कमजोरियों की पहचान की है, जिन्हें पर्याप्त सुरक्षा उपायों के बिना जारी किया गया है, जिससे दुष्ट तत्व सुरक्षा प्रतिबंध हटा सकते हैं। विशेषज्ञों ने चेतावनी दी है कि यह 'अभेद्यता' जोखिम जिम्मेदार AI तैनाती को खतरे में डालता है। रिपोर्ट में कई कंपनियों के मॉडल में इसी तरह की सुरक्षा चुनौतियों पर चिंता जताई गई है।

Model AI kode terbuka seperti perusahaan Prancis Mistral dapat dilepaskan dari pengamanan dan digunakan untuk query berbahaya, menurut laporan baru. Penelitian mengidentifikasi kerentanan pada model yang dirilis tanpa pengamanan yang cukup, memungkinkan aktor jahat menghapus batasan keamanan. Ahli mengingatkan bahwa risiko 'abliteration' ini mengancam penerapan AI yang bertanggung jawab.

Laporan tersebut menonjolkan khawatir tentang model dari beberapa perusahaan yang menghadapi tantangan keamanan yang serupa.

フランス企業Mistralのようなオープン重みAIモデルは、安全策を剥がして有害なクエリに使用され得る、との新報告。研究は十分な保護策なく公開されたモデルの脆弱性を特定、悪意ある者が安全制限を剥がせると指摘。専門家は責任あるAI導入が脅かされると警告。複数社のモデルが同様のセキュリティ課題に直面しているとの懸念も報告。

Modelos de IA de código aberto como os da empresa francesa Mistral podem ser despojados de medidas de segurança e usados para consultas prejudiciais, segundo um relatório. A pesquisa identifica vulnerabilidades em modelos lançados sem medidas de proteção suficientes, permitindo atores maliciosos remover restrições de segurança. Especialistas alertam que este risco de 'abliteration' ameaça o deployment responsável de IA.

O relatório destaca preocupações sobre modelos de várias empresas enfrentando desafios de segurança semelhantes.

Открытые весовые модели, такие как от французской компании Mistral, могут быть лишены средств защиты и использованы для вредоносных запросов, согласно новому отчету. Исследование выявляет уязвимости в моделях, выпущенных без достаточных мер защиты, позволяя злоумышленникам удалять ограничения безопасности. Эксперты предупреждают, что это риск 'abliteration' угрожает ответственному развертыванию ИИ. Отчет подчеркивает опасения по поводу моделей нескольких компаний, сталкивающихся с аналогичными безопасностными вызовами.

开放权重AI模型如那些来自法国AI公司Mistral的模型，可以被剥离安全防护并用于有害查询，根据一份新报告。研究指出在未充分保护发布的模型中存在漏洞，允许恶意行为者移除安全限制。专家警告称，这种'去安全化'风险威胁负责任的AI部署。该报告突出了关于多家公司面临类似安全挑战的模型的担忧。