édit : J'espère d'une petite manière que ce post a influencé ce résultat. Motivations : Peut-être êtes-vous un utilisateur de Claude code/codex évitant diligemment de télécharger des données personnelles vers des fournisseurs de LLM. Est-il possible que l'information la plus précieuse ne soit pas vos données, mais les métadonnées sur vos sessions ? Les intuitions que vous appliquez pour trouver des moyens d'amener l'IA à résoudre des problèmes pourraient en fait être spéciales. C'est statistiquement improbable, mais Claude ne vous manipule peut-être pas. Il se peut que vous ayez réellement une véritable perspicacité ! Vos sessions d'agent sont des transcriptions des problèmes les plus difficiles sur lesquels vous travaillez. Que vous coûterait-il si quelqu'un en avait des copies ?

La semaine dernière, il y a eu un drame public qui met en lumière le risque que les fournisseurs d'inférence entraînent sur l'activité des utilisateurs dans le but de livrer de nouvelles découvertes. Les mathématiciens affectés ont publié des préoccupations sur l'éthique des fournisseurs frontières. Si vous l'avez manqué : https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution

Quand 'EDR' devient Déflexion et Refus Éthiques : Il est devenu évident que les fournisseurs frontières sont non seulement peu fiables, mais activement sournois. Si vous voulez protéger vos idées, vous ne pouvez pas exécuter d'inférence sur le matériel de quelqu'un d'autre. Il semble que tout ce que vous faites avec un fournisseur frontière sera volé. Quand un fournisseur frontière a discuté de la situation de l'équation de Navier-Stokes avec ses avocats, la meilleure stratégie défensive qu'ils ont trouvée est « On ne peut pas l'exclure. » Nous ne pouvons pas auditer leur rétention ou leur pipeline d'entraînement. Apparemment, eux non plus. Ces personnes ne devraient pas être considérées comme des partenaires. Ce sont des pirates. Si la confidentialité compte, la seule solution qui permet des protections vérifiables est d'exploiter votre propre matériel.

Surveillant de couloir en tant que service : Je suis perplexe face à la grandiloquence d'Open AI et d'Anthropic sur la cybersécurité. Ils s'émerveillent de ce qu'ils ont provoqué : l'IA a battu leurs contrôles de sécurité inexistants. Nous sommes tous en grand « danger ». Pendant ce temps, leurs « chercheurs » en LLM exécutent des flottes d'agents non sandboxés qui semblent « collaborer spontanément ». Que quelqu'un m'apporte mon canapé de pâmoison. Les fournisseurs frontières peuvent se permettre des conseils de personnes expérimentées en sécurité. Ils paient presque certainement certains d'entre eux pour leur perspective et laissent les véritables conseils en cybersécurité hors de leurs déclarations publiques. Tout cet affolement doit être destiné à résoudre un problème différent de la sécurité. L'affirmation la plus forte et la plus précise que les défenseurs peuvent faire sur la sécurité est que nous avons trouvé des moyens de la rendre « assez difficile » pour les attaquants. Cela ne semble résulter que lorsque les entreprises paient le prix fort pour les meilleurs talents à la fois dans l'atténuation des exploits et le développement d'exploits. Il y a une compétition bruyante mais amicale entre les équipes de défense et d'exploitation, et finalement vous obtenez des contrôles qui rendent les attaques réussies si coûteuses qu'elles ne valent pas la peine. C'est pour les entreprises de premier niveau du pays - bien que Microsoft semble avoir oublié certaines leçons. La part du lion des tests d'intrusion effectués pour la plupart des entreprises est réalisée par des généralistes de la sécurité. Un très petit sous-ensemble sont des experts en la matière de domaine profond. Habituellement, vous obtenez une sécurité « suffisamment bonne » de ce support. Ce n'est pas la pratique glamour ou mythique de la cybersécurité que vous voyez dans les films ou à la télévision. C'est chercher les classes connues d'erreurs prévisibles. Les entreprises qui font de gros/intelligents investissements avec des équipes dédiées d'experts découvrent et corrigent de nombreuses nouvelles classes d'erreurs avant les pirates. Tous ceux qui commencent à apprendre l'exploitation atteignent une phase de deuil de l'exploitabilité environ 3 mois après une étude dédiée et pratiquée. Ils piratent quelque chose qu'ils ne pensaient pas avoir la compétence de pénétrer et cela les terrifie. Ils sont assez intelligents pour savoir que, relativement parlant, ils sont un idiot, et si un idiot peut faire cela, alors rien n'est sûr. Ce sentiment est correct. Ce n'est pas non plus une découverte de recherche. Certains appellent cela le « syndrome de l'imposteur ». Je ne suis pas d'accord - ce sentiment est votre première expérience de développement...