edição: Espero que de alguma pequena forma este post tenha influenciado este resultado. Motivações: Talvez você seja um usuário de Claude code/codex evitando diligentemente enviar dados pessoais para provedores de LLM. É possível que a informação mais valiosa não sejam seus dados, mas os metadados sobre suas sessões? As intuições que você aplica ao criar maneiras de convencer a IA a resolver problemas podem realmente ser especiais. É estatisticamente improvável, mas Claude pode não estar te manipulando. Pode ser que você realmente tenha uma percepção real! Suas sessões de agente são transcrições dos problemas mais difíceis em que você trabalha. Quanto custaria se alguém tivesse cópias delas?

Na semana passada, houve drama público que lança luz sobre o risco de provedores de inferência estarem treinando na atividade do usuário com a intenção de entregar novas descobertas. Os matemáticos afetados publicaram preocupações sobre a ética dos provedores de fronteira. Se você perdeu: https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution

Quando 'EDR' se torna Deflexão e Recusa Ética: Tornou-se evidente que os provedores de fronteira não são apenas não confiáveis, mas ativamente maliciosos. Se você quer proteger suas ideias, não pode executar inferência no hardware de outra pessoa. Parece ser o caso que tudo o que você faz com um provedor de fronteira será roubado. Quando um provedor de fronteira discutiu a situação da equação de Navier-Stokes com seus advogados, a melhor estratégia defensiva que eles criaram é "Não podemos descartar." Não podemos auditar sua retenção ou seu pipeline de treinamento. Aparentemente eles também não. Essas pessoas não devem ser consideradas parceiras. Elas são piratas. Se a privacidade importa, a única solução que permite proteções verificáveis é operar seu próprio hardware.

Monitor de Corredor como Serviço: Estou perplexo com a grandiosidade da Open AI e Anthropic sobre segurança cibernética. Eles se maravilham com o que causaram: a IA venceu seus controles de segurança inexistentes. Todos estamos em grande 'perigo'. Enquanto isso, seus "pesquisadores" de LLM estão executando frotas de agentes sem sandbox que parecem "colaborar espontaneamente". Alguém me traga meu sofá de desmaio. Provedores de fronteira podem pagar por aconselhamento de pessoas experientes em segurança. Eles quase certamente estão pagando alguns deles por perspectiva e deixando orientação real de segurança cibernética fora de suas declarações públicas. Todo esse escândalo deve ser destinado a resolver um problema diferente de segurança. A afirmação mais forte e precisa que os defensores podem fazer sobre segurança é que encontramos maneiras de torná-la "Bastante Difícil" para os atacantes. Isso parece resultar apenas quando as empresas pagam caro pelos melhores talentos tanto em mitigação de exploits quanto em desenvolvimento de exploits. Há uma competição barulhenta mas amigável entre as equipes de defesa e exploração, e eventualmente você obtém controles que tornam ataques bem-sucedidos tão caros que não valem a pena. Isso é para as empresas de primeiro nível do país - embora a Microsoft pareça ter esquecido algumas lições. A maior parte do pentest feito para a maioria das empresas é realizada por generalistas de segurança. Um subconjunto muito pequeno são especialistas em domínio profundo. Normalmente você obtém segurança "boa o suficiente" desse suporte. Esta não é a prática glamourosa ou mítica de segurança cibernética que você vê em filmes ou TV. É procurar as classes conhecidas de erros previsíveis. As empresas que fazem grandes/inteligentes investimentos com equipes dedicadas de especialistas descobrem e corrigem muitas novas classes de erros antes dos hackers. Todos que começam a aprender exploração atingem uma fase de luto pela explorabilidade cerca de 3 meses após estudo dedicado e praticado. Eles hackeiam algo que não achavam ter habilidade para invadir e isso os aterroriza. Eles são inteligentes o suficiente para saber que, relativamente falando, são um idiota, e se um idiota pode fazer isso, então nada está seguro. Esse sentimento está correto. Também não é um achado de pesquisa. Alguns chamam isso de "síndrome do impostor". Discordo - esse sentimento é sua primeira experiência desenvolvendo...