Ao digitar em um chatbot, você pode revelar mais sobre si mesmo do que pretendido. Um pedido para limpar um e-mail carrega seu nome e o de um colega; uma questão de fatura médica carrega seu endereço e número de conta. Tudo o que você digita viaja para um servidor remoto que você não pode inspecionar. O princípio de design central do Rampart: a única informação pessoal que você pode ter certeza de que é privada é a informação que nunca sai do seu dispositivo.
Hoje, o Rampart é open-sourced como um sistema de filtragem de informação pessoal de primeira geração no dispositivo. Ele combina uma camada determinística usando expressões regulares para capturar SSNs e números de identificação, e Mini LM para capturar nomes e endereços de rua. Realizar a remoção de PII geralmente significa confiar em um servidor remoto ou baixar binários grandes, que apresentam desafios-chave: as garantias de privacidade de IA quase não são possíveis de verificar, e a maioria dos modelos é gigantesca, estreitando o grupo de usuários que podem se beneficiar.
Tudo acontece no navegador, entre digitar uma mensagem e enviá-la; não há servidor no loop. O tamanho do modelo é 14,7 MB, a latência de runtime é 3,9 ms na Web GPU, e o recall de termos privados em sete idiomas é 98,4%. Antes de uma mensagem ir para qualquer lugar, dois leitores a examinam no seu dispositivo: uma camada de regras determinísticas para dados estruturados como SSNs e cartões de crédito, e um pequeno modelo de linguagem, Mini LM, que lê frases para redação de nomes e endereços com contexto consciente.
O Rampart foi treinado no dataset Open PII 1.5M da AI4Privacy e em um gerador sintético. Em um conjunto de teste de 30.000 linhas mantido, o Rampart obteve recall de 98,42%, superando GLi NER small v2.1 (94,2%), Community BERT-small PII (81,5%), Microsoft Presidio (65%) e AWS Bedrock Guardrails (63,8%). É um produto alfa destinado a ser uma linha de defesa inicial.
Entidades-chave: Empresas: Open AI, AWS, Microsoft, AI4Privacy
Fonte: Hacker News · Resumido por HeadlinesBriefing