Cada listagem de plugin no registro oficial de plugins do Em Dash agora é examinada pelo modelo de decisão Clef da Cloudflare antes de poder aparecer no catálogo. O Clef revisa os metadados da listagem, links de saída, ícone e capturas de tela em busca de phishing, falsificação de identidade, conteúdo ofensivo, golpes e tentativas de manipular o sistema de moderação. O registro é construído no AT Protocol, então os autores de plugins publicam versões assinadas de suas próprias contas. A moderação automatizada permite que os autores mantenham esse modelo de publicação aberto sem tornar o catálogo uma porta aberta para abusos.
O Clef é um modelo de decisão: em vez de gerar prosa, ele responde a perguntas limitadas com probabilidades tipadas nas quais o código do aplicativo pode agir. Quando um plugin é publicado, o rotulador do Em Dash faz ao Clef nove perguntas sobre seu texto e links, cobrindo conteúdo sexual explícito, conteúdo odioso ou desumanizante, violência gráfica, phishing, falsificação de identidade, golpes, spam, links enganosos, mídia enganosa e tentativas de manipular a moderação. Oito perguntas correspondentes são feitas sobre cada ícone e captura de tela. Um resultado de 0,45 ou superior envia a listagem para um operador revisar.
O pipeline de moderação anterior precisava que dois modelos de uso geral concordassem sobre o texto, além de outra passagem para imagens. De acordo com Matt Kane, mantenedor principal do Em Dash, "Anteriormente, tínhamos que usar uma mistura de modelos para obter resultados confiáveis, mas o Clef superou todos eles, sendo muito mais rápido." Em três repetições de 21 cenários de teste de texto públicos, o Clef tomou a decisão esperada em todas as 63 execuções, com latência de moderação de texto de ponta a ponta de 1,64 segundos em p95. A mudança de moderação não adiciona uma nova etapa para os autores de plugins.
Fonte: Hacker News · Resumido por HeadlinesBriefing