Chaque fiche de plugin dans le registre officiel des plugins Em Dash est désormais examinée par le modèle de décision Clef de Cloudflare avant de pouvoir apparaître dans le catalogue. Clef examine les métadonnées de la fiche, les liens sortants, l'icône et les captures d'écran pour détecter le phishing, l'usurpation d'identité, le contenu offensant, les escroqueries et les tentatives de manipulation du système de modération. Le registre est construit sur AT Protocol, donc les auteurs de plugins publient des versions signées depuis leurs propres comptes. La modération automatisée permet aux auteurs de conserver ce modèle de publication ouvert sans faire du catalogue une porte ouverte aux abus.
Clef est un modèle de décision : au lieu de générer du texte, il répond à des questions limitées avec des probabilités typées sur lesquelles le code de l'application peut agir. Lorsqu'un plugin est publié, l'étiqueteur Em Dash pose à Clef neuf questions sur son texte et ses liens, couvrant le contenu sexuel explicite, le contenu haineux ou déshumanisant, la violence graphique, le phishing, l'usurpation d'identité, les escroqueries, le spam, les liens trompeurs, les médias trompeurs et les tentatives de manipulation de la modération. Huit questions correspondantes sont posées pour chaque icône et capture d'écran. Un résultat de 0,45 ou plus envoie la fiche à un opérateur pour révision.
Le pipeline de modération précédent nécessitait que deux modèles polyvalents s'accordent sur le texte, plus un autre passage pour les images. Selon Matt Kane, mainteneur principal d'Em Dash, "Auparavant, nous devions utiliser un mélange de modèles pour obtenir des résultats fiables, mais Clef les a tous battus, tout en étant beaucoup plus rapide." Sur trois répétitions de 21 cas de test textuels publics, Clef a pris la décision attendue dans les 63 exécutions, avec une latence de modération de texte de bout en bout de 1,64 secondes à p95. Le changement de modération n'ajoute pas de nouvelle étape pour les auteurs de plugins.
Source: Hacker News · Résumé par HeadlinesBriefing