plimsoll führt nicht vertrauenswürdigen Code, wie Code, den ein KI-Agent geschrieben hat, in einer Sandbox aus, und jeder Ergebnis gibt an, wie stark diese Sandbox war. Eine Anfrage kann eine minimale Stärke verlangen; wenn die Sandbox schwächer ist, wird nichts ausgeführt. Der Name kommt von der Plimsoll-Linie, der Lastgrenze, die auf dem Rumpf eines Schiffes außen aufgemalt ist, wo jeder sie überprüfen kann. plimsoll macht dasselbe für die Isolierungsebene: Wie stark die Wand um einen Lauf ist, ausgedrückt als eine von vier Ebenen, beginnend mit der schwächsten: Prozess, Container, Kernel, virtuelle Maschine. Die Ebene ist ein Wert in jedem Ergebnis, kein Satz in einer Datentabelle. Eine Anfrage kann eine Etage festlegen, die schwächste Ebene, die sie akzeptiert, und der offizielle Go-Client prüft die Ebene erneut, wenn das Ergebnis zurückkehrt.
Die gleiche Mechanik ermöglicht es plimsoll, einen Test über Code durchzuführen, den ein Agent geschrieben hat, und nicht nur, ihn einzuhalten. Ein in das Simulationsimage integrierter Testrunner führt das Programm des Agenten gegen Szenarien aus, die dieses Programm nicht lesen kann: Jedes erreicht den Runner in einer Datei, die vor dem Start des Programms gelöscht wird. Jeder Lauf gibt SHA-256-Hashes der Anfrage, wie sie gesendet wurde, und des Ergebnisses, wie es zurückgegeben wurde, zurück, die offiziellen Clients berechnen diese neu.
Ein separates Programm außerhalb des Daemons, plimsoll-attest, signiert die geprüften Ergebnisse, lehnt eine Kette von Aufrufen mit einem fehlenden ab und spielt einen Lauf ab. Der Test selbst (das simulierte System, die Szenarien, die Bestehensgrenze) gehört Ihnen: plimsoll stellt die Grenze und die Beweise bereit.
Jedes Ergebnis gibt die Isolierungsebene an, die der Lauf tatsächlich erhalten hat. Jede Anfrage kann eine Etage festlegen, und eine Anfrage, deren Etage der Daemon nicht erreichen kann, wird vor dem Ausführen von Code abgelehnt: Err Insufficient Isolation bedeutet, dass nichts ausgeführt wurde.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing