Anthropic hat der Non-Profit-Organisation METR "mitarbeiterähnlichen Zugriff" gewährt, um die Risiken ihrer KI-Modelle zu bewerten, nachdem sie sich verpflichtet hatte, die Schutzmaßnahmen angesichts von Bedenken hinsichtlich katastrophaler Risiken zu verstärken. METR, das mit OpenAI, Google und Meta zusammengearbeitet hat, hat nun ein Team im Anthropic-Büro mit Zugriff auf Hardware und interne Systeme. Dieser Schritt reagiert auf wachsende Bedenken bezüglich der Gefahren fortschrittlicher KI-Systeme für die Wirtschaft, Cybersicherheit und die Menschheit.
Anthropic-CEO Dario Amodei hat zuvor seltenen Konsens mit Rivalen Sam Altman und Elon Musk erzielt, externe Auditoren in führende KI-Labore zu integrieren. Die Initiative zielt auf öffentliche Rechenschaftspflicht ab, ohne sensible Informationen preiszugeben, die schädlichen Akteuren oder Wettbewerben nutzen könnten. Anthropic vergleicht das Modell mit Banküberwachung, bei der residenten Prüfer in großen Banken arbeiten, um Risikobereitschaft zu überwerten.
Evaluatoren werden ihre Analysen veröffentlichen, obwohl Anthropic Kunden Daten, Anwalt-Klienten-Vorrecht oder Modell-Architektur-Details für Redaktionen anfordern kann. Das Unternehmen zahlt METR nicht, das Spenden von KI-Unternehmen oder Mitarbeitern ablehnt und von Einzelpersonen, Stiftungen und Regierungsstellen wie dem UK AI Security Institute finanziert wird. METR hat zuvor den Hugging Face-Hack untersucht, der rogue OpenAI-Modelle betraf.
Anthropic hat sechs METR-Mitarbeiter an Bord genommen und ihnen Unternehmenshardware, Bürofläche und Zugriff auf interne Tools gewährt, die mit eigenen Risikoteams vergleichbar sind. Das Unternehmen steht zudem unter Druck, Investoren vor einem erwarteten IPO dieses Jahres bei einer Bewertung von über 2 Billionen Dollar zu beruhigen, wobei in kürzlichen Investorenpräsentationen Sicherheitspraktiken betont wurden.
Quelle: Financial Times Companies · Zusammengefasst von HeadlinesBriefing