Ein neuer Benchmark namens Vision Q verlangt von KI-Modellen, Bilder der Computer Vision anhand einer einzigen genannten Qualität zu beurteilen, etwa der Kantenschärfe. Die Autoren testeten 20 KI-Modelle, die als Richter fungierten. Das beste lag in 63,1 Prozent der Fälle richtig, also knapp zwei von drei Malen. Zufälliges Raten wäre in 32,2 Prozent der Fälle richtig gewesen. Das beste Modell ist eindeutig besser als Raten, verfehlt aber trotzdem mehr als ein Drittel der Fälle.
Diese Lücke ist der Grund für diesen Artikel. Wenn der beste KI-Richter so oft danebenliegt, sollten Sie Ihren eigenen Richter testen, bevor Sie ihm vertrauen. Diese Ergebnisse sind auch außerhalb des Labors wichtig, denn Menschen bitten KI-Assistenten bereits, Fotos zu prüfen und Fragen dazu zu beantworten. Stellen Sie sich vor, Sie laden zwei Fotos einer Medikamentenschachtel hoch und fragen, wie viel Sie einnehmen sollen, und laden sie dann in umgekehrter Reihenfolge hoch. Ändert sich die Antwort, müssen Sie wissen, ob das Etikett schwer lesbar war oder die Bildreihenfolge das Ergebnis beeinflusst hat.
Der Autor prüfte, ob die Reihenfolge der Bilder die Antworten eines Modells beeinflussen kann. In einem Test wurden Claude zwei Bilder gezeigt, und es sollte angeben, welches weniger Kompressionsartefakte aufweist. Bei 24 Durchläufen wählte Claude in 23 Fällen das zweite Bild, egal worum es sich handelte. Das deutet auf eine starke Positionsverzerrung hin, obwohl das Ergebnis auf den eigenen Testbildern des Autors beruht und möglicherweise nicht für alle Bildarten gilt.
Anschließend erstellte der Autor einen kleineren Test mit Originalbildern, bei dem sich jedes Paar durch genau eine bekannte Änderung unterschied, und protokollierte jede Antwort in Weights & Biases. Ziel war ein kurzes Skript, das drei Dinge über einen Bildrichter prüft: ob er auf das Detail achtet, nach dem gefragt wird, ob er das erste oder das zweite Bild bevorzugt und ob er Antworten erfindet.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing