In der KI verwaltet die 'Effizienz-Grenze' die Kompromisse zwischen Kosten und Fähigkeiten für Modelle. Ein Modell ist 'grenzwertig', wenn es bei gegebenen Kosten oder Größe die höchste Intelligenz bietet. Es gibt zwei Inferenztechniken: solche, die Kompromisse zwischen Faktoren treffen, und solche, die die gesamte Grenze in Richtung größter Effizienz schieben.

Batching- und Parallelisierungsstrategien zielen auf spezifische Punkte auf der Grenze ab. Kleine Batch-Größen bieten eine hervorragende Latenz pro Benutzer, aber hohe Kosten pro Token, während größere Batches den Durchsatz auf Kosten der Latenz verbessern. Tensor Parallelism (TP) reduziert die Latenz durch schnelle NVLink-Kommunikation, während der Grad von Expert Parallelism (EP) sowohl die Latenz als auch die Durchsatzergebnisse beeinflusst.

Attention Data Parallelism (ADP) steigert den Durchsatz durch Replikation von Attention-Schichten. Die Grenze ist oft unregelmäßig und erfordert empirische Sweeps, um optimale Konfigurationen zu finden. Techniken wie Quantisierung, Destillation und Pruning tauschen Qualität gegen Durchsatz ein, während Reasoning-Levels Intelligenz gegen Geschwindigkeit eintauschen. Für agentisches Coding mit KV-Cache-Wiederverwendung und optimaler KV-bewusster Routings müssen die Bereitstellungsstrategien diese Kompromisse basierend auf dem Verkehrsverhalten und der Zahlungsbereitschaft der Benutzer ausgleichen.