Die meisten LLM-Inferenz-Runtimes ignorieren physische Deadlines. Eine neue CUDA-basierte Runtime für Qwen2.5-Coder-1.5B-Instruct verweigert den Start, wenn sie nicht innerhalb eines 33 ms Roboter-Steuerzyklus fertig wird, verdrängt den KV-Cache nach Bedeutung (Kosinus-Ähnlichkeit) statt nach Alter und nutzt einen lock-freien Double-Buffer. Sie vermeidet VRAM-Überlauf durch kontinuierliche Vision-Streams, verhindert Deadline-Verstöße im Regelkreis und bewältigt eine 60-Hz-Kamera, die das Reasoning überholt.

Vollständig in handgeschriebenem CUDA gebaut — ohne cuBLAS oder libtorch — auf einer einzelnen Cloud-NVIDIA-Hopper-GPU (sm_90) mit einer im Code modellierten 8-GB-VRAM-Grenze, nicht gemessen an Edge-Geräten wie Jetson. Die Architektur trennt Wahrnehmung, Zulassungssteuerung und Reasoning: Die Kamera speist einen lock-freien Puffer, ein Zulassungscontroller prüft Machbarkeit gegen die 33 ms Deadline plus 2 ms Sicherheitsmarge, dann reicht er Frames an einen handgeschriebenen Transformer weiter. Das Github-Repo ist https://github.com/Anubhab Banerjee/vla-edge-backend1.

Die Kamera läuft mit 60 Hz (16,7 ms/Frame) und das Modell muss innerhalb von 33 ms entscheiden und handeln — schneller als ein menschlicher Lidschlag. Dies ist eine Architektur, kein Benchmark.