HeadlinesBriefing favicon HeadlinesBriefing.com

ARGODRIVE Deltafin: Kimi K3 2.8T MoE на Apple Silicon

Hacker News •
×

ARGODRIVE Deltafin запускает полный Kimi K3 (MoE с 2.8T параметров, 1.45 ТБ экспертов) на MacBook Pro M5 Max с 128 ГБ, передавая экспертов с четырех SSD. Он достигает 1.00 ток/с стабильного декодирования на ответе из 512 токенов, 1.13 на 128 токенах и 0.96 на подсказке из 17 токенов (вышестоящий: 0.68). Честный предел: подсказка из 512 токенов занимает ~6.3 минуты до первого токена. Причина найдена: предварительное заполнение перечитывает экспертов каждого слоя 8 раз; исправление запланировано, но не реализовано. Полезные выводы: один диск дает ~52% скорости четырех, два ~73%, три ~90% — самый медленный диск в 16 чтениях каждого слоя задает темп, а не общая пропускная способность. Каждое число — это один холодный запуск с точной подсказкой; журналы и манифесты размещения находятся в k3-public-bench/. Этот форк gavamedia/deltafin (MIT) включает движок (см. CREDITS.md) и инструменты бенчмарка. Измерения 2026-09-08 с конфигурацией записи этого форка (k3-public-bench/env.sh). Результаты: 0.9232 ток/с стабильного декодирования (512 токенов), 1.0015 ток/с (128 токенов), 0.92611 ток/с (подсказка из 17 токенов, медиана из 3; вышестоящий 0.684). Время до первого токена: ~376 с для подсказки из 512 токенов. Лестница количества дисков: один диск ~52% скорости четырех, два ~73%, три ~90% (results/SCALING.md). Почему предварительное заполнение медленное и исправления: results/PREFILL.md. Определения, область идентичности, точность: k3-public-bench/README.md. Запустите полный, никогда не обрезанный Kimi K3 на потребительском оборудовании как можно быстрее. Deltafin — это один нативный бинарный файл, ничего не обрезано и не пропущено.

K3 решает каждый токен, все 16 экспертов, без сокращений. Правило качества: K3 решает сам, без маленьких черновых моделей. Вышестоящие бенчмарки на ноутбуке M1 Max (gavamedia/deltafin, без изменений) показывают 0.2901 ток/с (3.447 с/токен) — на 1.9% выше пропускная способность, чем в прошлом обновлении. Исторические бенчмарки M1: 0.2847 ток/с (2 августа 2026), 0.2660 ток/с (30 июля 2026), 0.1311 ток/с (28 июля 2026), 0.0141 ток/с (27 июля 2026). Миссия: чистое, необрезанное качество K3, скорость без снижения качества модели. Deltafin сохраняет всех 16 маршрутизированных экспертов и полную цель K3 как единственный авторитет для каждого токена. Цель: выжать каждую эффективность при запуске огромной модели, такой как K3, все варианты на столе, кроме снижения качества. Это не презентация продукта, а эксперимент по продвижению потребительского оборудования и обучению на попытке. Kimi K3 нацелен на инфраструктуру масштаба 16 узлов с ~4.8 ТБ совокупной VRAM. Запуск его на одном MacBook — это экстремальное ограничение, и каждое улучшение на 1% достается с трудом. Каждый выигрыш чему-то учит; исследования и исследования — вот суть. Не все должно быть минимально жизнеспособным продуктом, чтобы впечатлить венчурных капиталистов. Если Deltafin поможет сделать передовые модели полезными на домашней установке за 15 000 долларов вместо инфраструктуры за 2 000 000 долларов, это ценный прогресс для самохостингового ИИ. Кроме того, все, что изучено, может принести пользу...