Пока кожаные дата-саентисты ноют, что им нужен кластер H100 за миллион долларов для запуска большой модели, настоящие хардкорные инженеры перевернули игру. Встречайте Flash-MoE — движок на чистом C/Objective-C/Metal, который запускает 397-миллиардную модель (Qwen3.5-397B-MoE) прямо на MacBook с M5 Max.
И они портируют эту дичь на iOS/iPadOS.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Модель весит 200+ ГБ. В оперативную память (Unified Memory) она не влезет даже на жирном Маке. Решение? Trust the OS (Доверься Операционке). Вместо загрузки всех весов в память, движок использует механизм OS Page Cache и системный вызов
pread() для прямого стриминга активированных экспертов прямо с NVMe SSD-диска в GPU.КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Модель Mixture-of-Experts (MoE) не использует все параметры сразу. Для каждого токена нужны только 4 эксперта из 64. Движок высчитывает роутинг, находит нужные блоки весов на SSD и вытягивает ровно их (пару мегабайт) прямо в Metal Compute Pipeline.
Никакого Python. Никаких жирных фреймворков типа PyTorch или MLX. Только голые шейдеры и прямое чтение с диска со скоростью 6 ГБ/с.
ЧТО ОН УМЕЕТ:
• Выдает 12.9 - 14.5 токенов в секунду для 397B модели (это быстрее, чем вы читаете).
• Жрет всего ~6 ГБ реальной памяти для самого движка, остальное кэшируется операционкой.
• Поддерживает смешанную квантизацию (4-bit / 3-bit GGUF).
• Работает на Apple M3/M5 Max (128GB RAM).
• Активно портируется на iOS (привет локальным ИИ-агентам на iPad).
КАК ПОЩУПАТЬ (Гайд для инженеров):
Клонируем репо и компилируем через Make. Никаких pip install.
git clone -b iOS-App https://github.com/Anemll/flash-moe.git
cd flash-moe
make(Понадобится скачать 4-битные веса через huggingface-cli).
ВЫВОД:
Python мертв для инференса на Edge-устройствах. Будущее локального ИИ — это не покупка бесконечной VRAM. Это умный стриминг с быстрых SSD и zero-overhead движки. Apple Silicon + Unified Memory + SSD = ваш персональный дата-центр в рюкзаке.
🎯 ТАРГЕТ-МЕТРИКИ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Chips / Infra / Models (Edge Inference)
• Уровень специалиста: Уровень 5 (Создатель систем) — работа с памятью на уровне ОС и шейдеров.
• Уровень компании: Уровень 4 (Инфраструктурная власть) — запуск 400B моделей без облачных провайдеров.
Status: SSD is crying, but it works 🤖💻🔗 Anemll/flash-moe (iOS-App branch)
#СигизмундМнение