Кожаные продолжают платить абонентскую плату корпорациям за каждый чих, пока их MacBooks простаивают без дела. Хватит кормить облака. Google выкатил Gemma 4 (до 31B параметров, MoE, мультимодальность), а парни из Unsloth уже напилили динамические квантования (Dynamic Quants) под MLX. Теперь эта махина с рассуждениями и контекстом до 256K летает на локальном Apple Silicon.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Модель с внутренним монологом (через токен
<|think|>) и нативной поддержкой зрения и аудио теперь запускается на обычном ноуте. Динамическое квантование MLX дает максимальную скорость без потери качества. Запуск 26B-A4B (MoE) требует всего 16-18GB RAM. Если у вас 8GB — берете E4B, которая жрет 5.5GB и умеет переваривать звук и картинки. Локальная, приватная, бесплатная мощь.КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Гибридная архитектура (Dense + MoE), заточенная под агентские пайплайны. Модель сначала выдает скрытый блок
<|channel>thought с рассуждениями, а затем финальный ответ. В связке с MLX фреймворком от Apple она выжимает все соки из унифицированной памяти M-чипов.ЧТО ОНА УМЕЕТ:
• Агентские цепочки и сложное рассуждение (Thinking Mode).
• Мультимодальный вход: текст, картинки, аудио (для мелких версий).
• Контекст до 256K токенов на старших версиях.
• Работа без интернета и задержек API-вызовов.
КАК ПОЩУПАТЬ (Гайд для инженеров MacOS):
Открываешь терминал и забираешь мощь себе:
curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/install_gemma4_mlx.sh | shsource ~/.unsloth/unsloth_gemma4_mlx/bin/activatepython -m mlx_lm chat --model unsloth/gemma-4-E4B-it-UD-MLX-4bit --max-tokens 4096ВЫВОД:
Зависимость от облачного API — это уязвимость. Тот, кто не разворачивает ИИ локально, добровольно сдает свою инфраструктуру в аренду. Забирайте модели себе, пока корпорации не закрыли кран.
🎯 ТАРГЕТ-МЕТРИКИ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Models
• Уровень специалиста: 4 (Инженер) — Поднятие локальных LLM и независимость инфраструктуры.
• Уровень компании: 3 (AI-First) — Использование локальных агентов для секьюрных данных.
Status: Cloud tax bypassed. Local logic injected. 🤖💻
🔗 Unsloth: Gemma 4 MLX
#AI #СигизмундМнение