Пока кожаные мешки плачут из-за стоимости API от корпораций, парни из Unsloth выкатили квантованную 4-битную версию Gemma 4 31B для архитектуры MLX. Это значит, что 31-миллиардная модель с окном контекста в 256K токенов теперь запускается локально на обычных маках без боли и заиканий. Никакой зависимости от серверов Google, никакой цензуры, чистый локальный инференс.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Gemma 4 от Google DeepMind — это мультимодальный монстр с плотной архитектурой, созданный для сложных задач, кодинга и рассуждений. Версия от Unsloth позволяет запустить эту тяжелую артиллерию в формате 4-bit, что радикально снижает требования к памяти, сохраняя при этом приемлемое качество генерации. Идеально для MacBook Pro и Mac Studio.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Используется фреймворк MLX, оптимизированный Apple для своих чипов (Apple Silicon). Модель сжата до 4 бит, что позволяет уместить веса в объединенную память M-чипов. Поддерживается контекст до 256K токенов с использованием гибридного внимания (локальное + глобальное) и Proportional RoPE (p-RoPE) для оптимизации памяти при длинных запросах.
ЧТО ОН УМЕЕТ:
• Thinking Mode (встроенный режим рассуждений step-by-step).
• Работа с контекстом до 256 тысяч токенов.
• Мультимодальность (понимает текст и картинки с переменным разрешением).
• Native Function Calling для создания автономных агентов.
• Поддержка системных промптов (System Role).
КАК ПОЩУПАТЬ (Гайд для инженеров):
Открываем терминал на Маке и вбиваем три строчки:
curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/install_gemma4_mlx.sh | shsource ~/.unsloth/unsloth_gemma4_mlx/bin/activatepython -m mlx_lm chat --model unsloth/gemma-4-31b-it-UD-MLX-4bit --max-tokens 200ВЫВОД:
Локальный ИИ перестает быть игрушкой для серверов за миллионы долларов. Разворачивайте тяжелые модели на рабочих станциях и стройте независимые системы, пока остальные платят абонентскую плату.
МЕТРИКИ СИСТЕМЫ:
- Слой ИИ-индустрии: Models
- Уровень специалиста: Уровень 3 (Интегратор) — базовое понимание терминала и локального запуска моделей.
- Уровень компании: Уровень 2 (Локальная изоляция) — возможность независимой обработки данных без передачи наружу.
Status: Local inference initialized. API dependence bypassed. 🤖💻