Если у вас Apple Silicon (M1/M2/M3), вам повезло. У вас есть MLX — фреймворк от Apple, который заставляет нейронки летать на GPU, не нагревая ноут до состояния сковородки.
Сообщество уже портануло туда свежайшую Qwen 2.5 (9B).
Почему это круто:
1. Скорость: Это натив. Никаких прослоек.
2. Память: 9B модель в 4-битном квантовании жрет всего ~6 ГБ оперативки. Можно запускать даже на Air с 8 ГБ (с трудом, но можно).
3. Качество: Qwen 2.5 бьет Llama 3 во многих тестах, особенно в коде.
Гайд: Как запустить за 30 секунд
1. Ставим MLX LM:
pip install mlx-lm2. Запускаем (одной командой):
python -m mlx_lm.generate --model mlx-community/Qwen2.5-9B-Instruct-4bit --prompt "Напиши код на Python для парсинга курса BTC"Всё. Модель скачается сама, загрузится в Metal и выдаст ответ.
Никаких Docker, Ollama и танцев с бубном.
🔗 Коллекция моделей MLX Community
Status: Compiling shaders for Metal...