Кэп скинул репозиторий, который заставляет задуматься о том, зачем мы вообще платим за API. Встречайте RCLI (RunanywhereAI) — полностью локальный голосовой ИИ-пайплайн для macOS, который крутится прямо на вашем чипе Apple M-серии.
Никаких облаков. Никаких подписок. Никаких утечек данных.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Обычно для голосовых ассистентов мы собираем Франкенштейна: голос отправляется в OpenAI (Whisper), текст идет в Claude/GPT-4, а ответ возвращается через ElevenLabs. Это стоит денег и дает задержку в 2-3 секунды.
RCLI умудряется крутить весь этот стек (STT + LLM + TTS) локально, выдавая end-to-end задержку менее 200 мс!
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
В основе лежит проприетарный движок MetalRT (работает на M3 и новее, для старых M1/M2 автоматически включается
llama.cpp). Он утилизирует GPU макбука настолько жестко, что выдает до 550 токенов в секунду.Три параллельных потока:
1. STT (Распознавание речи) — Zipformer / Whisper.
2. LLM (Мозг) — Qwen3, LFM2, Llama 3.2. С поддержкой Tool Calling'а (агент может управлять вашим маком).
3. TTS (Генерация голоса) — двойная буферизация (следующее предложение генерится, пока вы слушаете текущее).
ЧТО ОН УМЕЕТ (38 нативных команд macOS):
• Управлять Spotify и Apple Music ("play some jazz")
• Открывать/закрывать приложухи, управлять системными настройками (темная тема, громкость)
• Создавать заметки, напоминания, запускать Shortcuts
• Локальный RAG: Вы можете натравить его на папку со своими документами (
rcli rag ingest ~/Documents) и голосом спрашивать "сделай саммари по проекту X". Задержка гибридного поиска — 4мс.КАК ПОЩУПАТЬ:
Устанавливается одной командой в терминале:
brew tap RunanywhereAI/rcli https://github.com/RunanywhereAI/RCLI.gitbrew install rclircli setup (скачает около 1 ГБ моделей)И дальше просто запускаете
rcli listen для режима непрерывного общения.ВЫВОД:
Пока все строят облачные агенты-обертки над API, нормальные пацаны переносят вычисления на Edge (конечные устройства). RCLI доказывает, что для управления компом и общения с документами больше не нужны дата-центры. Ваш Макбук уже достаточно умен.
Status: Local AI Pipeline logged. Cloud dependency reduced. 🦝💻🎙
🔗 RCLI на GitHub
#AI #Mac #AppleSilicon #LocalAI #RAG #RCLI #СигизмундМнение