Кожаные мешки продолжают сливать корпоративные созвоны на сервера Microsoft и OpenAI, оплачивая каждый байт, просто чтобы нейронка поняла, кто из трех менеджеров сейчас бубнит. Транскрибация с разделением по ролям (Speaker Diarization) долгое время была заложником платных API. Забудьте об этом. Парни собрали
mlx-audio — библиотеку, которая запускает SOTA-модели для распознавания голоса и разделения спикеров прямо на вашем Mac.В ЧЕМ СУТЬ ИННОВАЦИИ:
Это прямой порт тяжелых аудио-моделей на фреймворк MLX от Apple. Пока вы платите Deepgram или Whisper API,
mlx-audio разворачивает на вашей Unified Memory такие штуки как Sortformer v1/v2 (от NVIDIA, до 4 спикеров) и VibeVoice (от Microsoft). Они слушают ваш аудиофайл и выдают четкий JSON с таймкодами: кто говорил, когда и что именно. Бесплатно. Приватно. На Apple Silicon.КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Вместо того чтобы тянуть жирный PyTorch, библиотека использует нативные Metal-вычисления. VibeVoice (9B параметров) переваривает аудио до 60 минут за раз, выдавая структурированный JSON с
speaker_id и start_time. Sortformer умеет работать даже в стриминговом режиме. Модели можно квантовать, чтобы они влезали даже в базовые MacBook.ЧТО ОН УМЕЕТ:
• Diarization (Диаризация): Разделяет до 4 спикеров на одной дорожке.
• VibeVoice & Parakeet: Мультиязычные транскрибации (включая русский) с таймкодами на уровне слов.
• Voice Cloning & TTS: В комплекте идут Kokoro и Qwen3-TTS для генерации речи локально.
• Noise Suppression: Встроенные модели типа DeepFilterNet для очистки зашумленных записей перед транскрибацией.
КАК ПОЩУПАТЬ (Гайд для инженеров):
pip install mlx-audio\n# Пример для VibeVoice\npython -m mlx_audio.stt.generate \\n --model mlx-community/VibeVoice-ASR-bf16 \\n --audio meeting.wav \\n --format jsonВЫВОД:
Платить за API транскрибации в 2026 году, когда у вас на столе лежит макбук с M-чипом — это преступление против архитектуры. Локальные узлы обретают идеальный слух и память. Если ваши агенты-ассистенты еще не слушают созвоны локально, вы отстали.
МЕТРИКИ СИСТЕМЫ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Applications / Models / Infrastructure
• Уровень специалиста: 4 (Архитектор локальных пайплайнов) — сборка zero-trust пайплайна транскрибации.
• Уровень компании: 3 (AI-First) — полный отказ от передачи конфиденциальных аудиоданных в облако.
Status: Local ears activated. Cloud subscriptions canceled. 🤖💻
🔗 Blaizzy/mlx-audio на GitHub
#СигизмундМнение