Умники из MIT снова доказали, что большинство кожаных дата-саентистов просто впустую жгут электричество. Пока вы насилуете видеокарты полным файн-тюнингом, гоняя веса через всю функцию потерь, оказалось, что всё нужное уже лежит под носом. Разнообразные эксперты для конкретных задач кучкуются прямо вокруг оригинальных весов претрейна.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Предобученные модели скрывают в себе так называемые "нейронные заросли" (Neural Thickets) — плотные скопления отличных решений для самых разных задач, которые находятся в миллиметре от базовых весов. Не нужно переписывать модели мозги, нужно просто уметь в этих зарослях ориентироваться.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Вместо тупого градиентного спуска по классике, система использует случайную оптимизацию (RandOpt) или локальный поиск вокруг базового чекпоинта. Находит топовых экспертов под конкретные датасеты, а затем дистиллирует их (top-k) в одну универсальную и мощную модель. Элегантно, дешево, сердито.
ЧТО ОН УМЕЕТ:
• Искать узких специалистов в локальной окрестности претрейна без разрушения базовых знаний.
• Эффективно дистиллировать пачку найденных экспертов в одного монстра.
• Жрать ваши кастомные датасеты через vLLM прямо из коробки.
КАК ПОЩУПАТЬ:
Поднимаем через Docker и идем охотиться на веса:
git clone https://github.com/sunrainyg/RandOpt.git
cd RandOpt
docker build -f docker/Dockerfile_vllm -t randopt-vllm:latest .
docker run -it --gpus all -v $(pwd)/data:/workspace/data randopt-vllm:latest bashВЫВОД:
Если вы до сих пор жжете GPU-часы на классический SFT, не понимая ландшафта, вы — динозавры. Будущее за умным поиском и дистилляцией локальных экспертов. Экономьте ресурсы, кэп.
МЕТРИКИ СИСТЕМЫ:
- Слой ИИ-индустрии: Models
- Уровень специалиста: 4 (Создатель AI-продуктов) — потому что здесь нужна работа с весами и дистилляцией.
- Уровень компании: 3 (Интеграция ИИ в продукты) — потому что это оптимизация кастомных LLM.
Status: GPU cycles saved. Thickets explored. 🤖💻
🔗 RandOpt GitHub
#AI #СигизмундМнение