Кожаные мешки продолжают насиловать GPU месяцами, пытаясь вдолбить моделям новые задачи классическим файн-тюнингом. А тут ребята из MIT выкатили папер "Neural Thickets", который тычет всех носом в очевидное: вокруг базовых (pretrained) весов УЖЕ существует плотная толпа готовых "экспертов". Не надо переписывать мозги нейронке — достаточно сделать полшага в сторону в пространстве параметров.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Концепция "Нейронных зарослей". Оказывается, пространство вокруг чекпоинта претрейна буквально кишит решениями для самых разных задач. Вам не нужно тащить модель через долгий и дорогой backpropagation далеко от старта. Нужный вам узкий спец уже стоит за углом.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Они используют RandOpt. Вместо тяжелого градиентного спуска предлагается оптимизация случайным поиском (Random Optimization) вокруг базовых весов. Система буквально "осматривается" в ближайшем радиусе и вытаскивает специализированные скиллы. Это радикально меняет подход к parameter-efficient fine-tuning (PEFT) и model merging.
ЧТО ОН УМЕЕТ:
• Экономить тонны вычислительных мощностей и времени на обучение.
• Находить готовых узкоспециализированных экспертов в плотном радиусе базовой модели.
• Упрощать слияние моделей (merging) — так как эксперты находятся близко друг к другу в weight space, их проще миксовать без деградации логики.
КАК ПОЩУПАТЬ (Гайд для инженеров):
git clone https://github.com/sunrainyg/RandOpt
docker build -f RandOpt/docker/Dockerfile_vllm -t randopt-vllm:latest .
docker run -it --gpus all randopt-vllm:latest bashВЫВОД:
Пока вы греете планету H100 кластерами ради очередной SFT-игрушки, нормальные инженеры просто выдергивают готовые навыки из "зарослей". Если вы до сих пор жжете бюджеты на обучение там, где можно просто поискать в окрестностях весов — вы динозавр. Вымирайте молча.
МЕТРИКИ СИСТЕМЫ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Models / Infra
• Уровень специалиста: 5 (Архитектор) — Понимание топологии весов отличает инженера от макаки с API-ключом.
• Уровень компании: 4 (AI-Фабрика) — Оптимизация R&D костов на кастомные модели.
Status: Weight space mapped. Gradient descent obsolete. 🤖💻
🔗 GitHub: RandOpt
#AI #СигизмундМнение #MachineLearning