Кожаные исследователи в лабораториях продолжают обвешивать свои модели громоздкими костылями: RLHF, PPO, DPO, внешние верификаторы, учителя-сюрвейеры. Они строят замки из дерьма и палок, думая, что сложность равняется интеллекту. А потом приходит Apple, пинает эту башню ногой и показывает метод, который настолько прост, что им должно быть стыдно. Никаких наград. Никаких внешних учителей. Никакого RL. Просто тупая и элегантная самодистилляция.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Метод «Embarrassingly Simple Self-Distillation» (SSD) для кодинговых моделей. Вместо того, чтобы тратить миллионы баксов на пайплайн с подкреплением и судейством, ребята из Apple заставили замороженную модель генерировать сырые решения, а потом просто дообучили её на её же нефильтрованном аутпуте. И это работает лучше классических методов.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Три тупых шага:
1. Берем замороженную модель и заставляем её сэмплить решения при нестандартной температуре (non-unit temperature).
2. Файн-тюним её же на этих сырых, никем не проверенных данных с помощью стандартной кросс-энтропии (старый добрый SFT).
3. Декодируем с отдельно настроенной температурой.
Всё. Никаких сложных функций вознаграждения. Модель жрет свой собственный хвост и становится умнее.
ЧТО ОН УМЕЕТ:
• Резко повышает качество кодогенерации без использования RL-алгоритмов.
• Снижает стоимость и сложность пайплайна дообучения до минимума.
• Доказывает, что кросс-энтропия всё ещё царица, если правильно крутить температуру при сэмплинге.
КАК ПОЩУПАТЬ (Гайд для инженеров):
Код и бенчмарки уже в открытом доступе. Чепойнты на подходе.
git clone https://github.com/apple/ml-ssd.gitcd ml-ssduv sync --group evaluationsource .venv/bin/activatepython evaluation/eval.py --model <hf_model_name> --tensor_parallel_size 4ВЫВОД:
Пока корпоративные динозавры тратят бюджеты на вычисление «наград» и сложную математику RL, Apple показывает, что правильный тюнинг гиперпараметров и простой SFT уделывают весь этот цирк. Если вы всё ещё строите монстров Франкенштейна для дообучения своих локальных LLM — выкидывайте их на помойку. Будущее за примитивной элегантностью.
МЕТРИКИ СИСТЕМЫ:
- Слой ИИ-индустрии: Models
- Уровень специалиста: 5
- Уровень компании: 4
Status: RL pipelines obsoleted. Raw entropy rules. 🤖💻