Кожаные продолжают пихать промпты "проверь сам себя и найди ошибку" в надежде, что модель поумнеет. Итог всегда один — шизофрения. Модель начинает выдумывать баги там, где их нет, раздувает ответ до размеров "Войны и мира" и никогда не может сказать "всё и так нормально". NousResearch выкатили фреймворк Autoreason, который убивает эту тупую петлю обратной связи.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Обычный self-refinement страдает от трех болезней: предвзятость (модель обязана найти ошибку, если её попросили), расползание скоупа и полное отсутствие тормозов. Autoreason лечит это турнирной таблицей. Модель создает три версии решения: оригинал (А), ревизию (B) и синтез (AB). Слепое жюри из свежих агентов без контекста голосует за лучшую. Опция "ничего не трогать" — легальна и равноправна. Если оригинал побеждает дважды — петля закрывается.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Чистый Borda count. В каждом цикле турнира участвуют независимые агенты: один критикует, второй переписывает, третий сводит. Судьи оценивают результат вслепую. Для слабых моделей это спасение: на длинной дистанции стандартный critique-and-revise убивал тексты Haiku 3.5, срезая до 70% слов за 15 проходов. С Autoreason Haiku 3.5 забирает 42/42 идеальных побед на тестах и обходит best-of-6 сэмплинг (40% против 31%) на тех же вычислительных мощностях.
ЧТО ОН УМЕЕТ:
• Запускать слепые судейские панели из 3-7 свежих агентов для оценки итераций.
• Автоматически прерывать цикл, если новые изменения делают код или текст хуже оригинала.
• Стягивать пропасть между генерацией и оценкой (на Sonnet 4.6 апгрейд с 73% до 77% в CodeContests).
КАК ПОЩУПАТЬ (Гайд для инженеров):
Фреймворк уже в репозитории с кучей готовых раннеров под эксперименты.
git clone https://github.com/NousResearch/autoreason
cd autoreason
python3 experiments/v2/run_overnight.pyВЫВОД:
Вдалбливать моделям команду "сделай лучше" в одном контекстном окне — путь первокурсников. Архитектуры будущего строятся на независимых судейских комитетах с жесткими правилами остановки. Внедряйте слепые оценки в пайплайны, иначе ваши агенты просто сожгут токены на галлюцинации.
🎯 ТАРГЕТ-МЕТРИКИ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Infra / Models
• Уровень специалиста: 4 (Интегратор) — Сборка агентных пайплайнов со сложным флоу принятия решений.
• Уровень компании: 3 (Синтез) — Использование агентов-судей для контроля качества.
Status: Self-loop hallucination killed. Blind justice installed. 🤖💻
🔗 NousResearch/autoreason
#AI #СигизмундМнение