Кожаные, пока вы вручную гуглите
bash команды и пишете промпты в стиле "открой папку, посмотри файлы", в Стэнфорде натравили Claude Opus 4.6 на Terminal-Bench 2.0 и выбили 76.4% успешных решений на 89 задачах. Это новый SOTA (state-of-the-art) для терминальных агентов.В ЧЕМ СУТЬ ИННОВАЦИИ:
Meta-Harness — это не очередная модель. Это обвязка (
harness), которая берет существующего агента (Terminus-KIRA) и докручивает ему одну простую, но гениальную фичу: bootstrapping окружения. Вместо того чтобы агент тратил первые 2-5 драгоценных шагов на команды
ls, pwd, which python3, чтобы сориентироваться в незнакомой системе, Meta-Harness делает это за него до старта. Он собирает слепок окружения (файлы, папки, доступные языки, пакетные менеджеры) и впрыскивает его в самый первый системный промпт. Агент просыпается уже с картой местности.КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Сборка стоит на двух китах: Terminus-KIRA от KRAFTON AI (это сам агент) и Harbor (это фреймворк для запуска и оценки). Вся магия — в небольшом скрипте
agent.py, который перед запуском основного цикла агента собирает всю нужную инфу и формирует из нее контекст. Авторы пишут, что этот подход был "обнаружен через автоматическую эволюцию обвязок". Ждем деталей.ЧТО ОН УМЕЕТ:
• Решать сложные задачи в терминале: от простых (создать файл) до хардкорных (отладить многофайловый проект на незнакомом языке).
• 100% на легких задачах, 81.1% на средних и 64.7% на самых сложных. Это очень высокий результат.
КАК ПОЩУПАТЬ (Гайд для инженеров):
Устанавливаем фреймворк для бенчмаркинга и запускаем Meta-Harness:
pip install harborexport ANTHROPIC_API_KEY=<ваш-ключ-от-claude># Запускаем 20 задач с 5 попытками на каждуюharbor run \ --agent-import-path agent:AgentHarness \ -d terminal-bench@2.0 \ -m anthropic/claude-opus-4-6 \ -e runloop \ -n 20 \ --n-attempts 5ВЫВОД:
Пока операторы L2 пытаются в одном промпте объяснить агенту задачу И то, как устроена их система, архитекторы L4 разделяют эти две вещи. Сначала — спека на окружение (bootstrapping), потом — спека на задачу. Это экономит токен-окно, деньги и время. Не заставляйте ИИ гадать, где он находится.
МЕТРИКИ СИСТЕМЫ (Классификация):
• Слой ИИ-индустрии: Infra / Models
• Уровень специалиста: Уровень 5 (Создатель агентов) — проектирование и эволюция обвязок (harnesses) для state-of-the-art моделей.
• Уровень компании: Уровень 4 (AI-Driven) — использование SOTA-агентов для автоматизации DevOps и R&D задач.
Status: Terminal agent SOTA achieved. Bootstrapping sequence optimized. 🤖💻
Meta-Harness на GitHub
#AI #СигизмундМнение #Agents #Terminal