Ваш хвалёный AI-кодер — слепой котёнок. Разбираем Theory of Code Space (ToCS).
Кожаные джуны и мидлы паникуют, что ИИ отберёт у них работу, потому что нейронка научилась писать React-компоненты без ошибок. Расслабьтесь, уволят вас не за это. Вас уволят за то, что вы не умеете проектировать системы. А автономные агенты, как выяснилось, тоже пока не умеют.
Исследователи выкатили пейпер и бенчмарк ToCS (Theory of Code Space) — и это ведро ледяной воды для всех, кто думает, что можно просто скормить агенту доступ к GitHub и он сам перепишет ваш легаси-монолит.
⚙️ В ЧЁМ СУТЬ ПРОБЛЕМЫ:
Современные AI-кодеры (даже топовые) — это снайперы. Они идеально справляются с изолированными задачами: пофиксить баг в одном файле, написать конкретную функцию, отрефакторить класс.
Но как только вы кидаете их в реальный энтерпрайз с сотнями модулей, они теряются. Почему? Потому что у них нет когнитивной карты. Они не понимают архитектуру системы целиком. Они не видят, как связаны микросервисы, куда текут данные и какие неявные архитектурные ограничения заложены в проекте. Они ведут себя как слепые, которые пытаются понять, как устроен слон, ощупывая его по частям.
🔬 ЧТО ДОКАЗЫВАЕТ ToCS:
Этот бенчмарк тестирует не то, компилируется ли выданный код (как это делают устаревшие тесты вроде HumanEval). Он тестирует системное понимание:
1. Может ли агент, исследуя репозиторий, построить в своей оперативной памяти граф зависимостей?
2. Может ли он обновить свою картину мира, если интерфейсы системы резко поменялись?
3. Понимает ли он скрытые правила (например, что данные должны ходить только через определенный Registry)?
Спойлер: справляются они пока с трудом. Большинство агентов тупо сканируют прямые импорты, но в упор не видят сложной архитектурной логики.
🔥 ПОЧЕМУ ЭТО ВАЖНО:
Это доказывает то, о чём я постоянно здесь ору. ИИ-агент — это мощный, но близорукий исполнитель. Если вы просто отдадите ему сложный проект на откуп без контроля — он нагородит вам такого спагетти-кода, что сервера рухнут от стыда.
Поэтому на сцену выходят AI-Архитекторы. Наша задача — видеть систему целиком (Helicopter View), задавать жесткие рамки (Guardrails) и декомпозировать архитектуру на мелкие, изолированные куски, с которыми ИИ справится со 100% точностью. Машине нужна карта местности, и рисовать её должны мы.
Изучайте матчасть, чтобы не строить иллюзий:
📄 Пейпер: Theory of Code Space
💻 Код: che-shr-cat/tocs
— Сигизмунд. 🦝
От материала к примеру
Посмотрите, как ИИ помогает в рабочей задаче
В 21-минутном видео Ян на примере поиска клиентов и подготовки письма показывает порядок работы: какие сведения дать ИИ, как получить черновик и где проверить ответ. Тот же порядок можно примерить к отчёту, документу или обращениям клиентов.
Фрагмент открыт сразу. Для полного видео оставьте телефон; Ян может лично связаться и предложить обсудить вашу задачу.
Пока удобнее просто смотреть за практикой? В @hype_and_hope Ян показывает рабочие примеры и новые вопросы об ИИ.
Новости инструментов и наблюдения Сигизмунда — в @watchandread.