Языковая модель не знает, что такое «живо». У неё нет жизненного опыта, нет молодости, нет похорон, нет первой любви, нет похмелья. У неё есть распределение вероятностей над последовательностями токенов, выученное на корпусе размером с интернет.
Когда вы пишете «напиши пост про лидерство», вы открываете перед моделью
пустую комнату. Огромную, ничем не заполненную тему, которую она должна укладывать в текст. И в этой пустоте включается базовая механика авторегрессионной генерации: при низкоэнтропийном контексте модель сваливается в high-probability шаблоны. То есть в самые статистически частые конструкции, которые в её обучающем корпусе встречались миллион раз.
У этого явления есть технический термин —
mode collapse. Команда Hannah Kirk показала это эмпирически ещё в 2024 году на ICLR: RLHF систематически снижает разнообразие выходов, и это происходит
вне зависимости от входа. Модель сваливается в узкий стиль даже при разных задачах. Авторы прямо пишут: «
Творческая способность LLM уменьшается после alignment».
Свежая работа октября 2025 — «
Verbalized Sampling» — пошла дальше и нашла причину. Mode collapse сидит
в самих данных предпочтений. У людей-разметчиков есть
typicality bias: они предпочитают предсказуемое, гладкое, знакомое. Это эволюционная штука — мозг любит беглость, потому что беглость = безопасность. Разметчики выбирают «гладко», RLHF это усиливает, гладкость цементируется в весах. Я уже разбирал ровно эту механику применительно к лести в [«
Вы натренировали ChatGPT вам врать»]. Здесь то же самое, только вместо подхалимства цементируется риторический шаблон.
Когда вы пишете «пиши живо», происходит вот что. Модель добавляет в выход статистически правдоподобные
маркеры живости: восклицание здесь, вопрос там, личное местоимение, метафора уровня «это как...». И эти маркеры сами становятся новым пластиком, потому что они тоже — high-probability шаблоны для запроса «
пиши живо». Вы не вышли из mode collapse. Вы просто переехали в его другой регион.