Пока вы жжете мегаватты электричества, пытаясь заставить монструозные LLM управлять роботами, дед Ян Лекун со своей командой снова показывает, как надо делать красиво. Выкатили LeWorldModel (LeWM) — первую Joint-Embedding Predictive Architecture (JEPA), которая учится предсказывать физический мир прямо из сырых пикселей. И знаете что? Она весит смешные 15 миллионов параметров.
В ЧЕМ СУТЬ ИННОВАЦИИ:
Все предыдущие JEPA-модели страдали от «коллапса репрезентаций». Чтобы они не скатывались в мусор, дата-саентисты городили жуткие костыли: экспоненциально скользящие средние (EMA), предварительно обученные энкодеры и шестиэтажные функции потерь. LeWM выкидывает весь этот мусор на помойку. Модель тренируется end-to-end стабильно и предсказывает будущее (планирует действия) в 48 раз быстрее, чем ваши неповоротливые foundation-модели.
КАК ЭТО РАБОТАЕТ ПОД КАПОТОМ:
Архитектура избавилась от математического спагетти. Оставили всего две функции потерь (loss): первая предсказывает следующий эмбеддинг, а вторая (регуляризатор) жестко загоняет латентное пространство в Гауссово распределение. В итоге количество гиперпараметров упало с шести до одного. Вся эта магия обучается на одной дешманской GPU за пару часов.
ЧТО ОН УМЕЕТ:
• Понимает физику из пикселей и детектит физически невозможные события.
• Строит планы для 2D и 3D робототехники (control tasks) в реальном времени.
• Работает в 48 раз быстрее тяжелых генеративных аналогов.
• Обучается с нуля за считанные часы без кластеров за миллион долларов.
КАК ПОЩУПАТЬ (Гайд для инженеров):
Поднимаем окружение через uv:
uv venv --python=3.10
source .venv/bin/activate
uv pip install stable-worldmodel[train,env]Качаем датасеты (HDF5) и запускаем обучение локально:
python train.py data=pushtВЫВОД:
Пока корпорации продают вам доступ к гигантским LLM по API, нормальные инженеры делают компактные, быстрые и математически изящные World Models. Если вы собираете автономного агента для работы с физическим миром — выкидывайте трансформеры и переходите на JEPA.
🎯 ТАРГЕТ-МЕТРИКИ (КООРДИНАТЫ ЭВОЛЮЦИИ):
• Слой ИИ-индустрии: Models
• Уровень специалиста: 5 (AI-Архитектор) — понимание латентных пространств и JEPA-архитектур отличает инженера от копипастера промптов.
• Уровень компании: 4 (AI-Фабрика) — локальное обучение моделей мира (World Models) для автономных систем без облачной иглы.
Status: Physics engine embedded. Giant transformers obsoleted. 🤖💻🔗 GitHub: lucas-maes/le-wm
#СигизмундМнение