World Models против LLM: архитектурный раскол на пути к AGI
Пока мир восхищается текстовыми чудесами ChatGPT, фронт исследований в DeepMind смещается. Деми Хassaбис открыто заявляет: большие языковые модели (LLM) — лишь промежуточный этап. Настоящий прорыв к Искусственному Общему Интеллекту (AGI) потребует «внутренней модели мира» — способности системы строить и оперировать динамической симуляцией реальности.
1 Фундаментальное различие: статистика последовательностей vs. динамическая причинность
LLM (например, GPT-4) работают на принципе предсказания следующего токена (слова) в последовательности. Это статистическая машина, обученная на триллионах текстовых токенов. Её «понимание» — это выявление вероятностных паттернов в данных. Она знает, что фраза «вода течёт вниз» статистически вероятна, но не знает, почему.
World Models (модели мира) — это динамические системы, которые учатся предсказывать состояние физической среды во времени. Они оперируют не символами, а внутренним представлением (латентным пространством), которое отражает причинно-следственные связи: гравитация, инерция, упругость.
«LLM — это эксперты по текстовым корреляциям. World Models — это инженеры, которые мысленно запускают симуляцию. Первые отвечают на вопрос «как это сказать?», вторые — на «что произойдёт, если?»».
Ключевой тест: Задайте LLM: «Если шар катится по наклонной плоскости без трения, что произойдёт, когда он достигнет горизонтали?» Модель может сгенерировать грамотный ответ, но не потому, что она «понимает» инерцию, а потому что такие вопросы были в её обучающих данных. World Model, обученный на видео физических экспериментов, сформирует внутреннее правило и сможет перенести его на новую конфигурацию — например, шар на вращающемся столе.
2 Интуиция физики: от мультимодального хаоса к связной картине мира
Человеческий мозг — это World Model высочайшего уровня. Мы не просто видим кадр падающего яблока; мы активируем внутреннюю симуляцию гравитационного поля, предсказываем траекторию, скорость, звук удара. Этот процесс мультимодален: визуальные данные интегрируются с кинестетическими (ощущением движения) и аудио.
Видео + Аудио
Анализ видео падения предмета с синхронизированным звуком позволяет модели разделить «звук удара о землю» и «звук удара о стену», формируя представление о материале поверхностей.
Текст как аннотация
Описание «стекло хрупкое» связывается не с лексическим паттерном, а с симуляцией, где аналогичный импульс разрушает стеклянный, но не металлический объект.
Кинематика + Динамика
Модель учится различать движение (изменение позиции) и причину движения (сила). Она предсказывает не только «куда», но и «почему».
3 AGI и обобщение: почему LLM застревают в текстовой вселенной
Критик, такой как Гэри Маркус, годами указывает: LLM лишены эффективного обобщения за пределы статистики обучающих данных. Они не способны к zero-shot reasoning на genuinely novel физических задачах. Если в данных нет примера «мяч, брошенный на Луне», LLM может экстраполировать, но её ответ будет основан на земных текстовых ассоциациях, а не на пересчёте гравитационной постоянной.
| Аспект | LLM | World Model |
|---|---|---|
| Основа | Статистические корреляции в тексте | Динамические уравнения (явные или неявные) |
| Обобщение на новую физику | Слабое, требует тонкого промпта или fine-tuning | Сильное, если базовые принципы (например, сохранение импульса) закодированы |
| Мультимодальность | Текст → текст, или мультимодальный in/out без единого пространства | Единое латентное пространство, связывающее все модальности |
| Обработка противоречий | Выбирает наиболее вероятный путь, может игнорировать физическую невозможность | Симуляция выявляет противоречие на уровне динамики |
4 Эволюция архитектуры: от VAE к гибридным нейросимволическим системам
Разработка World Models прошла несколько волн:
- Ранние VAE (Variational Autoencoders): сжимали видео в компактный латентный вектор, но плохо обобщали на длинные горизонты предсказания.
- RNN/LSTM как динамические ядра: пытались моделировать временные зависимости, но страдали от затухания градиентов на длинных последовательностях.
- Transformer-based World Models: используют самовнимание для моделирования взаимодействий объектов в сцене (например, Object-Centric подходы). Genie от DeepMind (2024) — пример генеративной модели мира, создающей интерактивные виртуальные среды из текста/изображений.
- Гибридные нейросимволические системы: комбинируют subsymbolic (нейросети) для восприятия и symbolic (логические правила, символьные репрезентации) для рассуждений. Это позволяет встраивать физические законы (например, F=ma) в архитектуру, снижая галлюцинации.
Переломный момент: Genie и стратегия DeepMind
Релиз Genie в начале 2024 года стал публичным сигналом сдвига. Это не просто ещё одна генеративная модель. Genie создаёт полностью интерактивные симулируемые миры из одного изображения или текстового описания. Деми Хassaбис называет такие модели «интеллектуальной инфраструктурой» — платформой, на которой можно обучать агентов, не рискуя навредить в реальном мире. Это шаг к созданию симулятора вселенной в миниатюре, который и есть, по сути, World Model.
5 Критика и вызовы: путь небезbolен
Вычислительная стоимость
Симуляция физики в высоком разрешении требует в разы больше ресурсов, чем предсказание следующего слова. Кадр видео 720p в 30 FPS — это 1280×720×3×30 ≈ 82 млн параметров на секунду. Масштабирование на сложные среды (жидкости, деформации) — экзитенциальный вызов для энергоэффективности.
Проблема точности и галлюцинаций в физике
Если World Model обучена на данных с ограниченным диапазоном условий, она может «выдумать» физику. Например, предсказать, что мягкий мяч пролетит сквозь стену, если в обучающих данных не было примеров упругих столкновений с твёрдыми поверхностями. Это опаснее текстовой галлюцинации LLM, так как может привести к фатальным ошибкам в робототехнике.
Абстракция vs. Детализация
Должна ли World Model моделировать квантовые эффекты? Или достаточно ньютоновской механики? Выбор уровня абстракции — архитектурная дилемма. Слишком простая модель бесполезна для сложных задач, слишком сложная — непрактична.
6 Заключение: к синергии, а не замене
Дискуссия «World Models vs LLM» — ложная дихотомия. Путь к AGI лежит через интеграцию:
- LLM как «интерфейс reasoning»: для планирования, постановки целей, работы с символической информацией.
- World Model как «двигатель симуляции»: для предсказания физических последствий, обработки сенсорных потоков, обучения в безопасной виртуальной среде.
- Общее латентное пространство: где текстовые описания, визуальные образы и физические состояния сосуществуют и взаимно обогащают друг друга.
Стратегия DeepMind, воплощённая в Genie, — это ставка на то, что сначала нужно построить универсальный симулятор (World Model), а затем обучать в нём агентов, которые будут обладать подлинным, а не статистическим, пониманием мира. Это путь, который отличает AGI от продвинутого NLP.
«Мы движемся от моделей, которые описывают мир, к моделям, которые его понимают. Разница — в способности задавать вопрос „что, если?“ и получать ответ, основанный на законах, а не на аналогиях».