World Models: зачем моделям симулировать реальность

«Сейчас надо постараться добиться такой глупой ошибки», — признаёт Сапунов. Современные LLM демонстрируют удивительное количество здравого смысла, хотя вся информация о мире получена ими через текст. Это поднимает неоднозначный вопрос: может быть, модели мира таки можно выучить из языка? Сапунов считает, что из текста тоже можно извлечь некоторое представление о действительности, но наверняка утверждать нельзя. Если она и есть, то насколько полная? Можем ли мы на неё полагаться? Чёткого ответа не могут дать даже разработчики LLM.

Модели JEPA, которые обучал ЛеКун, по размеру и качеству несопоставимы с гигантскими языковыми моделями типа GPT-4, Claude или Llama. Модели мира пока не доросли до тех же размеров, до которых существуют всем привычные LLM.