«Это ситуация, когда сны дают по-настоящему погружённый опыт, но его нельзя записать или передать», — сказал Шахбуланд Матиана, сооснователь и руководитель отдела исследований Overworld Labs. Это высказывание отражает основную идею их новой разработки Waypoint 1 — открытой модели симуляции миров, рассчитанной на запуск на бытовых игровых ПК.
В разговоре также участвовал Эндрю Лапп, инженер из Overworld Labs; они обсудили технические новшества и философские основания проекта. Авторы представили Waypoint 1 как шаг к интерактивным, поддающимся совместному использованию переживаниям, сравнимым с яркими снами.
Матиана рассказал о ключевых возможностях Waypoint 1, её гибридной архитектуре и решении выполнять расчёты локально. Команда подчёркивает отличие от облачных моделей вроде Google Genie и делает ставку на работу на доступном железе.
Главное достижение Waypoint 1 — генерация интерактивных миров с плавной частотой около 60 кадров в секунду на сравнительно скромных потребительских платформах, включая графические карты 3070, 4090 и процессоры Apple Silicon. По словам Лаппа, архитектура сочетает причинную языковую модель и модель диффузии изображений: вместо предсказания следующего дискретного токена система удаляет шум для следующих 256 токенов, которые представляют кадр. Генерация зависит от накопленной истории кадров, текстовой подсказки пользователя и входов контроллера в реальном времени, что обеспечивает подлинное взаимодействие.
Команда делает упор на приватность и владение опытом пользователя, вытекающие из требования локального исполнения. Матиана отметил, что такие симуляции являются продолжением внутреннего мироощущения человека, и их локальное выполнение даёт пользователю контроль, недоступный при потоковой обработке в облаке.
Ещё одна особенность проекта — открытая публикация весов модели. Лапп объяснил, что свободный доступ к 2-миллиардной модели ускорит коллективную итерацию и развитие, учитывая быстрые изменения в исследовательской области, когда новые подходы регулярно значительно повышают производительность.
Разговор затронул технические компромиссы, в частности баланс между скоростью и разнообразием при использовании диффузионных моделей. Меньшее число шагов семплирования даёт более быструю генерацию, но часто снижает разнообразие, поэтому команда исследует методы, такие как Distribution Matching Distillation и Rectified Flow Models, для повышения эффективности без потери качества окружений.
Цель Overworld Labs — зафиксировать эфемерный характер внутреннего опыта и перенести его в динамические, управляемые пользователем симуляции. Истоки исследования связаны с живым люцидным сном, который вдохновил команду, и хотя технология пока ранняя, доступность производительных локальных моделей указывает на возможный сдвиг вычислений с облака обратно к пользователю.
Комментариев