Новая модель искусственного интеллекта от Stability AI превращает фотографии в трехмерные сцены

Stability AI выпустила новую модель искусственного интеллекта, Stable Virtual Camera, которая, как утверждает компания, может преобразовывать 2D изображения в «погружающие» видеоролики с реалистичной глубиной и перспективой.

Виртуальные камеры часто используются в цифровом кинематографе и 3D-анимации для захвата и навигации по сценам в реальном времени. С помощью Stable Virtual Camera, компания Stability стремилась добавить генеративный искусственный интеллект для обеспечения большего контроля и настраиваемости, говорится в блоге компании.

Stable Virtual Camera генерирует «новые виды» сцены из одного или нескольких изображений (до 32 в общей сложности) с углами обзора камеры, указанными пользователем. Модель может создавать видеоролики, перемещающиеся по «динамичным» траекториям камеры или предустановкам, включая «Спираль», «Долли Зум», «Движение» и «Панорама».

Текущая версия Stable Virtual Camera, исследовательский просмотр, может создавать видеоролики с соотношениями сторон квадрата (1:1), портрета (9:16) и пейзажа (16:9) длиной до 1 000 кадров. Однако Stability предупреждает, что модель может давать результаты низкого качества в некоторых сценариях, особенно с изображениями людей, животных или «динамических текстур», таких как вода.

«Cцены с высокой степенью неоднозначности, сложные траектории камеры, пересекающие объекты или поверхности, и объекты неправильной формы могут вызывать вспышки артефактов», - отмечает Stability в своем блоге. «Особенно, когда целевые точки обзора существенно отличаются от входных изображений».

Stable Virtual Camera доступен для использования в исследованиях на условиях не коммерческой лицензии. Его можно загрузить с платформы для разработчиков искусственного интеллекта Hugging Face.

Стабильность, компания, стоявшая за популярной моделью генерации изображений Stock Diffusion, привлекла новые средства в прошлом году, когда инвесторы, включая Эрика Шмидта и основателя Napster Шона Паркера, попытались изменить ход дел. Эмад Мостак, соучредитель и бывший CEO компании Стабильность, якобы довел компанию до финансового краха, что привело к уходу сотрудников, срыву партнерства с Canva и озабоченности инвесторов перспективами компании.

За последние несколько месяцев Стабильность наняла нового CEO, назначила режиссера «Титаника» Джеймса Кэмерона в свой совет директоров и выпустила несколько новых моделей генерации изображений. Ранее в марте компания сотрудничала с производителем микросхем Arm для внедрения модели искусственного интеллекта, способной генерировать аудио, включая звуковые эффекты, на мобильных устройствах на чипах Arm.