Трехмерная магия в iOS 27: как новые технологии Apple изменят мобильную фотографию

В грядущем обновлении операционной системы iOS 27 появится революционный режим редактирования фотографий, напоминающий технологии из фантастических фильмов. Обычный плоский снимок легким движением превращается в интерактивную трехмерную сцену. Пользователь сможет изменять угол обзора, превращая фото в 3D-объект, при этом искусственный интеллект будет автоматически дорисовывать окружающее пространство при изменении ракурса.

Шаг к созданию сканируемых миров

В основе этих трехмерных эффектов лежит технология субпиксельного рендеринга облака точек, известная как Gaussian splatting (гауссово разбрызгивание). С помощью этой нейросетевой модели Apple создает реалистичные цифровые аватары Persona для гарнитуры Vision Pro и значительно повышает детализацию трехмерных карт Apple Maps. Данный алгоритм позволяет превращать обычные плоские объекты, панорамы и видеоролики в полноценные цифровые миры, по которым можно виртуально прогуливаться.

Сторонние приложения для Vision Pro уже используют эту технологию для оцифровки целых городских кварталов. Аналогичные решения применяются и в гарнитурах Quest от компании Meta*, которые позволяют сканировать помещения и создавать точные трехмерные копии комнат для виртуальных прогулок.

По мнению специалистов, подобные алгоритмы определяют будущее фотографии, видеографии и способов сохранения воспоминаний. Apple внедряет Gaussian splatting постепенно. На конференции разработчиков WWDC компания продемонстрировала работу технологии в нескольких направлениях:

• Пространственное кадрирование (Spatial Reframing) на смартфонах под управлением iOS.
• Инструмент для конвертации панорамных снимков на Vision Pro, превращающий обычные панорамы в интерактивное 3D-окружение.
• Обновленный режим трехмерных карт Apple Maps.

Сборка единого технологического пазла

Как сообщают источники, близкие к разработчикам Apple, изначально технология Gaussian splatting использовалась для создания цифровых аватаров. В iOS 27 и visionOS 27 эти алгоритмы получили новое применение. Пространственное кадрирование работает как интерактивная версия трехмерных сцен: пользователь может наклонять смартфон или двигать головой в шлеме, чтобы рассмотреть скрытые детали. Однако у технологии пока есть ограничения — она не позволяет полноценно заходить внутрь кадра, а лишь достраивает с помощью ИИ небольшой диапазон углов обзора за пределами исходного фокуса.

Тем не менее, возможность зафиксировать новый ракурс и сохранить его в качестве итогового снимка выводит мобильную фотографию на новый уровень свободы. В индустрии ожидают, что следующим шагом Apple станет объединение нескольких фотографий одного и того же места в единую трехмерную сцену, по которой можно будет перемещаться. Новый инструмент конвертации панорам в visionOS 27 уже вплотную приблизился к этой концепции, создавая эффект полного присутствия вокруг пользователя.

Для массового внедрения подобных технологий рынку необходимы более доступные устройства виртуальной реальности. На данный момент премиальная гарнитура Vision Pro продается по цене 3500 долларов (около 320 тысяч рублей по курсу) и способна сканировать помещения силами стандартных приложений, однако для большинства потребителей этот гаджет остается нишевым продуктом. Ожидается, что в будущем как мобильные камеры iPhone, так и новые носимые устройства Apple сделают иммерсивный контент стандартом повседневной съемки.

* — деятельность компании запрещена на территории РФ