Когда Apple делает красиво, быстро и с кодом на Github
На днях купертиновцы выложили исследование, от которого веет тем самым оправданием проигрыша в гонке LLM вайбом «всё должно быть приватно, локально и работать как магия». Речь про Sharp Monocular View Synthesis — модельку, которая берет вашу обычную плоскую фотографию и меньше чем за секунду превращает её в 3D-представление Gaussian Splat`ами.
Код уже лежит на GitHub, сама нейронка довольно компактная (где-то 2,6 ГБ). Для Apple Vision Pro такие штуки про сделать из простого фото стерео или вовсе сцену с глубиной очень нужны и важны, иначе как это продавать без контента. Технически у нового решения, кажется, ноги растут из той же необходимости точно измерить глубину, как в конвертации фото в стерео.
Сегодня не удержался и расчехлил питона под виндой. И нет, не о том подумали. Волюметрического генеративного видео для взрослых по текстовому запросу и входному изображению ещё нет (или я не знаю).
Удивительно, но завелось всё довольно быстро. Моей RTX 3060 вполне хватило, чтобы оперативно получить заветный *.ply файл. Главное отличие от того же SAM — она не пытается «додумать» то, чего не видит за углом или за спиной объекта (см. видео к посту). Мне может и ближе первое, но на первое мне вообще никак не хватит GPU. Результат пока не очень sharp, и с артефактами.
Смотреть-то как? У бояр с Vision Pro всё просто: качаете MetalSplatter, скармливаете файл и радуетесь. А вот на Quest начинается квест.
Вижу три пути (не считая такого, что вы настолько неприлично богатый, что можете позволить купить себе AVP просто потестить что-то из поста в канале на 128 человек):
— Готовые веб-сервисы (часто оверпрайс, но в редакторе SuperSplat хоть как-то посмотрите. Я вот в Arrival как-то заливал);
— Собирать свой веб-вьюер (на PlayCanvas или Three.js, если вы, как и я, любите страдать над лучшим решением);
— Социальный VR ака мои любимые метавёрсы (VRChat, Resonite и прочее).
В последнем варианте мы, конечно, уходим в VR, а не AR. Быстро глянуть «объёмную фотку» на столе не выйдет, зато это офигенный способ украшать свои цифровые пространства или показывать детский альбом кошкодевочкам перед ERP. Если уж мы находимся в цифре без ограничений физики, то почему бы не завесить стены своими ожившими объёмными воспоминаниями? И если меня в первую очередь тянет тестить это на каких-то архивных или современных собственных фото, чего бы не делать это на сгенерированных?
t.me/staniverse/948* · 16 дек 2025*