Потыкался в Meta SAM 3D*
На прошлой неделе Цукеровские ребята выпустили обновление для своей модели сегментации (SAM). Если коротко, то вы даёте на вход изображение, нейросеть понимает, что на нём изображено и где границы объектов. Очень грубый пример: отделить человека или предмет от заднего фона так, словно вы снимали на фоне хромакея (зеленой стены), но без самой стены. Для обработки фото и видео инструмент уже привычный и используется в медицине, робототехнике, исследовании моря и масках с обводкой для рилсиков.
Теперь появилось версия SAM 3D. Суть в том, что модель теперь пытается не просто вырезать плоский контур, а восстановить геометрию и текстуру объекта в пространстве. Есть версия для любых предметов (SAM 3D Objects) и специализированная модель для людей, умеющая в восстанавление позы и формы тела (SAM 3D Body). Всё в опен-сорсе, можно дообучать и вообще радоваться, особенно имея 32 гигабайта видеопамяти для локального запуска.
Здесь уже потенциал быстрого создания ассетов для XR/геймдева, прикидка товаров с плоских карточек маркетплейсов в реальном мире и…подготовка моделей под 3D-печать с одной фотографии.
К сожалению, есть нюанс с форматами. Покрутил бесплатный плейграунд и полистал официальные ноутбуки из репозитория на Github. Получить чистый меш (твердотельную полигональную сетку) сходу не удалось. Несмотря на то, что в самом пейпере меш декодер упоминается и результаты сравниваются с другими генераторами, текущий инференс для объектов отдаёт Gaussian Splats (сплэты) в *.ply.
Визуально это выглядит объемно и красиво, даже пойдёт для метавёрсов со скрипом. Но слайсер принтера такое облако точек не поймёт. А у меня изначальная ночная идея с приложений к посту была как раз про распечатать колокольню в Слободском. Стоит, конечно, попробовать реализовывать через костыли, например конвертировать сплэты сторонним софтом (Kiri Engine) или попробовать фото воссозданных проекций скормить рабочему и классному Хуньяню.
Либо ждать обновлений, либо тыкните, где я пропустил.
*Meta всё ещё признана экстремисткой в России
t.me/staniverse/921* · 25 ноя 2025*
