Сканирование телефоном через Luma AI перестало быть экспериментом: снимаете предмет по кругу, через несколько минут получаете модель. Вопрос в том, что с ней делать дальше, потому что в работу она в исходном виде не годится почти никогда.
Ниже разбор того, как снимать, чтобы результат был приличным, что именно приходится править и где предел у этого способа.
Как это работает
Коротко о механизме, потому что от него зависят требования к съёмке.
Вы снимаете объект с разных сторон. Алгоритм находит одинаковые точки на разных кадрах, вычисляет положение камеры в каждый момент и восстанавливает трёхмерную форму.
Современные сервисы используют подход, основанный на обучении: вместо явного построения геометрии они восстанавливают, как сцена выглядит с любой точки, и уже из этого получают модель.
Практическое следствие: алгоритму нужны узнаваемые точки на поверхности. Однотонный гладкий предмет он не соберёт, потому что не за что зацепиться.
Что сканируется хорошо
Предметы, на которых способ работает уверенно.
Матовые поверхности с фактурой: камень, кора, кирпич, ткань, старая краска, дерево.
Объекты среднего размера: от кулака до автомобиля. Меньше сложно снять со всех сторон, больше требует слишком много кадров.
Объекты со сложной неповторяющейся формой: скульптура, руины, коряга, рельеф.
Всё, где важна общая форма, а не точные размеры.
Что не сканируется
Честный список ограничений.
Блестящее и зеркальное. Отражение меняется при движении камеры, и алгоритм видит противоречивую картину.
Прозрачное. Стекло и вода не имеют поверхности, которую можно зафиксировать.
Однотонное гладкое. Белая стена, крашеный пластик, ровная керамика. Не за что зацепиться.
Тонкое. Провода, листья, ветки, сетка. Получается каша.
Движущееся. Включая листву на ветру и людей.
Внутренние полости. Туда камера не заглянет.
Отдельно: тёмные объекты. Они сканируются, но с большим шумом.
Как снимать
Правила, определяющие качество больше, чем выбор сервиса.
Обходить по кругу с перекрытием. Каждый следующий кадр должен перекрывать предыдущий больше чем наполовину.
Три высоты. Круг снизу, круг на уровне объекта, круг сверху. Одного круга недостаточно.
Ровный рассеянный свет. Пасмурный день идеален. Солнце даёт резкие тени, которые запекутся в текстуру.
Не двигать объект. Двигается камера, а не предмет.
Фон с фактурой. Алгоритм цепляется и за окружение, и однотонный пол ему мешает.
Медленно. Смазанные кадры портят результат сильнее, чем их нехватка.
Сколько кадров
Практический ориентир.
Для небольшого предмета достаточно нескольких десятков кадров при трёх высотах обхода.
Для сложной формы с выемками и поднутрениями кадров нужно заметно больше, и снимать надо специально эти места.
Больше не всегда лучше: избыточные кадры увеличивают время обработки, а качество растёт не пропорционально.
Что важнее количества: равномерность покрытия. Двести кадров с одной стороны хуже пятидесяти вокруг.
Что приходит на выходе
Реалистичные ожидания.
Геометрия: плотная неравномерная сетка из треугольников. Топология непригодна ни для анимации, ни для дальнейшего моделирования.
Текстура: запечённая вместе с освещением. Тени и блики вшиты в цвет.
Масштаб: произвольный, если не задан эталон.
Мусор: фон, пол, случайные объекты, попавшие в кадр.
Дыры: там, куда камера не заглянула, обычно снизу.
Ни один из пунктов не делает скан бесполезным, но все требуют работы.
Первый шаг: чистка
С чего начинается обработка.
Убрать всё лишнее: пол, фон, случайные куски. Это делается грубым выделением и удалением.
Закрыть дыры. Автоматические инструменты справляются с мелкими, крупные приходится латать вручную или пересканировать.
Убрать выбросы: одиночные точки и куски, висящие в воздухе.
Приемы автоматической починки разобраны в материале про починку сетки.
Второй шаг: упрощение
Превращение скана в рабочую модель.
Исходная сетка избыточна: миллионы треугольников там, где хватило бы тысяч.
Два пути. Автоматическое упрощение: быстро, топология остаётся треугольной и неупорядоченной, но для статичного объекта это приемлемо.
Ретопология: медленно, зато получается чистая сетка, пригодная для дальнейшей работы. Для важных объектов оправдано.
Промежуточный вариант: автоматическая ретопология в четырёхугольники. Качество среднее, скорость высокая.
Разбор подходов есть в материале про ретопологию.
Третий шаг: текстуры
Самая трудоёмкая часть.
Проблема в том, что освещение запечено в текстуру. Скан с тенью от солнца будет выглядеть освещённым солнцем в любой сцене.
Что с этим делают. Снимают в ровном рассеянном свете, чтобы запекать было почти нечего. Убирают тени и блики обработкой изображения. Используют инструменты, оценивающие и снимающие освещение автоматически.
Полностью избавиться от запечённого света сложно, и это главное ограничение метода для производственного использования.
Отдельная задача: перенести текстуру с исходной плотной сетки на упрощённую. Делается запеканием.
Масштаб и точность
Вопрос, важный для технических задач.
Скан приходит в произвольном масштабе: алгоритм не знает реальных размеров.
Решение: положить в кадр предмет известной длины, линейку или напечатанную метку. Потом по нему выставить масштаб.
Точность при этом всё равно невысокая: это не измерительный инструмент. Для формы годится, для изготовления детали по размерам нет.
Для точных задач существуют специальные сканеры, и разница с телефоном принципиальная.
Сервисы и их различия
Без привязки к названиям, потому что они меняются.
Облачные сервисы: съёмка в приложении, обработка на их серверах, результат через несколько минут. Проще всего, но зависит от связи и подписки.
Локальная обработка: съёмка телефоном, обработка на своём компьютере. Медленнее и требует мощной машины, зато без ограничений по числу сканов и без выгрузки данных наружу.
На что смотреть при выборе. Какие форматы отдаёт и отдаёт ли текстуры отдельно. Есть ли ограничение по числу сканов на бесплатном тарифе. Какие права на результат по условиям сервиса.
Последний пункт важен для коммерческой работы: часть сервисов оставляет за собой права на загруженное. Разбор темы есть в материале про права на модели из нейросети.
Где это применяют на практике
Задачи с реальной отдачей.
Реквизит и окружение: камни, стены, обломки, мебель для сцены.
Референс: скан как основа, по которой моделируется чистая версия.
Библиотека своих ассетов: снятые вами объекты уникальны и не встретятся в чужих работах.
Сохранение: зафиксировать объект, который может измениться или исчезнуть.
Быстрая заготовка под доработку: форма есть, дальше руками.
Сканирование помещений
Отдельная задача с другими правилами.
Комната или фасад снимаются иначе, чем предмет: вы находитесь внутри сцены, а не обходите её снаружи.
Что меняется. Двигаться надо по периметру, снимая перекрывающиеся кадры, и обязательно захватывать углы и переходы между стенами. Освещение внутри неравномерное, и это запечётся в текстуру.
Главная сложность: однотонные стены и потолки. Именно там алгоритму не за что зацепиться, и появляются дыры или волны.
Практическая польза при этом высокая: скан помещения как основа для визуализации избавляет от обмеров и даёт реальную геометрию со всеми неровностями.
Точность здесь тоже невысокая, и для проектной работы обмеры всё равно нужны.
Чем отличается от специальных сканеров
Честное сравнение, потому что вопрос возникает.
Телефон восстанавливает форму по изображениям. Точность зависит от условий съёмки и составляет миллиметры в лучшем случае.
Специальные сканеры измеряют расстояние напрямую и дают точность на порядок выше, стабильную и предсказуемую.
Второе отличие: сканер справляется с однотонными поверхностями, потому что не зависит от фактуры.
Третье: цена. Телефон уже есть, сканер стоит как хороший компьютер.
Практический вывод: для формы и референса телефона достаточно, для измерений нет. Разбор одного из таких устройств есть в материале про 3D-сканер Revopoint.
Скан как референс
Применение, которое недооценивают.
Не обязательно доводить скан до рабочего состояния. Часто достаточно использовать его как трёхмерный референс: подложить под моделирование и строить чистую геометрию поверх.
Это снимает все проблемы с топологией и текстурами: они просто не нужны.
Выигрыш по сравнению с фотореференсом: вы видите реальные пропорции со всех сторон и можете мерить.
Для сложных органических форм этот способ экономит больше всего времени.
Схема работы от начала до конца
Сводка по шагам.
Выбрать предмет с фактурой и без блеска. Дождаться ровного света. Обойти по трём высотам с большим перекрытием. Положить в кадр эталон размера. Обработать в сервисе. Скачать результат. Убрать фон и мусор. Закрыть дыры. Упростить или ретопологизировать. Перенести текстуру запеканием. Выставить масштаб по эталону.
Первые четыре пункта определяют, сколько будет работы в остальных. Готовый скан удобно показывать там же, где снимали: модель открывается прямо на телефоне заказчика без установки программ.
Частые вопросы
Нужен ли специальный телефон?
Нет, обычной камеры достаточно. Датчик глубины помогает на близких дистанциях, но основную работу делает алгоритм по обычным кадрам.
Почему скан получился дырявым?
Недостаточное покрытие: какие-то стороны сняты хуже других. Чаще всего страдает низ объекта и зоны под выступами.
Можно ли сканировать блестящие предметы?
Плохо. Отражение меняется при движении камеры, и алгоритм получает противоречивые данные. Помогает матирующий спрей, но не всегда допустим.
Годится ли результат для 3D-печати?
После чистки и закрытия дыр да, если не нужна точность размеров. Для функциональных деталей телефонный скан не подходит.
Как убрать тени из текстуры?
Проще всего не запекать их: снимать в пасмурную погоду или в ровном рассеянном свете. Убирать уже запечённые сложно и не всегда получается полностью.
Снимите один предмет с фактурой в пасмурную погоду и пройдите весь путь до чистой модели. Так вы поймёте, где этот способ экономит время, а где создаёт работу.