Нейросети для HDRI: генерируем окружение под свою сцену

Карта окружения HDRI решает в сцене больше, чем любой отдельный источник света: она задаёт и освещение, и отражения, и фон разом. Нейросети научились собирать такие карты под конкретную сцену. Проблема в том, что нужной карты обычно нет: есть библиотеки с чужими закатами, а нужно конкретное небо под конкретный кадр.

Ниже по шагам: что сегодня умеют генераторы окружений, чем такая карта отличается от настоящей съёмки, где она работает без нареканий и где выдаёт себя.

Что такое карта окружения по сути

Короткая база, без которой не понять ограничений.

Это панорама на 360 градусов, хранящая не просто цвет, а яркость с широким диапазоном. Именно широкий диапазон отличает её от обычной картинки: солнце в ней в тысячи раз ярче неба, и поэтому оно даёт настоящие тени.

Обычная панорама, растянутая на сферу, даёт плоское серое освещение без выраженных теней. Это первое, на чём спотыкаются при попытке использовать сгенерированное изображение напрямую.

Отсюда главный вопрос ко всякому генератору: выдаёт ли он настоящий широкий диапазон или красивую картинку. От ответа зависит, можно ли этим освещать сцену.

Что умеют генераторы

Честное описание состояния дел.

Генерация панорамы по текстовому описанию работает: получается бесшовное окружение нужного настроения за минуту.

Расширение диапазона яркости делается отдельным шагом: модель достраивает недостающие значения яркости, ориентируясь на содержание кадра. Результат правдоподобен, но это реконструкция, а не измерение.

Достраивание панорамы из одной фотографии тоже работает: по снимку части помещения генерируется остальное окружение.

Что пока даётся плохо: точная геометрическая согласованность и физически корректное соотношение яркостей между солнцем и небом.

Где это работает без вопросов

Задачи, в которых сгенерированное окружение полностью уместно.

Где выдаёт себя

Обратный список.

Резкое солнечное освещение. Требует корректного соотношения яркостей, и здесь реконструкция чаще всего промахивается: тени получаются вялыми или неестественно резкими.

Панорама в кадре целиком. Если фон виден чётко и занимает большую часть кадра, все огрехи генерации становятся заметны.

Архитектура в отражении. Здания в сгенерированной панораме обычно не выдерживают геометрической логики, и в зеркальном отражении это видно.

Задачи с требованием достоверности. Предметная съёмка для каталога, где важно точное соответствие реальному освещению.

Разрешение и его роль

Технический момент с практическими последствиями.

Для освещения разрешение почти не важно: свет собирается со всей сферы, и мелкие детали роли не играют.

Для отражений на глянцевых поверхностях важно заметно: там панорама видна почти как есть.

Для фона в кадре важно критически: панорама растягивается, и низкое разрешение превращается в мыло.

Практический вывод: одну и ту же карту часто используют в двух разрешениях. Маленькая для освещения, большая для видимого фона. Это экономит память без потерь.

Управление солнцем

Самая частая практическая задача.

Солнце в панораме сидит в конкретном месте, и повернуть его можно только поворотом всей карты. Вместе с солнцем поворачивается и фон, и это не всегда приемлемо.

Рабочее решение, которым пользуются постоянно: выключить в карте прямое солнце и поставить отдельный направленный источник. Тогда карта даёт мягкое окружение и отражения, а направление и резкость теней управляются независимо.

Такой подход заодно снимает главную слабость сгенерированных карт: некорректное соотношение яркостей перестаёт иметь значение, потому что основной свет идёт не оттуда.

Общие принципы постановки разобраны в материале про реалистичный рендер.

Как проверить карту перед работой

Быстрая проверка, экономящая часы.

Поставить в пустую сцену три объекта: серый матовый шар, зеркальный шар и белую плоскость.

Матовый шар покажет общее распределение света и его цвет. Зеркальный покажет, как выглядит окружение в отражении. Плоскость покажет тени.

На что смотреть. Есть ли выраженная тень и насколько она резкая. Не завален ли цветовой баланс. Нет ли видимого шва на панораме. Не проваливается ли теневая сторона в черноту.

Эта проверка занимает минуту и сразу отвечает на вопрос, годится карта для освещения или только для отражений.

Доработка сгенерированной карты

Что обычно приходится поправить.

Убрать или ослабить солнце, если оно будет заменено отдельным источником.

Поправить общую яркость: сгенерированные карты часто приходят либо слишком тусклыми, либо с задранной экспозицией.

Проверить линию горизонта: она должна быть ровной и на правильной высоте, иначе отражения поплывут.

Дорисовать или закрыть проблемный участок, если генерация выдала артефакт. Для карты окружения это делается просто: испорченный кусок отворачивается от камеры.

Последний приём работает почти всегда и экономит время на повторных генерациях.

Интерьер против экстерьера

Задачи разной сложности.

Для экстерьера карта окружения это основной источник света, и требования к ней высокие.

Для интерьера она работает через окна, свет отфильтрован проёмами, а большая часть освещения идёт от переотражений внутри помещения. Требования к точности карты здесь заметно мягче, и сгенерированное окружение проходит почти всегда.

Поэтому первым местом, где имеет смысл применять генерацию, обычно оказывается именно интерьер. Как строится сама сцена, разобрано в материале про создание интерьера в Blender.

Как составить запрос

Описание для генератора окружения строится иначе, чем для обычной картинки.

Что указывать обязательно. Время суток и положение солнца: это определяет и цвет, и направление теней. Погоду: ясно, дымка, облачность, после дождя. Тип места: открытое поле, городская улица, помещение, студия.

Что указывать полезно. Что находится вокруг: от этого зависит цвет отражённого света. Красная кирпичная стена рядом подкрасит всю сцену, и это именно то, ради чего окружение и генерируют.

Чего не стоит просить. Конкретных объектов в определённых местах: панорама не управляется композиционно. Текста и надписей: они будут искажены. Людей и животных: они получаются с артефактами и попадут в отражения.

Общий подход к составлению запросов разобран в материале про структуру промпта.

Студийное окружение

Отдельный и самый благодарный случай.

Для предметной визуализации нужна не улица, а студия: софтбоксы, отражатели, серый фон. Такое окружение генерируется особенно хорошо, потому что в нём нет сложной геометрии и узнаваемых объектов.

Что задавать: количество и расположение крупных светлых панелей, цвет фона, наличие тёмных участков для контраста в отражениях.

Последний пункт важнее, чем кажется. Полностью белое окружение даёт скучное отражение без формы. Именно чередование светлых и тёмных полос делает металл читаемым.

Для этой задачи сгенерированное окружение полностью заменяет снятое, и вопросов к корректности не возникает.

Библиотеки против генерации

Честное сравнение двух путей.

Готовые снятые панорамы дают физически корректное освещение и предсказуемый результат. Минус: их конечное число, и одни и те же карты узнаются в чужих работах.

Генерация даёт уникальное окружение под конкретный замысел. Минус: корректность освещения под вопросом.

Рабочий компромисс: снятая панорама как основа освещения плюс сгенерированный фон для того, что видно в кадре. Это сочетание закрывает слабости обоих подходов.

Где всё идёт не по плану

Использовать обычную картинку как карту освещения. Нет диапазона, нет теней.

Оставлять солнце в карте при сильном прямом свете. Тени получаются неубедительными.

Брать одно разрешение на все задачи. Либо память, либо мыло в фоне.

Не проверять шов. Он проявится в отражении в самый неудобный момент.

Игнорировать цветовой баланс. Карта подкрашивает всю сцену, и этого не замечают до финального кадра.

Кривой горизонт. Все отражения на горизонтальных поверхностях уходят в сторону.

Частые вопросы