Генератор изображений не знает вашего стиля, и LoRA на своих текстурах это способ его научить. Он выдаёт усреднённое из того, на чём обучался, и попытки описать нужный вид словами упираются в потолок: одни и те же формулировки дают похожие, но не те результаты. Дообучение на своих материалах решает именно эту задачу.
Посмотрим по пунктам, когда это оправдано, как собрать набор текстур для обучения, что настраивать и как понять, что получилось.
Что такое дообучение малым весом
Механизм в двух абзацах.
Полное переобучение модели требует огромных ресурсов и недоступно. Вместо этого к существующей модели добавляется небольшой набор параметров, который корректирует её поведение.
Этот набор весит мегабайты вместо гигабайтов, обучается за часы вместо недель и подключается к базовой модели по необходимости.
Практическое следствие: вы не создаёте новую модель, а смещаете существующую в нужную сторону. Отсюда и возможности, и ограничения.
Возможности: научить модель конкретному стилю, конкретному материалу, конкретному объекту. Ограничения: нельзя научить тому, чего базовая модель не умеет в принципе.
Когда это нужно для текстур
Конкретные задачи, где дообучение окупается.
Единый стиль проекта. Все текстуры должны выглядеть как сделанные одной рукой. Описанием этого не добиться.
Специфический материал. Если нужна фактура, которую модель не знает: конкретный вид камня, ткани, обработки металла.
Повторяемость. Нужно генерировать десятки вариаций одного типа поверхности, и они должны быть согласованы между собой.
Свой узнаваемый стиль. Для художника со сложившимся почерком.
Общий признак: задача повторяется. Ради одной текстуры обучать модель бессмысленно.
Когда не нужно
Честный список.
Разовая генерация: быстрее подобрать промпт.
Стиль, который модель и так знает: большинство распространённых материалов она генерирует хорошо из коробки.
Задача точного соответствия образцу: для этого лучше подходит перенос по образцу или обработка существующего изображения.
Нехватка материала: без достаточного набора исходников обучение даст переученную модель, повторяющую исходники дословно.
Про альтернативы есть материал про генерацию текстур через Stable Diffusion: часто задача решается там без всякого обучения.
Датасет: здесь решается всё
Самая важная часть, и ей уделяют меньше всего внимания.
Сколько нужно: для стиля достаточно нескольких десятков изображений. Для конкретного объекта меньше. Больше не всегда лучше.
Каким должен быть набор. Однородным по стилю: это то, чему вы учите. Разнообразным по содержанию: разные объекты в одном стиле. Одинакового размера и пропорций. Хорошего качества без артефактов сжатия.
Что убивает результат. Смешение разных стилей в одном наборе. Повторяющиеся элементы: если на всех изображениях один и тот же угол, модель выучит угол. Плохое качество исходников: модель выучит и артефакты тоже.
Практическое правило: лучше двадцать выверенных изображений, чем двести случайных.
Подписи к изображениям
Часть, которая определяет управляемость результата.
Каждому изображению в наборе сопоставляется текстовое описание. Модель учится связывать описание с видом.
Ключевой принцип: описывайте то, что должно меняться, и не описывайте то, что должно остаться.
Если вы учите стилю, то описывать надо содержание каждой картинки, а сам стиль не упоминать. Тогда стиль станет фоном, применяющимся всегда.
Если наоборот, учите конкретному объекту, то в подписи ставится уникальное слово-метка, по которому потом вызывается этот объект.
Ошибка, ведущая к неуправляемому результату: одинаковые подписи ко всем изображениям. Модель не понимает, что именно менять.
Особенности для текстур
Отличия от обучения на изображениях вообще.
Текстуры это не картины: у них нет композиции, объекта и фона. Это однородная поверхность.
Отсюда специфика набора: все изображения должны быть фрагментами поверхности одного масштаба.
Масштаб критичен. Если на одних изображениях кирпич крупный, а на других мелкий, модель выучит разброс и будет выдавать случайный масштаб.
Отдельная сложность: бесшовность. Обучение ей не учит, и результат придётся делать бесшовным отдельно.
Практический совет: нарезать исходники на квадратные фрагменты одинакового физического размера, а не одинакового количества пикселей.
Параметры обучения
Минимум, который надо понимать.
Число шагов. Сколько раз модель посмотрит на данные. Мало означает недоученность, много переученность.
Скорость обучения. Насколько сильно каждый шаг меняет веса. Высокая ломает модель, низкая требует много шагов.
Размер добавки. Сколько параметров добавляется. Больше означает больше ёмкости и выше риск переучивания.
Универсальных значений нет, они зависят от размера набора и от задачи.
Практический подход: сохранять промежуточные результаты каждые несколько сотен шагов и сравнивать. Лучший вариант обычно не последний.
Переучивание: главная опасность
Состояние, в которое легко свалиться.
Переученная модель воспроизводит исходники почти дословно и теряет гибкость: она не умеет комбинировать выученное с новым.
Признаки. Результат слишком похож на конкретное изображение из набора. Модель игнорирует часть запроса. Разнообразие пропало: все генерации почти одинаковы.
Причины: слишком много шагов, слишком мало данных, слишком высокая скорость обучения.
Обратная проблема, недоученность: эффект слабый, стиль почти не проявляется.
Между ними есть окно, и найти его можно только сравнением промежуточных результатов.
Оценка результата
Как понять, что получилось.
Сгенерировать по одному и тому же запросу с обучением и без. Разница покажет, что именно добавилось.
Проверить на запросах, которых не было в обучении. Хорошая добавка применяет стиль к новому содержанию, плохая выдаёт исходники.
Проверить силу воздействия: её можно регулировать при использовании. Если результат приличен только на максимуме, обучение слабое.
Проверить совместимость с базовой моделью: добавка, обученная для одной версии, на другой работает плохо или не работает вовсе.
Что нужно из железа
Практический вопрос.
Обучение требует видеокарты с достаточным объёмом памяти. Это главное ограничение: не скорость, а объём.
При нехватке памяти применяются приёмы экономии, замедляющие процесс в разы.
Альтернатива: облачные сервисы, где обучение запускается на арендованных мощностях. Для разового обучения это дешевле покупки карты.
Время: от получаса до нескольких часов в зависимости от набора и параметров.
Про требования подробно есть в материале про локальный запуск генераторов.
Права и происхождение данных
Сторона, которую нельзя игнорировать в коммерческой работе.
Обучение на своих текстурах юридически чисто: данные ваши.
Обучение на чужих работах создаёт вопросы, даже если результат не похож на исходники.
Отдельно: условия использования базовой модели. Часть моделей ограничивает коммерческое применение результатов.
Практическое правило для работы с заказчиками: использовать только собственные материалы для обучения и сохранять подтверждение их происхождения.
Разбор темы есть в материале про права на модели из нейросети.
Обучение на объекте, а не на стиле
Вторая задача, решаемая тем же способом.
Иногда нужен не стиль, а конкретный предмет: ваша модель, узнаваемый объект, фирменная деталь. Чтобы генератор умел вставлять его в разные сцены.
Что меняется в подходе. Набор состоит из одного и того же объекта с разных ракурсов и в разном освещении. Разнообразие здесь в условиях съёмки, а не в содержании.
В подписях используется уникальное слово-метка, не встречающееся в обычном языке. По нему объект потом вызывается.
Важно описывать в подписи всё, что меняется от кадра к кадру: ракурс, фон, освещение. Иначе модель выучит и их тоже как часть объекта.
Практический источник материала для такого набора: рендеры собственной модели с разных сторон. Их легко сделать много и они заведомо согласованы.
Несколько обучений вместе
Возможность, о которой узнают не сразу.
Добавки можно подключать одновременно: одна отвечает за стиль, другая за объект, третья за материал.
Сила каждой регулируется отдельно, и это даёт неожиданную гибкость: тот же объект в другом стиле получается сменой одного числа.
Что ломается при этом. Добавки могут конфликтовать, особенно если обучались на похожих данных. Результат становится непредсказуемым при большом их числе.
Практический предел: две-три одновременно. Дальше начинается каша.
Отдельная тонкость: суммарная сила не должна сильно превышать единицу, иначе изображение разваливается.
Куда встраивать результат
Практическое применение после обучения.
Генерация базового цвета для текстур в своём стиле.
Генерация вариаций: десять версий одной поверхности с разной степенью износа.
Генерация концептов и референсов для моделирования.
Чего не даёт: готового набора карт. Нормали, шероховатость и остальное придётся получать отдельно из сгенерированного цвета.
Именно поэтому обучение решает задачу стиля, а не задачу производства текстур целиком.
Как делать по шагам
Схема от начала до результата.
Убедиться, что задача повторяется и промптом не решается. Собрать однородный набор из нескольких десятков своих изображений. Привести к одному размеру и масштабу. Написать подписи, описывая содержание, а не стиль. Запустить обучение с сохранением промежуточных результатов. Сравнить их между собой и выбрать лучший. Проверить на новых запросах. Отрегулировать силу воздействия при использовании.
Больше всего времени уходит на сбор набора, и именно он определяет результат.
Частые вопросы
Сколько изображений нужно?
Для стиля обычно хватает нескольких десятков. Качество и однородность набора важнее количества: двадцать выверенных работают лучше двухсот случайных.
Почему результат повторяет исходники?
Переучивание: слишком много шагов при малом наборе. Помогает возврат к более раннему промежуточному результату.
Можно ли обучить на чужих текстурах?
Технически да, юридически это создаёт вопросы для коммерческого использования. Для работы с заказчиками стоит использовать только свои материалы.
Получится ли сразу бесшовная текстура?
Нет, бесшовность обучением не задаётся. Её делают отдельно обработкой результата.
Нужна ли своя видеокарта?
Для регулярного обучения удобнее своя с достаточным объёмом памяти. Для разового дешевле арендовать вычисления в облаке.
Соберите два десятка своих изображений в однородный набор прежде, чем запускать обучение. Датасет решает результат сильнее любых параметров.