Дообучение LoRA выглядит привлекательно: взять модель, показать ей свои примеры и получить инструмент, заточенный под задачу. На практике большинство задач, для которых люди затевают дообучение, решаются грамотным промптом за час вместо недели.
Разберём, что такое LoRA, в каких случаях дообучение LoRA действительно оправдано, как подготовить данные и по каким признакам понять, что результат хороший.
Что такое LoRA
Полное дообучение означает пересчёт всех весов модели. Для крупной модели это требует памяти, которой нет у большинства, и времени, которое стоит дорого.
LoRA решает задачу иначе. Вместо изменения исходных весов рядом добавляются маленькие матрицы, и обучаются только они. Исходная модель остаётся нетронутой.
Следствия важные. Обучается доля процента от общего числа параметров, что резко снижает требования к памяти. Результат весит мегабайты вместо гигабайтов. Несколько адаптеров можно держать для разных задач и подключать к одной базовой модели. И откатиться можно просто отключив адаптер.
Когда дообучение LoRA оправдано
Честный список ситуаций, где оно даёт то, чего промпт не даёт.
Стиль и формат. Нужно, чтобы модель писала определённым тоном, по определённой структуре, с конкретными оборотами. Описать это словами трудно, показать примерами легко. Это самый выигрышный случай.
Узкая специфика. Внутренняя терминология, специфические классификации, доменные соглашения, которых нет в открытых данных.
Сокращение промпта. Если инструкция занимает три тысячи токенов и повторяется в каждом запросе, дообучение переносит её в веса. При большом объёме запросов экономия реальна.
Стабильность формата. Дообученная модель ошибается в структуре ответа реже, чем модель с инструкцией в промпте.
Меньшая модель вместо большой. Дообученная небольшая модель на узкой задаче часто работает не хуже крупной универсальной и стоит в разы дешевле.
Когда дообучение не нужно
Случаи, где оно не поможет или навредит.
Нужны свежие факты. Дообучение плохо загружает знания. Для доступа к документам используется поиск по базе с подстановкой найденного в промпт, а не обучение.
Данные часто меняются. Каждое изменение требует переобучения. Поиск по базе обновляется мгновенно.
Мало примеров. Меньше сотни примеров редко даёт заметный эффект. Несколько примеров прямо в промпте сработают лучше.
Задача не сформулирована. Если вы сами не можете описать, что считается хорошим ответом, датасет получится противоречивым и обучение закрепит противоречия.
Промпт не пробовали. Самый частый случай. Прежде чем считать бюджет на обучение, потратьте день на нормальный промпт с примерами.
Датасет: здесь решается всё
Качество результата определяется данными сильнее, чем любыми параметрами обучения.
Количество
Ориентиры по практике. Для стиля и формата хватает пятисот до тысячи примеров. Для узкой классификации может хватить двухсот. Для сложного поведения нужны тысячи.
Важнее количества однородность: пятьсот выверенных примеров дают лучший результат, чем пять тысяч разнородных.
Качество
Каждый пример должен быть образцом того, что вы хотите получить. Модель воспроизводит данные буквально, включая их недостатки.
Практическое правило: если пример вам не нравится, он не должен попасть в датасет. Один плохой пример на сто заметно портит результат.
Разнообразие
Примеры должны покрывать разные случаи, включая краевые. Если все примеры про один тип запроса, модель на остальных будет работать хуже, чем до обучения.
Отдельно закладывайте примеры отказа: что модель должна отвечать, когда данных недостаточно или запрос вне её компетенции. Без них дообученная модель начинает уверенно выдумывать.
Формат
Формат обучающих примеров должен точно совпадать с тем, как вы будете обращаться к модели в работе. Разница в структуре сообщений между обучением и использованием это одна из самых частых причин, по которым обучение «не сработало».
Разделение
Отложите десять до пятнадцати процентов примеров и никогда не показывайте их при обучении. Только на них можно честно оценить результат.
Параметры обучения
Их много, но существенных мало.
Ранг. Определяет размер добавляемых матриц, то есть ёмкость адаптера. Малые значения около 8 подходят для стиля и формата, большие около 64 для сложного поведения. Больший ранг это больше памяти и выше риск переобучения.
Множитель. Обычно ставится равным рангу или вдвое больше. Влияет на силу воздействия адаптера.
Скорость обучения. Ключевой параметр. Слишком большая приводит к тому, что модель теряет общие способности. Слишком малая к тому, что ничего не меняется. Для LoRA типичны значения на порядок выше, чем при полном дообучении.
Число проходов. Два до четырёх обычно достаточно. Больше почти всегда означает переобучение: модель начинает воспроизводить примеры дословно.
Какие слои затрагивать. По умолчанию слои внимания. Расширение на остальные повышает качество и расход памяти.
Практический подход: начните с типовых значений, обучите, оцените. Подбор параметров без оценки на отложенных данных это трата времени.
Оценка результата
Значение функции потерь на обучении не говорит почти ничего. Смотреть нужно на другое.
- Отложенные примеры. Сравните ответы до и после обучения на данных, которых модель не видела.
- Слепое сравнение. Дайте человеку пары ответов без указания, какой откуда. Самый честный способ.
- Проверка общих способностей. Задайте вопросы вне обученной задачи. Если модель поглупела на них, скорость обучения была слишком высокой.
- Проверка на выдумывание. Задайте вопрос, ответа на который в данных не было. Дообученная модель склонна отвечать уверенно и неверно.
- Сравнение с промптом. Обязательный шаг. Если хороший промпт на базовой модели даёт тот же результат, обучение было лишним.
Частые ошибки
Переобучение. Модель воспроизводит примеры дословно и не обобщает. Признак: отличные результаты на обучающих данных и плохие на отложенных. Лечится уменьшением числа проходов и ранга.
Потеря общих способностей. Модель научилась задаче и разучилась остальному. Лечится снижением скорости обучения и добавлением разнородных примеров.
Несовпадение формата. Обучали в одном виде, используете в другом. Проверяется первым делом, когда результат кажется нулевым.
Грязные данные. Опечатки, противоречия, разный стиль. Модель усваивает всё.
Отсутствие отложенной выборки. Без неё оценка результата невозможна, а ощущение «стало лучше» обманчиво.
Альтернативы, которые стоит рассмотреть первыми
Прежде чем считать бюджет на обучение, стоит перебрать более дешёвые способы.
Примеры в промпте. Три до десяти образцов прямо в запросе закрывают большинство задач на формат и стиль. Стоят токенов, но не требуют ни данных, ни обучения, ни поддержки. Если объём запросов невелик, это выгоднее навсегда.
Строгая схема ответа. Если целью дообучения была стабильность формата, задача решается структурированным выводом без всякого обучения и с гарантиями, которых дообучение не даёт.
Разбиение на шаги. Задача, которая плохо решается одним запросом, часто отлично решается двумя простыми. Это дешевле и отлаживается быстрее.
Поиск по базе. Если модели не хватает знаний, а не поведения, подстановка найденных документов в промпт решает задачу лучше и обновляется мгновенно.
Инструменты вместо знаний. Там, где нужен точный расчёт или актуальные данные, надёжнее дать модели вызов функций, чем пытаться закрепить это обучением.
Дообучение остаётся в списке тогда, когда перечисленное перепробовано и упирается либо в качество, либо в стоимость длинных промптов.
Что нужно из железа
Требования зависят от размера модели, но порядки такие.
Модель на семь до восьми миллиардов параметров с квантованием дообучается на видеокарте с 16 гигабайтами памяти. Без квантования нужно порядка 24 гигабайт.
Модель на тринадцать миллиардов требует 24 гигабайта с квантованием.
Более крупные модели практично дообучать в облаке: аренда на несколько часов обходится дешевле покупки железа, если обучение разовое.
Время обучения на тысяче примеров исчисляется десятками минут, а не днями. Основное время уходит на подготовку данных и оценку, а не на сам процесс.
Порядок работы
- Сформулируйте задачу и критерий хорошего ответа.
- Попробуйте промпт. Обязательный шаг, экономящий недели.
- Соберите датасет и вычистите его.
- Отложите проверочную часть.
- Обучите с типовыми параметрами.
- Оцените честно, включая сравнение с промптом.
- Правьте данные, а не параметры. Отдача от данных выше.
Если результат нужен для рабочей системы, заложите время на повторные итерации: с первого раза попадают редко.
Частые вопросы
Можно ли научить модель новым фактам?
Плохо. Дообучение хорошо меняет поведение и стиль, но ненадёжно закладывает знания: модель может выдать факт с искажением. Для фактов используйте поиск по базе.
Сколько примеров минимально?
Ниже сотни смысла обычно нет. Практический ориентир для стиля это пятьсот, для сложного поведения тысячи.
Можно ли совмещать несколько адаптеров?
Технически да, но результат непредсказуем: адаптеры могут конфликтовать. Надёжнее обучить один адаптер на объединённом датасете.
Чем это отличается от адаптеров в генерации изображений?
Принцип тот же, задачи разные. В графике адаптеры используются для стиля и персонажей: подходы к этому мы разбирали в материале про нейросетевую работу с текстурами.
Как понять, что дообучение окупится?
Посчитайте: экономия на токенах при сокращении промпта плюс возможность взять модель меньше, против стоимости подготовки данных и обучения. Методика расчёта есть в материале про стоимость автоматизации на языковых моделях.