Когда языковая модель «пишет» текст, за этим процессом стоит математика, которая кажется почти волшебной: модель не хранит предложения и не ищет их в базе данных. Она предсказывает следующий токен, используя веса нейронной сети, обученной на сотнях гигабайт текста. Понимание этого процесса помогает лучше работать с AI: знать чего ожидать, где модель надёжна, а где ошибается.
Токены: основная единица языковой модели
Модель не работает с буквами или словами напрямую. Она работает с токенами: фрагментами слов от одного символа до нескольких букв. Слово «программирование» может быть разбито на 3-4 токена в зависимости от токенизатора. Слово «the» это один токен. Цифра «2024» может быть одним или несколькими токенами.
Каждый токен это вектор в высокоразмерном пространстве (тысячи измерений). Схожие по смыслу слова имеют близкие векторы. «Кошка» и «кот» находятся ближе друг к другу в этом пространстве, чем «кошка» и «автомобиль». Это и есть «понимание значения» в терминах языковой модели: близость векторов.
Трансформер: архитектура современных LLM
Все современные большие языковые модели (GPT-4, Claude, Gemini, Llama) основаны на архитектуре Трансформер, предложенной Google в 2017 году в статье «Attention is All You Need». Ключевой механизм: Self-Attention.
Self-Attention позволяет модели при обработке каждого токена «смотреть» на все другие токены в контексте и взвешивать их важность. Обрабатывая слово «он» в предложении, модель через Attention «смотрит» на предыдущий контекст и понимает, к кому относится местоимение. Это и есть то, что раньше называли «понимание контекста».
Как происходит генерация текста
Шаг 1: Токенизация. Ваш промпт разбивается на токены и преобразуется в векторы.
Шаг 2: Forward Pass через Трансформер. Токены проходят через десятки (GPT-3: 96) или сотни слоёв нейронной сети. Каждый слой применяет Attention и Feed-Forward преобразования. Результат: вектор, представляющий «суть» всего контекста.
Шаг 3: Предсказание следующего токена. Финальный вектор умножается на матрицу весов словаря (десятки тысяч токенов). Результат: число (логит) для каждого возможного следующего токена. Через Softmax логиты превращаются в вероятности.
Шаг 4: Семплирование. По алгоритму (Greedy, Top-P, Top-K) выбирается следующий токен. Он добавляется к контексту, и процесс повторяется для следующего токена.
Почему модели «не знают» факты, а «угадывают»
Важнейшее понимание: языковая модель не хранит факты как базу данных. Она хранит статистические паттерны из обучающих данных. Когда вы спрашиваете «Когда родился Пушкин?», модель не ищет запись в базе. Она предсказывает наиболее статистически вероятное продолжение: в большинстве текстов после «Пушкин родился» следует «1799 год».
Это объясняет галлюцинации: если в обучающих данных было мало текстов о конкретном факте, или если факт нетипичный, модель может «угадать» неправильно. Она не знает что ошибается: она выдаёт наиболее вероятное продолжение, которое в данном случае неверно.
RLHF: почему Claude и ChatGPT не похожи на сырой GPT
Базовая языковая модель генерирует правдоподобный текст, но не полезные ответы. После предобучения применяется RLHF (Reinforcement Learning from Human Feedback): люди-оценщики ранжируют разные ответы модели, обучается модель наград (Reward Model), основная модель дообучается чтобы максимизировать награду. Результат: модель учится давать более полезные, безопасные и точные ответы.
Anthropic добавил Constitutional AI: вместо только человеческих оценок Claude дообучается руководствуясь набором принципов (конституцией). Это формирует более последовательное этическое поведение.
Почему контекст важнее «памяти»
Модель не имеет памяти между запросами. Каждый раз при запросе обрабатывается весь контекст (ваш промпт + история диалога) заново. Поэтому Chat History это не «память»: это просто весь предыдущий диалог, добавленный к каждому новому запросу. При очень длинном диалоге это становится дорогостоящим: тысячи токенов обрабатываются при каждом ответе.
Вывод
Языковая модель это машина статистического предсказания, а не думающая система. Она работает с токенами и вероятностями, а не со смыслом в человеческом понимании. Понимание этого помогает: ожидать галлюцинации при редких фактах, знать что контекст важнее «памяти» модели, использовать Chain-of-Thought для улучшения качества на сложных задачах, и не ждать от модели «настоящего понимания» там где нужна экспертная проверка.
Трансформеры: архитектура которая изменила AI
Языковые модели основаны на архитектуре Transformer, предложенной Google в 2017 году в статье «Attention is All You Need». Ключевой механизм — Self-Attention: для каждого токена модель вычисляет степень «внимания» ко всем другим токенам в контексте. Это позволяет захватить дальние зависимости (связь между словами в начале и конце абзаца), что было сложно для предыдущих архитектур (RNN, LSTM). Генерация текста — авторегрессивный процесс: модель предсказывает один токен за раз, добавляет его в контекст, предсказывает следующий. GPT-4 имеет около 1.8 триллиона параметров (официально не подтверждено, данные из утечек). Один API-запрос с ответом на 1000 токенов — это 1000 последовательных forward-проходов через многомиллиардную сеть, что объясняет задержку.
Что полезно знать о генерации текста для практики
- Токен не равен слову: «нейросеть» — 3-4 токена для кириллицы, «AI» — 1 токен. Это важно при расчёте стоимости API: 1000 русских слов ≈ 2500-3500 токенов.
- Контекстное окно ограничено: модель «видит» только то, что в контексте прямо сейчас. Информация до контекстного окна недоступна — это не «забывчивость», это архитектурное ограничение.
- Вероятностная природа: один и тот же промпт при temperature>0 каждый раз даёт разный ответ. Это не баг, это фичи семплирования из распределения.
- Эмерджентные способности: некоторые навыки (арифметика, chain-of-thought) появляются резко при переходе к более крупным моделям. Маленькие модели их «не умеют».
- Hallucination — следствие архитектуры: модель предсказывает правдоподобный следующий токен, но не ищет факты в базе данных. Поэтому достоверно звучащие выдумки — системное свойство LLM.
Частые вопросы
Почему языковые модели иногда «забывают» начало разговора?
В длинных разговорах ранние сообщения «выдавливаются» из контекстного окна или получают меньший вес через механизм внимания. Для GPT-4o это происходит при превышении 128k токенов. Для Claude 3.5 — 200k токенов. Практическое решение: при длинных сессиях периодически суммаризируй ключевые факты и повторяй их в начале нового чата.
Что такое параметры модели и что они хранят?
Параметры (веса) — числа в нейронной сети, скорректированные в процессе обучения для минимизации ошибки предсказания. Они не хранят «факты» как записи в БД. Вместо этого, знания кодированы как паттерны в миллиардах весов. Это объясняет почему модель может «помнить» факт, но перепутать детали: паттерн активируется частично.
Почему GPT-4 умнее чем GPT-3.5 при схожей архитектуре?
Масштаб (больше параметров, больше данных для обучения) плюс RLHF (Reinforcement Learning from Human Feedback) для выравнивания с предпочтениями пользователей. RLHF учит модель давать более полезные, точные и безопасные ответы через обратную связь от людей-оценщиков. Также GPT-4 — мультимодальная: обучена на текстах и изображениях.
Можно ли обучить свою языковую модель?
Fine-tuning (дообучение) существующей модели — да, через OpenAI Fine-Tuning API или Hugging Face. Нужно: данные (1000+ примеров), бюджет (дообучение GPT-3.5 от $50, GPT-4 — закрыто). Обучение с нуля как GPT-4 — нереально для большинства: требует тысячи GPU и месяцы. Разумная альтернатива: RAG (поиск по документам) вместо дообучения для специализированного знания.