Chain-of-Thought (CoT) это одна из самых мощных техник промптинга, которую открыли исследователи OpenAI и Google в 2022-2023 годах. Суть: если попросить модель «думать вслух» перед ответом, качество ответа на сложные задачи значительно вырастает. Это не просто ощущение: разница измерима и в некоторых задачах составляет 30-50% по точности.
Что такое Chain-of-Thought
В стандартном подходе: вопрос -> ответ. При Chain-of-Thought: вопрос -> рассуждение шаг за шагом -> вывод из рассуждения. Модель как бы «разворачивает» промежуточные шаги вместо того чтобы сразу выдать ответ. Аналогия: разница между тем как вы решаете задачу в уме (часто с ошибками) и на бумаге с промежуточными шагами (точнее).
Пример без CoT: «Если у Пети было 15 яблок, он отдал треть Маше, потом купил вдвое меньше чем отдал, сколько у него теперь?» Без CoT модель часто ошибается. С CoT: модель последовательно считает: «Треть от 15 = 5. Петя отдал 5. У него осталось 10. Купил вдвое меньше чем отдал = 5/2 = 2.5, округляем до 2 (или 3 в зависимости от контекста). Итого 10+2=12 или 10+3=13.» Правильный ответ с пояснениями.
Как активировать Chain-of-Thought
Несколько способов:
Zero-Shot CoT: просто добавьте в конец промпта фразу. Три магические формулировки:
- «Думай шаг за шагом»
- «Рассуждай последовательно перед ответом»
- «Let’s think step by step» (работает на английском часто лучше)
Few-Shot CoT: покажите пример рассуждения. «Вот как нужно рассуждать: [задача-пример]. Рассуждение: [ход решения]. Ответ: [правильный ответ]. Теперь реши аналогично: [ваша задача].»
Explicit Structure: попросите конкретную структуру: «Ответь в формате: 1) Анализ условия, 2) Промежуточные шаги, 3) Итоговый вывод.»
Когда CoT реально помогает
Chain-of-Thought наиболее эффективен для:
- Математика и логика: арифметика, уравнения, задачи с условиями
- Многошаговые рассуждения: если правильный ответ требует последовательного вывода
- Причинно-следственный анализ: «Почему это произошло?», «Что будет если…»
- Кодирование: «Объясни алгоритм шаг за шагом» прежде чем писать код
- Принятие решений: выбор между вариантами с анализом плюсов и минусов
CoT менее полезен для простых фактических вопросов («Столица Франции?») или задач с одним однозначным ответом. Там это лишний текст без пользы.
Продвинутая техника: Tree-of-Thought
Tree-of-Thought (ToT) это развитие CoT: вместо одной цепочки рассуждений модель строит несколько ветвей и выбирает наилучшую. В обычном чате это реализуется так: «Предложи 3 разных подхода к решению задачи, оцени каждый и выбери оптимальный.» Более медленно, но для сложных задач выбора дает лучший результат.
Модели с встроенным CoT: o1, o3, Claude Sonnet
OpenAI o1, o3 и Google Gemini 2.0 Flash Thinking это модели, у которых CoT встроен архитектурно: они всегда думают перед ответом (вы видите это как «думаю…» перед текстом). Для этих моделей добавлять «думай шаг за шагом» не нужно и иногда контрпродуктивно. GPT-4o и Claude без суффикса думать вслух нужно просить явно.
Практика: CoT для принятия решений
Применение CoT не ограничивается математикой. Пример для бизнес-решения: «Нам предложили партнёрство с компанией X. Подумай шаг за шагом: 1) Какую выгоду это даёт нам? 2) Какие риски? 3) Что нам нужно проверить перед решением? 4) Если бы ты был опытным предпринимателем, какое решение принял бы и почему?» Такой промпт даёт структурированный анализ, а не общие слова.
Вывод
Chain-of-Thought это simple trick с большим эффектом. Добавьте «Думай шаг за шагом» к любому сложному запросу и заметьте разницу. Для математики, логики, анализа и принятия решений это обязательная техника. Для простых вопросов не нужна. Освоив базовый CoT, попробуйте Few-Shot вариант для ещё более точных результатов.
Chain-of-Thought: механизм и когда использовать
Chain-of-Thought (CoT) — техника, при которой модель генерирует промежуточные шаги рассуждения перед финальным ответом. Это не просто «показывает работу» — промежуточные токены буквально влияют на следующее предсказание. Аналогия: человек решает задачу устно вслух — проговаривание помогает не ошибиться. Исследования Google Brain (Wei et al., 2022) показали, что CoT значительно улучшает точность на математических, логических и многоступенчатых задачах для моделей 100B+ параметров. Для малых моделей эффект менее выражен. Варианты: Zero-shot CoT («думай шаг за шагом»), Few-shot CoT (примеры с рассуждениями), Tree-of-Thought (несколько параллельных ветвей рассуждений). Модели o1/o3 от OpenAI встроили CoT как внутренний процесс, скрытый от пользователя.
Применение Chain-of-Thought на практике
- «Думай шаг за шагом»: добавь в конец промпта «Думай пошагово». Прост, работает для большинства задач требующих рассуждений.
- Явный запрос структуры: «Сначала определи проблему. Затем список возможных причин. Затем выбери наиболее вероятную и объясни почему.»
- Few-shot CoT: дай 1-2 примера с развёрнутым рассуждением, затем целевую задачу. Модель воспроизводит паттерн рассуждения.
- Для проверки: «Реши задачу, а затем проверь ответ с противоположного конца». Самопроверка через второй проход.
- o1/o3 для сложного: переключайся на o1 или o3 для задач с высокой сложностью — встроенный CoT без необходимости явных инструкций.
Частые вопросы
Насколько Chain-of-Thought улучшает точность?
На математических бенчмарках: GSM8K (математика начальной школы) — с 17% до 58% у PaLM 540B. На логических задачах: 20-40% улучшение для больших моделей. Для GPT-4o и Claude 3.5 прирост CoT меньше, так как эти модели уже применяют внутренние рассуждения. Наибольший эффект CoT — для моделей среднего уровня и задач с несколькими шагами.
В чём разница между CoT и режимом «рассуждений» в o1?
CoT видимый: модель показывает рассуждения в тексте ответа. o1/o3 «thinking»: рассуждения происходят скрыто перед генерацией финального ответа (Anthropic также внедрил это в Claude 3.7 Thinking). Для пользователя: явный CoT показывает процесс (полезно для проверки), hidden thinking быстрее и даёт только результат.
Когда НЕ нужен Chain-of-Thought?
Для простых фактических вопросов: «Столица Франции?» — CoT только замедлит и добавит лишний текст. Для задач классификации с явным ответом. Для форматированного вывода где нужен только JSON/таблица без объяснений. CoT добавляет токены, что увеличивает стоимость API-запроса.
Что такое Tree-of-Thought?
Tree-of-Thought (ToT) — расширение CoT: модель генерирует несколько параллельных «ветвей» рассуждений, оценивает каждую и выбирает наилучший путь. Аналог: обдумывание нескольких вариантов решения шахматной задачи. ToT эффективен для задач с высокой неопределённостью и множеством путей. Реализован через многократные API-вызовы с оценочной моделью. Значительно дороже по токенам.