Видеопамять для нейросети считается заранее, на бумаге, за пару минут. Не нужно скачивать 20 ГБ модели, чтобы узнать, что она не встала в карту и Ollama тихо перекинула половину слоёв в оперативную память. Нужны три числа: сколько у модели параметров, в какой битности вы её запускаете и какой длины контекст вам нужен. Всё остальное есть в файле config.json на странице модели.
Тема стала практической: открытые модели на 8–32 миллиарда параметров уже решают рабочие задачи 3D-художника (скрипты для Blender, разбор документации, описания ассетов), а генераторы картинок вроде Flux требуют памяти больше, чем многие игровые карты. Ошибка в расчёте стоит либо медленной генерации, либо покупки не той видеокарты.
Коротко о главном:
- Как посчитать видеопамять для нейросети? Параметры модели умножаются на байты на параметр (2 в FP16, около 1,06 в Q8_0, около 0,61 в Q4_K_M), к ним прибавляется KV-кэш, который растёт с длиной контекста, и около 1 ГБ на среду. Модель 8B в Q4 с контекстом 8K по такому расчёту занимает 6,5–7 ГБ и встаёт в карту на 8 ГБ впритык.
- Хватит ли 8 ГБ? Для моделей до 8B в Q4 и контекста до 8K да, если не держать открытыми тяжёлые программы. 14B уже не помещается целиком.
- Влезет ли 32B в 24 ГБ? В Q4_K_M с контекстом 8K да, расчёт даёт около 22 ГБ. Контекст 32K без сжатия кэша уже не помещается.
- Сколько занимает контекст 32K? Зависит от архитектуры: у Qwen3-8B это 4,5 ГБ в FP16, у Qwen3-32B 8 ГБ, у Llama 3.3 70B 10 ГБ.
- Складывается ли память двух карт? Для языковых моделей да: llama.cpp и Ollama раскладывают слои по картам. Для генераторов картинок обычно нет.
- Сколько нужно для SDXL и Flux? SDXL работает на 8 ГБ в FP16. Flux.1 dev с 12 млрд параметров весит около 24 ГБ в BF16, на картах 12–16 ГБ его запускают в FP8 или с выгрузкой энкодера.
Дальше по порядку: формулы с расшифровкой, расчёт по реальному config.json, таблица для четырёх моделей, матрица «влезет ли» для карт от 8 до 32 ГБ, генераторы изображений, что делать, если не помещается, и как проверить расход на своём ПК.

Из чего складывается видеопамять для нейросети
Языковая модель в видеокарте занимает место тремя кусками. Первый и самый крупный: веса, то есть сами параметры сети. Второй: KV-кэш, в котором модель хранит уже прочитанный текст, чтобы не пересчитывать его на каждом новом слове. Третий: служебная память, куда входят рабочие буферы для вычислений, контекст CUDA и то, что занимает сама Windows с рабочим столом.
Ошибка большинства таблиц в интернете в том, что они считают только первый кусок. Для короткого диалога это почти верно, но стоит загрузить в модель длинный документ или кодовую базу, и кэш легко добавляет ещё треть или половину к весам.
Формула видеопамяти: что складываем и от чего зависит каждая часть
Веса модели: параметры × байты на параметр
Число параметров пишут в названии и на карточке модели: Qwen3-8B содержит 8,2 млрд параметров, Qwen3-14B 14,8 млрд, Qwen3-32B 32,8 млрд. Берите полное число, а не округлённое из названия: разница в 0,2–0,8 млрд даёт лишние полгигабайта, и именно их потом не хватает.
Байты на параметр задаёт формат. Исходные веса хранятся в BF16 или FP16, это 2 байта. Для локального запуска их почти всегда квантуют в GGUF, и у каждого типа квантования есть средняя битность на вес, которую указывает документация llama.cpp. Делим её на 8 и получаем байты.
| Формат | Бит на вес | Байт на параметр | Llama 3.1 8B, файл |
|---|---|---|---|
| F16 | 16,0 | 2,0 | 14,96 ГиБ |
| Q8_0 | 8,50 | 1,06 | 7,95 ГиБ |
| Q6_K | 6,56 | 0,82 | 6,14 ГиБ |
| Q5_K_M | 5,70 | 0,71 | 5,33 ГиБ |
| Q4_K_M | 4,89 | 0,61 | 4,58 ГиБ |
Обратите внимание: Q4 означает не ровно 4 бита. K-квантование хранит масштабы блоков и часть тензоров в большей точности, поэтому реальная цифра ближе к 4,9. Отсюда и практическое правило: размер GGUF-файла почти равен размеру весов в памяти. Если файл весит 18 ГБ, столько же он займёт в видеокарте до учёта кэша.
У моделей MoE (смесь экспертов, например Qwen3-30B-A3B) считать нужно все параметры, а не активные. Активные 3B определяют скорость, но в памяти лежат все эксперты целиком.
KV-кэш: сколько памяти занимает контекст
На каждый токен контекста модель хранит в каждом слое два вектора, ключ (K) и значение (V). Отсюда формула:
KV-кэш = 2 × число слоёв × длина контекста × число KV-голов × размер головы × байты на элемент.
Все величины, кроме контекста и байтов, берутся из config.json на странице модели в Hugging Face. Нужны поля num_hidden_layers, num_key_value_heads и head_dim. Если head_dim нет, его получают делением hidden_size на num_attention_heads.
Расчёт по config.json Qwen3-8B
Откройте карточку Qwen3-8B, вкладку Files and versions, файл config.json. Там 36 слоёв, 32 головы внимания, но всего 8 KV-голов, и размер головы 128. Кэш по умолчанию хранится в FP16, это 2 байта.
- На один токен: 2 × 36 × 8 × 128 × 2 = 147 456 байт, то есть 144 КиБ.
- Контекст 8K (8192 токена): 144 КиБ × 8192 = 1,125 ГиБ.
- Контекст 32K: в четыре раза больше, 4,5 ГиБ.
Ключевая деталь здесь GQA, групповое внимание. Если бы у модели было 32 KV-головы по числу голов внимания, кэш вырос бы вчетверо, до 18 ГиБ на 32K. Именно эту ошибку делают калькуляторы, которые подставляют в формулу num_attention_heads вместо num_key_value_heads.
Для остальных моделей из примеров ниже: у Qwen3-14B 40 слоёв и 8 KV-голов, это 160 КиБ на токен; у Qwen3-32B 64 слоя, 256 КиБ; у Llama 3.3 70B 80 слоёв, 320 КиБ. Видно, что кэш растёт с числом слоёв, а не с числом параметров напрямую.
Запас на среду: почему из 8 ГБ свободно меньше
Карта на 8 ГБ никогда не отдаёт нейросети все 8. Часть занимает драйвер и контекст CUDA, часть рабочий стол Windows, особенно на мониторе 4K или с двумя мониторами. Браузер, Discord, Telegram и Blender с аппаратным ускорением тоже держат по несколько сотен мегабайт видеопамяти.
Поверх этого llama.cpp выделяет рабочие буферы для вычислений, их размер зависит от длины пакета обработки и контекста. В расчётах ниже на всю среду заложен 1 ГБ, и это нижняя оценка для чистой системы.
Простое правило: перед запуском откройте диспетчер задач и посмотрите, сколько выделенной памяти графического процессора уже занято. Эту цифру вычтите из объёма карты, оставшееся и есть ваш бюджет. Если карта стоит вторая, а монитор подключён к встроенной графике процессора, бюджет почти совпадает с полным объёмом.
Пример расчёта видеопамяти для нейросети: 8B, 14B, 32B и 70B
Ниже итог по формуле для четырёх актуальных открытых моделей: веса по байтам на параметр из таблицы выше, KV-кэш в FP16 по их config.json и 1 ГБ на среду. Это расчёт, а не замер: реальная цифра в программе может отличаться на 0,5–1 ГБ в зависимости от размера буферов.
Расчёт по формуле: веса + KV-кэш FP16 + 1 ГБ среды, в ГиБ
| Модель и формат | Веса | Контекст 8K | Контекст 32K |
|---|---|---|---|
| Qwen3-8B, FP16 | 15,3 | 17,4 | 20,8 |
| Qwen3-8B, Q8_0 | 8,1 | 10,2 | 13,6 |
| Qwen3-8B, Q4_K_M | 4,7 | 6,8 | 10,2 |
| Qwen3-14B, FP16 | 27,6 | 29,8 | 33,6 |
| Qwen3-14B, Q8_0 | 14,6 | 16,9 | 20,7 |
| Qwen3-14B, Q4_K_M | 8,4 | 10,7 | 14,4 |
| Qwen3-32B, FP16 | 61,1 | 64,1 | 70,1 |
| Qwen3-32B, Q8_0 | 32,5 | 35,5 | 41,5 |
| Qwen3-32B, Q4_K_M | 18,7 | 21,7 | 27,7 |
| Llama 3.3 70B, FP16 | 131,5 | 135,0 | 142,5 |
| Llama 3.3 70B, Q8_0 | 69,9 | 73,4 | 80,9 |
| Llama 3.3 70B, Q4_K_M | 40,2 | 43,7 | 51,2 |
Из таблицы видны две закономерности. Переход с Q8 на Q4 экономит больше, чем сокращение контекста, поэтому квантование весов первое, что стоит менять. А вот для 32B и 70B разница между 8K и 32K уже 6–7,5 ГБ, и здесь длина контекста решает, хватит ли карты.
Влезет ли модель в видеокарту на 8, 12, 16, 24 и 32 ГБ
Матрица построена по итогам из таблицы выше. «Да» означает, что после загрузки остаётся 2 ГБ и больше на рабочий стол и программы. «Впритык» означает запас меньше 2 ГБ: модель встанет, если закрыть браузер и тяжёлые приложения. «Нет» означает, что часть слоёв уйдёт в оперативную память.
Влезет ли модель целиком в видеопамять: расчёт для KV-кэша FP16
| Карта | 8B Q4, 8K | 8B Q8, 8K | 14B Q4, 8K | 14B Q4, 32K | 32B Q4, 8K | 32B Q4, 32K | 70B Q4, 8K |
|---|---|---|---|---|---|---|---|
| 8 ГБ | впритык | нет | нет | нет | нет | нет | нет |
| 12 ГБ | да | впритык | впритык | нет | нет | нет | нет |
| 16 ГБ | да | да | да | впритык | нет | нет | нет |
| 24 ГБ | да | да | да | да | да | нет | нет |
| 32 ГБ | да | да | да | да | да | да | нет |
Строка 24 ГБ показывает, почему эта память остаётся самой ходовой для локальных моделей: в неё входит весь класс до 32B в Q4. Если сжать кэш до q8_0, 32B с контекстом 32K тоже встаёт на 24 ГБ впритык (расчёт 23,7 ГиБ). Модели 70B на одной потребительской карте не помещаются даже в Q4. Как выбор памяти влияет на саму покупку, мы разбирали в материале про RTX 5090 и RTX 4090 для 3D, а сколько памяти просят сцены и рендер, описано в статье о видеопамяти для 3D.
Видеопамять для Stable Diffusion, SDXL и Flux
Диффузионные модели считаются иначе. KV-кэша в языковом смысле у них нет, зато есть три отдельных компонента: текстовые энкодеры, которые превращают промпт в вектор, сама диффузионная сеть (UNet или трансформер) и VAE, который переводит результат из латентного пространства в пиксели. Плюс активации, а они растут с разрешением картинки и размером пакета.
- SDXL. Базовая модель около 3 млрд параметров с двумя энкодерами CLIP. В FP16 веса занимают порядка 6 ГБ по расчёту, поэтому SDXL уверенно работает на 8 ГБ, а на 12 ГБ остаётся место под ControlNet и LoRA.
- Flux.1 dev. Трансформер на 12 млрд параметров: в BF16 это около 24 ГБ одних весов. Документация diffusers оценивает все компоненты вместе примерно в 50 ГБ, главным образом из-за энкодера T5-XXL.
- Как Flux помещают в 12–16 ГБ. Трансформер берут в FP8 (вдвое меньше), энкодер T5 тоже в FP8, а компоненты загружаются по очереди: сначала энкодер считает промпт и выгружается, потом работает трансформер. ComfyUI так делает сам, а версию T5 в FP16 его документация советует только при памяти больше 32 ГБ.
Отсюда главный вывод: для картинок важна не сумма всех файлов, а самый крупный компонент плюс активации на нужном разрешении. Если генерация падает только на 1536 px и выше, виноваты активации, и помогает тайлинг VAE, а не другая модель. Подробнее о работе с генераторами в 3D-задачах написано в статье про Stable Diffusion для 3D-дизайнеров.
3D-генераторы: где искать требования к памяти
Генераторы 3D-моделей по картинке устроены как цепочка из нескольких сетей: одна строит форму, другая текстуру, иногда третья удаляет фон. Формула для них не работает, потому что пик памяти приходится на конкретный этап, а не на сумму весов.
Требования здесь надо брать из README репозитория модели: разработчики обычно пишут минимальную память отдельно для генерации формы и для генерации текстуры. Если в описании указано одно число, проверьте, для какого этапа оно дано. Какие генераторы на каком железе реально работают и сколько ждать результата, разобрано в отдельной статье о локальном запуске 3D-генераторов.
Если модель не влезает: выгрузка слоёв, сжатие кэша, короткий контекст
Есть три рычага, и применять их стоит в таком порядке.
Что делать, если расчёт превышает объём карты
- Сократить контекстне ставьте 32K «на всякий случай»: для чата и скриптов хватает 8K, это минус несколько гигабайт кэша
- Сжать KV-кэшв Ollama переменная OLLAMA_KV_CACHE_TYPE=q8_0 вдвое уменьшает кэш, q4_0 вчетверо; нужен включённый Flash Attention
- Взять квантование нижеQ5_K_M или Q4_K_M вместо Q8_0; ниже Q4 качество у небольших моделей заметно падает
- Выгрузить часть слоёв в ОЗУпоследнее средство: модель работает, но медленнее
Про сжатие кэша есть оговорка из документации Ollama: у моделей с сильным групповым вниманием, где на одну KV-голову приходится много голов запроса, квантование кэша сильнее бьёт по точности. Проверьте на своих задачах, особенно на длинных документах.
Выгрузка слоёв работает так: часть слоёв лежит в видеопамяти, часть в обычной, и процессор считает свою долю сам. Скорость генерации при этом определяется пропускной способностью оперативной памяти, а она у DDR5 в разы ниже, чем у GDDR видеокарты. Поэтому даже 20% слоёв в ОЗУ заметно замедляют ответ. Критерий простой: если скорость упала ниже той, с которой вы успеваете читать, лучше взять модель на ступень меньше.
На Windows есть ещё ловушка драйвера NVIDIA: при нехватке памяти он может молча использовать системную ОЗУ как продолжение видеопамяти. Ollama при этом показывает «100% GPU», а скорость падает в несколько раз. Отключается это в панели управления NVIDIA, параметр CUDA Sysmem Fallback Policy, значение Prefer No Sysmem Fallback.
Общая память вместо видеопамяти: Mac и мини-ПК
У Mac на Apple Silicon и мини-ПК на AMD Ryzen AI Max нет отдельной видеопамяти: процессор и графика берут из одной общей. Формула та же, но бюджет считается от общего объёма за вычетом того, что нужно системе и программам, и не весь объём система отдаёт графике по умолчанию.
Плюс такого подхода: модели 70B в Q4, которым нужно больше 40 ГБ, помещаются целиком на машине с 64–128 ГБ общей памяти. Минус: пропускная способность такой памяти ниже, чем у топовых видеокарт, и генерация идёт медленнее, чем на карте, куда модель влезла бы. Сравнение таких машин с обычным ПК и первые шаги в Ollama и LM Studio разобраны в статье про нейросети на своём ПК.
Две видеокарты: когда память для нейросети складывается
Для языковых моделей память двух карт складывается. llama.cpp по умолчанию раскладывает слои между картами пропорционально их объёму, Ollama и LM Studio делают то же автоматически. Две карты по 24 ГБ дают 48 ГБ, и Llama 3.3 70B в Q4 с контекстом 8K (расчёт 43,7 ГиБ) на них помещается. Карты при этом работают по очереди, слой за слоем, так что скорость не удваивается, зато модель не уходит в ОЗУ.
С рендером в Cycles всё наоборот: каждая карта держит полную копию сцены, и объём памяти не складывается, складывается только скорость. Поэтому вторая карта для Blender и вторая карта для нейросетей это разные покупки. Для диффузионных моделей в ComfyUI вторая карта обычно помогает только тем, что на неё можно вынести текстовый энкодер. Как выбирать и проверять подержанную вторую карту, описано в материале про б/у видеокарту под 3D.
Как проверить расход видеопамяти на своём ПК
Расчёт полезно сверить с реальностью: так вы узнаете свою поправку на среду и дальше будете считать точнее.
- nvidia-smi. В командной строке выполните
nvidia-smiдо и после загрузки модели. Колонка Memory-Usage покажет занятое и общее, внизу список процессов с их долей. Разница до и после и есть расход модели. - Диспетчер задач. Вкладка «Производительность», раздел графического процессора. Смотрите «Выделенную память»: это видеопамять карты. Если растёт «Общая память», значит, данные уже уходят в ОЗУ.
- Ollama. Команда
ollama psпоказывает размер загруженной модели и колонку Processor: «100% GPU» означает, что всё в видеокарте, а запись вида «48%/52% CPU/GPU» говорит о частичной выгрузке. По умолчанию Ollama ставит контекст 4096 токенов, больший задаётся переменной OLLAMA_CONTEXT_LENGTH. - LM Studio. В настройках загрузки модели есть ползунок GPU Offload (число слоёв на видеокарте) и длина контекста; программа показывает оценку памяти до загрузки.
- llama.cpp. В логе запуска есть строка о том, сколько слоёв выгружено на GPU, например «offloaded 37/37 layers», и размер KV-кэша.
Признак, что всё получилось: все слои на GPU, «Общая память» в диспетчере не растёт, скорость не падает с ростом диалога. Признак проблемы: скорость резко проседает после нескольких длинных сообщений, значит кэш перестал помещаться.
Онлайн-калькуляторы VRAM: где они ошибаются
Калькуляторы удобны для быстрой прикидки, но у них повторяются одни и те же промахи. Проверьте результат по этому списку.
- Не учитывают GQA. Подставляют полное число голов, и кэш выходит в 4–8 раз больше настоящего.
- Считают Q4 как ровно 4 бита. Реальный Q4_K_M ближе к 4,9 бит, ошибка около 20% на весах.
- Путают ГБ и ГиБ. Объём карты указан в гибибайтах, а размер модели иногда в десятичных гигабайтах, разница около 7%.
- Не знают об особенностях архитектуры. Модели со скользящим окном внимания (например, Gemma) хранят полный кэш не во всех слоях, и калькулятор завышает расход.
- Для MoE берут активные параметры. Память занимают все эксперты.
Лучшая проверка: посчитайте сами по config.json один раз для своей модели и сравните с калькулятором. Если расходится больше чем на гигабайт, ищите, какую из пяти ошибок он допустил.
Какую видеокарту брать под нейросети: итог
Если карта уже есть, считайте от неё: 8 ГБ это модели до 8B в Q4 и SDXL; 12 ГБ добавляют 14B в Q4 с коротким контекстом и Flux в FP8; 16 ГБ дают 14B с длинным контекстом. Если карту выбираете, ориентир 24 ГБ и больше: в них помещается класс 32B, а это заметный скачок в качестве ответов. 32 ГБ оставляют запас под длинный контекст. Для 70B нужны две карты или машина с общей памятью.
Помните, что та же карта будет рендерить в Blender: какие модели сильны в Cycles на каждом бюджете, сказано в статье о видеокарте для Blender, а готовые конфигурации есть в разборе сборки ПК для 3D. Начните с одного шага: откройте config.json модели, которую хотите запустить, и посчитайте её по формуле для своего контекста.
Частые вопросы
Сколько видеопамяти нужно для нейросети на 8 миллиардов параметров?
В формате Q4_K_M веса модели 8B занимают около 4,7 ГБ, с кэшем на 8K и средой расчёт даёт 6,5–7 ГБ. В Q8_0 нужно около 10 ГБ, в FP16 больше 17 ГБ. Поэтому для 8B хватает карты на 8 ГБ, но комфортнее 12 ГБ.
Сколько VRAM нужно для модели 70B?
Даже в Q4_K_M одни веса Llama 3.3 70B по расчёту занимают около 40 ГиБ, с контекстом 8K около 44. Это две карты по 24 ГБ, карта профессионального класса или Mac и мини-ПК с общей памятью от 64 ГБ. На одной потребительской карте модель работает только с выгрузкой большей части слоёв в ОЗУ.
Сколько памяти занимает KV-кэш на 128K контекста?
Кэш растёт линейно, поэтому 128K в четыре раза больше, чем 32K. Для Qwen3-8B это 18 ГиБ в FP16, для Qwen3-32B 32 ГиБ, то есть больше, чем сами веса в Q4. Такой контекст реален только со сжатием кэша до q8_0 или q4_0 и на картах с большим объёмом.
Можно ли запустить нейросеть, если видеопамяти не хватает?
Да, Ollama, LM Studio и llama.cpp сами выгружают часть слоёв в оперативную память. Модель работает, но медленнее, потому что ОЗУ передаёт данные в разы медленнее видеопамяти. Если ответы идут медленнее, чем вы читаете, возьмите модель меньше или квантование ниже.
Что лучше: 14B в Q8 или 32B в Q4?
По памяти они близки: около 17 и 22 ГБ с контекстом 8K по расчёту. Обычно бо́льшая модель в Q4 отвечает лучше меньшей в Q8, потому что потери от Q4_K_M невелики. Если карта на 24 ГБ, разумно пробовать 32B в Q4, а на 16 ГБ остаётся 14B.
Нужна ли видеопамять для Flux больше, чем для SDXL?
Да, примерно в четыре раза: диффузионная часть Flux.1 dev имеет 12 млрд параметров против около 3 млрд у всей SDXL, и к нему добавляется крупный текстовый энкодер T5-XXL. На 8 ГБ Flux запускают только в сильно квантованных версиях, комфортно он работает от 16 ГБ в FP8.
Почему Ollama пишет 100% GPU, а модель всё равно медленная?
На Windows драйвер NVIDIA может незаметно занимать системную память, когда видеопамять кончилась, и Ollama этого не видит. Откройте диспетчер задач: если растёт «Общая память графического процессора», это оно. Отключите CUDA Sysmem Fallback Policy в панели NVIDIA или сократите контекст.
Совет напоследок: запишите для своей карты, сколько видеопамяти занято сразу после загрузки Windows. Эта одна цифра делает любой расчёт по формуле точным до полугигабайта.


