Перейти к содержимому
Мастерская аналитика · 18 ноября 2026

Видеопамять для нейросети: формула и расчёт под вашу карту

автор web3D.pro чтение 18 мин обновлено 18 ноября 2026 Telegram X
Видеопамять для нейросети: формула и расчёт под вашу карту

Видеопамять для нейросети считается заранее, на бумаге, за пару минут. Не нужно скачивать 20 ГБ модели, чтобы узнать, что она не встала в карту и Ollama тихо перекинула половину слоёв в оперативную память. Нужны три числа: сколько у модели параметров, в какой битности вы её запускаете и какой длины контекст вам нужен. Всё остальное есть в файле config.json на странице модели.

Тема стала практической: открытые модели на 8–32 миллиарда параметров уже решают рабочие задачи 3D-художника (скрипты для Blender, разбор документации, описания ассетов), а генераторы картинок вроде Flux требуют памяти больше, чем многие игровые карты. Ошибка в расчёте стоит либо медленной генерации, либо покупки не той видеокарты.

Реклама
Реклама

Коротко о главном:

  • Как посчитать видеопамять для нейросети? Параметры модели умножаются на байты на параметр (2 в FP16, около 1,06 в Q8_0, около 0,61 в Q4_K_M), к ним прибавляется KV-кэш, который растёт с длиной контекста, и около 1 ГБ на среду. Модель 8B в Q4 с контекстом 8K по такому расчёту занимает 6,5–7 ГБ и встаёт в карту на 8 ГБ впритык.
  • Хватит ли 8 ГБ? Для моделей до 8B в Q4 и контекста до 8K да, если не держать открытыми тяжёлые программы. 14B уже не помещается целиком.
  • Влезет ли 32B в 24 ГБ? В Q4_K_M с контекстом 8K да, расчёт даёт около 22 ГБ. Контекст 32K без сжатия кэша уже не помещается.
  • Сколько занимает контекст 32K? Зависит от архитектуры: у Qwen3-8B это 4,5 ГБ в FP16, у Qwen3-32B 8 ГБ, у Llama 3.3 70B 10 ГБ.
  • Складывается ли память двух карт? Для языковых моделей да: llama.cpp и Ollama раскладывают слои по картам. Для генераторов картинок обычно нет.
  • Сколько нужно для SDXL и Flux? SDXL работает на 8 ГБ в FP16. Flux.1 dev с 12 млрд параметров весит около 24 ГБ в BF16, на картах 12–16 ГБ его запускают в FP8 или с выгрузкой энкодера.

Дальше по порядку: формулы с расшифровкой, расчёт по реальному config.json, таблица для четырёх моделей, матрица «влезет ли» для карт от 8 до 32 ГБ, генераторы изображений, что делать, если не помещается, и как проверить расход на своём ПК.

Крупная и компактная видеокарты рядом: разный объём видеопамяти под нейросети

Из чего складывается видеопамять для нейросети

Языковая модель в видеокарте занимает место тремя кусками. Первый и самый крупный: веса, то есть сами параметры сети. Второй: KV-кэш, в котором модель хранит уже прочитанный текст, чтобы не пересчитывать его на каждом новом слове. Третий: служебная память, куда входят рабочие буферы для вычислений, контекст CUDA и то, что занимает сама Windows с рабочим столом.

Ошибка большинства таблиц в интернете в том, что они считают только первый кусок. Для короткого диалога это почти верно, но стоит загрузить в модель длинный документ или кодовую базу, и кэш легко добавляет ещё треть или половину к весам.

Формула видеопамяти: что складываем и от чего зависит каждая часть

часть 1Веса = параметры × байты на параметрзависит от размера модели и квантования: FP16, Q8_0, Q4_K_M
часть 2KV-кэш = 2 × слои × контекст × KV-головы × размер головы × байтызависит от архитектуры (GQA), длины контекста и битности кэша
часть 3Среда ≈ 1 ГБ + рабочий столбуферы вычислений, контекст CUDA, окна Windows, браузер с аппаратным ускорением
итогНужно ≤ объём карты минус 1–2 ГБесли больше, часть слоёв уходит в ОЗУ и скорость падает

Веса модели: параметры × байты на параметр

Число параметров пишут в названии и на карточке модели: Qwen3-8B содержит 8,2 млрд параметров, Qwen3-14B 14,8 млрд, Qwen3-32B 32,8 млрд. Берите полное число, а не округлённое из названия: разница в 0,2–0,8 млрд даёт лишние полгигабайта, и именно их потом не хватает.

Байты на параметр задаёт формат. Исходные веса хранятся в BF16 или FP16, это 2 байта. Для локального запуска их почти всегда квантуют в GGUF, и у каждого типа квантования есть средняя битность на вес, которую указывает документация llama.cpp. Делим её на 8 и получаем байты.

Формат Бит на вес Байт на параметр Llama 3.1 8B, файл
F16 16,0 2,0 14,96 ГиБ
Q8_0 8,50 1,06 7,95 ГиБ
Q6_K 6,56 0,82 6,14 ГиБ
Q5_K_M 5,70 0,71 5,33 ГиБ
Q4_K_M 4,89 0,61 4,58 ГиБ

Обратите внимание: Q4 означает не ровно 4 бита. K-квантование хранит масштабы блоков и часть тензоров в большей точности, поэтому реальная цифра ближе к 4,9. Отсюда и практическое правило: размер GGUF-файла почти равен размеру весов в памяти. Если файл весит 18 ГБ, столько же он займёт в видеокарте до учёта кэша.

У моделей MoE (смесь экспертов, например Qwen3-30B-A3B) считать нужно все параметры, а не активные. Активные 3B определяют скорость, но в памяти лежат все эксперты целиком.

KV-кэш: сколько памяти занимает контекст

На каждый токен контекста модель хранит в каждом слое два вектора, ключ (K) и значение (V). Отсюда формула:

KV-кэш = 2 × число слоёв × длина контекста × число KV-голов × размер головы × байты на элемент.

Все величины, кроме контекста и байтов, берутся из config.json на странице модели в Hugging Face. Нужны поля num_hidden_layers, num_key_value_heads и head_dim. Если head_dim нет, его получают делением hidden_size на num_attention_heads.

Расчёт по config.json Qwen3-8B

Откройте карточку Qwen3-8B, вкладку Files and versions, файл config.json. Там 36 слоёв, 32 головы внимания, но всего 8 KV-голов, и размер головы 128. Кэш по умолчанию хранится в FP16, это 2 байта.

  1. На один токен: 2 × 36 × 8 × 128 × 2 = 147 456 байт, то есть 144 КиБ.
  2. Контекст 8K (8192 токена): 144 КиБ × 8192 = 1,125 ГиБ.
  3. Контекст 32K: в четыре раза больше, 4,5 ГиБ.

Ключевая деталь здесь GQA, групповое внимание. Если бы у модели было 32 KV-головы по числу голов внимания, кэш вырос бы вчетверо, до 18 ГиБ на 32K. Именно эту ошибку делают калькуляторы, которые подставляют в формулу num_attention_heads вместо num_key_value_heads.

Для остальных моделей из примеров ниже: у Qwen3-14B 40 слоёв и 8 KV-голов, это 160 КиБ на токен; у Qwen3-32B 64 слоя, 256 КиБ; у Llama 3.3 70B 80 слоёв, 320 КиБ. Видно, что кэш растёт с числом слоёв, а не с числом параметров напрямую.

Реклама

Запас на среду: почему из 8 ГБ свободно меньше

Карта на 8 ГБ никогда не отдаёт нейросети все 8. Часть занимает драйвер и контекст CUDA, часть рабочий стол Windows, особенно на мониторе 4K или с двумя мониторами. Браузер, Discord, Telegram и Blender с аппаратным ускорением тоже держат по несколько сотен мегабайт видеопамяти.

Поверх этого llama.cpp выделяет рабочие буферы для вычислений, их размер зависит от длины пакета обработки и контекста. В расчётах ниже на всю среду заложен 1 ГБ, и это нижняя оценка для чистой системы.

Простое правило: перед запуском откройте диспетчер задач и посмотрите, сколько выделенной памяти графического процессора уже занято. Эту цифру вычтите из объёма карты, оставшееся и есть ваш бюджет. Если карта стоит вторая, а монитор подключён к встроенной графике процессора, бюджет почти совпадает с полным объёмом.

Пример расчёта видеопамяти для нейросети: 8B, 14B, 32B и 70B

Ниже итог по формуле для четырёх актуальных открытых моделей: веса по байтам на параметр из таблицы выше, KV-кэш в FP16 по их config.json и 1 ГБ на среду. Это расчёт, а не замер: реальная цифра в программе может отличаться на 0,5–1 ГБ в зависимости от размера буферов.

Расчёт по формуле: веса + KV-кэш FP16 + 1 ГБ среды, в ГиБ

Модель и формат Веса Контекст 8K Контекст 32K
Qwen3-8B, FP16 15,3 17,4 20,8
Qwen3-8B, Q8_0 8,1 10,2 13,6
Qwen3-8B, Q4_K_M 4,7 6,8 10,2
Qwen3-14B, FP16 27,6 29,8 33,6
Qwen3-14B, Q8_0 14,6 16,9 20,7
Qwen3-14B, Q4_K_M 8,4 10,7 14,4
Qwen3-32B, FP16 61,1 64,1 70,1
Qwen3-32B, Q8_0 32,5 35,5 41,5
Qwen3-32B, Q4_K_M 18,7 21,7 27,7
Llama 3.3 70B, FP16 131,5 135,0 142,5
Llama 3.3 70B, Q8_0 69,9 73,4 80,9
Llama 3.3 70B, Q4_K_M 40,2 43,7 51,2

Из таблицы видны две закономерности. Переход с Q8 на Q4 экономит больше, чем сокращение контекста, поэтому квантование весов первое, что стоит менять. А вот для 32B и 70B разница между 8K и 32K уже 6–7,5 ГБ, и здесь длина контекста решает, хватит ли карты.

Влезет ли модель в видеокарту на 8, 12, 16, 24 и 32 ГБ

Матрица построена по итогам из таблицы выше. «Да» означает, что после загрузки остаётся 2 ГБ и больше на рабочий стол и программы. «Впритык» означает запас меньше 2 ГБ: модель встанет, если закрыть браузер и тяжёлые приложения. «Нет» означает, что часть слоёв уйдёт в оперативную память.

Влезет ли модель целиком в видеопамять: расчёт для KV-кэша FP16

Карта 8B Q4, 8K 8B Q8, 8K 14B Q4, 8K 14B Q4, 32K 32B Q4, 8K 32B Q4, 32K 70B Q4, 8K
8 ГБ впритык нет нет нет нет нет нет
12 ГБ да впритык впритык нет нет нет нет
16 ГБ да да да впритык нет нет нет
24 ГБ да да да да да нет нет
32 ГБ да да да да да да нет

Строка 24 ГБ показывает, почему эта память остаётся самой ходовой для локальных моделей: в неё входит весь класс до 32B в Q4. Если сжать кэш до q8_0, 32B с контекстом 32K тоже встаёт на 24 ГБ впритык (расчёт 23,7 ГиБ). Модели 70B на одной потребительской карте не помещаются даже в Q4. Как выбор памяти влияет на саму покупку, мы разбирали в материале про RTX 5090 и RTX 4090 для 3D, а сколько памяти просят сцены и рендер, описано в статье о видеопамяти для 3D.

Реклама

Видеопамять для Stable Diffusion, SDXL и Flux

Диффузионные модели считаются иначе. KV-кэша в языковом смысле у них нет, зато есть три отдельных компонента: текстовые энкодеры, которые превращают промпт в вектор, сама диффузионная сеть (UNet или трансформер) и VAE, который переводит результат из латентного пространства в пиксели. Плюс активации, а они растут с разрешением картинки и размером пакета.

  • SDXL. Базовая модель около 3 млрд параметров с двумя энкодерами CLIP. В FP16 веса занимают порядка 6 ГБ по расчёту, поэтому SDXL уверенно работает на 8 ГБ, а на 12 ГБ остаётся место под ControlNet и LoRA.
  • Flux.1 dev. Трансформер на 12 млрд параметров: в BF16 это около 24 ГБ одних весов. Документация diffusers оценивает все компоненты вместе примерно в 50 ГБ, главным образом из-за энкодера T5-XXL.
  • Как Flux помещают в 12–16 ГБ. Трансформер берут в FP8 (вдвое меньше), энкодер T5 тоже в FP8, а компоненты загружаются по очереди: сначала энкодер считает промпт и выгружается, потом работает трансформер. ComfyUI так делает сам, а версию T5 в FP16 его документация советует только при памяти больше 32 ГБ.

Отсюда главный вывод: для картинок важна не сумма всех файлов, а самый крупный компонент плюс активации на нужном разрешении. Если генерация падает только на 1536 px и выше, виноваты активации, и помогает тайлинг VAE, а не другая модель. Подробнее о работе с генераторами в 3D-задачах написано в статье про Stable Diffusion для 3D-дизайнеров.

3D-генераторы: где искать требования к памяти

Генераторы 3D-моделей по картинке устроены как цепочка из нескольких сетей: одна строит форму, другая текстуру, иногда третья удаляет фон. Формула для них не работает, потому что пик памяти приходится на конкретный этап, а не на сумму весов.

Требования здесь надо брать из README репозитория модели: разработчики обычно пишут минимальную память отдельно для генерации формы и для генерации текстуры. Если в описании указано одно число, проверьте, для какого этапа оно дано. Какие генераторы на каком железе реально работают и сколько ждать результата, разобрано в отдельной статье о локальном запуске 3D-генераторов.

Если модель не влезает: выгрузка слоёв, сжатие кэша, короткий контекст

Есть три рычага, и применять их стоит в таком порядке.

Что делать, если расчёт превышает объём карты

  1. Сократить контекстне ставьте 32K «на всякий случай»: для чата и скриптов хватает 8K, это минус несколько гигабайт кэша
  2. Сжать KV-кэшв Ollama переменная OLLAMA_KV_CACHE_TYPE=q8_0 вдвое уменьшает кэш, q4_0 вчетверо; нужен включённый Flash Attention
  3. Взять квантование нижеQ5_K_M или Q4_K_M вместо Q8_0; ниже Q4 качество у небольших моделей заметно падает
  4. Выгрузить часть слоёв в ОЗУпоследнее средство: модель работает, но медленнее

Про сжатие кэша есть оговорка из документации Ollama: у моделей с сильным групповым вниманием, где на одну KV-голову приходится много голов запроса, квантование кэша сильнее бьёт по точности. Проверьте на своих задачах, особенно на длинных документах.

Выгрузка слоёв работает так: часть слоёв лежит в видеопамяти, часть в обычной, и процессор считает свою долю сам. Скорость генерации при этом определяется пропускной способностью оперативной памяти, а она у DDR5 в разы ниже, чем у GDDR видеокарты. Поэтому даже 20% слоёв в ОЗУ заметно замедляют ответ. Критерий простой: если скорость упала ниже той, с которой вы успеваете читать, лучше взять модель на ступень меньше.

На Windows есть ещё ловушка драйвера NVIDIA: при нехватке памяти он может молча использовать системную ОЗУ как продолжение видеопамяти. Ollama при этом показывает «100% GPU», а скорость падает в несколько раз. Отключается это в панели управления NVIDIA, параметр CUDA Sysmem Fallback Policy, значение Prefer No Sysmem Fallback.

Реклама

Общая память вместо видеопамяти: Mac и мини-ПК

У Mac на Apple Silicon и мини-ПК на AMD Ryzen AI Max нет отдельной видеопамяти: процессор и графика берут из одной общей. Формула та же, но бюджет считается от общего объёма за вычетом того, что нужно системе и программам, и не весь объём система отдаёт графике по умолчанию.

Плюс такого подхода: модели 70B в Q4, которым нужно больше 40 ГБ, помещаются целиком на машине с 64–128 ГБ общей памяти. Минус: пропускная способность такой памяти ниже, чем у топовых видеокарт, и генерация идёт медленнее, чем на карте, куда модель влезла бы. Сравнение таких машин с обычным ПК и первые шаги в Ollama и LM Studio разобраны в статье про нейросети на своём ПК.

Две видеокарты: когда память для нейросети складывается

Для языковых моделей память двух карт складывается. llama.cpp по умолчанию раскладывает слои между картами пропорционально их объёму, Ollama и LM Studio делают то же автоматически. Две карты по 24 ГБ дают 48 ГБ, и Llama 3.3 70B в Q4 с контекстом 8K (расчёт 43,7 ГиБ) на них помещается. Карты при этом работают по очереди, слой за слоем, так что скорость не удваивается, зато модель не уходит в ОЗУ.

С рендером в Cycles всё наоборот: каждая карта держит полную копию сцены, и объём памяти не складывается, складывается только скорость. Поэтому вторая карта для Blender и вторая карта для нейросетей это разные покупки. Для диффузионных моделей в ComfyUI вторая карта обычно помогает только тем, что на неё можно вынести текстовый энкодер. Как выбирать и проверять подержанную вторую карту, описано в материале про б/у видеокарту под 3D.

Как проверить расход видеопамяти на своём ПК

Расчёт полезно сверить с реальностью: так вы узнаете свою поправку на среду и дальше будете считать точнее.

  • nvidia-smi. В командной строке выполните nvidia-smi до и после загрузки модели. Колонка Memory-Usage покажет занятое и общее, внизу список процессов с их долей. Разница до и после и есть расход модели.
  • Диспетчер задач. Вкладка «Производительность», раздел графического процессора. Смотрите «Выделенную память»: это видеопамять карты. Если растёт «Общая память», значит, данные уже уходят в ОЗУ.
  • Ollama. Команда ollama ps показывает размер загруженной модели и колонку Processor: «100% GPU» означает, что всё в видеокарте, а запись вида «48%/52% CPU/GPU» говорит о частичной выгрузке. По умолчанию Ollama ставит контекст 4096 токенов, больший задаётся переменной OLLAMA_CONTEXT_LENGTH.
  • LM Studio. В настройках загрузки модели есть ползунок GPU Offload (число слоёв на видеокарте) и длина контекста; программа показывает оценку памяти до загрузки.
  • llama.cpp. В логе запуска есть строка о том, сколько слоёв выгружено на GPU, например «offloaded 37/37 layers», и размер KV-кэша.

Признак, что всё получилось: все слои на GPU, «Общая память» в диспетчере не растёт, скорость не падает с ростом диалога. Признак проблемы: скорость резко проседает после нескольких длинных сообщений, значит кэш перестал помещаться.

Реклама

Онлайн-калькуляторы VRAM: где они ошибаются

Калькуляторы удобны для быстрой прикидки, но у них повторяются одни и те же промахи. Проверьте результат по этому списку.

  • Не учитывают GQA. Подставляют полное число голов, и кэш выходит в 4–8 раз больше настоящего.
  • Считают Q4 как ровно 4 бита. Реальный Q4_K_M ближе к 4,9 бит, ошибка около 20% на весах.
  • Путают ГБ и ГиБ. Объём карты указан в гибибайтах, а размер модели иногда в десятичных гигабайтах, разница около 7%.
  • Не знают об особенностях архитектуры. Модели со скользящим окном внимания (например, Gemma) хранят полный кэш не во всех слоях, и калькулятор завышает расход.
  • Для MoE берут активные параметры. Память занимают все эксперты.

Лучшая проверка: посчитайте сами по config.json один раз для своей модели и сравните с калькулятором. Если расходится больше чем на гигабайт, ищите, какую из пяти ошибок он допустил.

Какую видеокарту брать под нейросети: итог

Если карта уже есть, считайте от неё: 8 ГБ это модели до 8B в Q4 и SDXL; 12 ГБ добавляют 14B в Q4 с коротким контекстом и Flux в FP8; 16 ГБ дают 14B с длинным контекстом. Если карту выбираете, ориентир 24 ГБ и больше: в них помещается класс 32B, а это заметный скачок в качестве ответов. 32 ГБ оставляют запас под длинный контекст. Для 70B нужны две карты или машина с общей памятью.

Помните, что та же карта будет рендерить в Blender: какие модели сильны в Cycles на каждом бюджете, сказано в статье о видеокарте для Blender, а готовые конфигурации есть в разборе сборки ПК для 3D. Начните с одного шага: откройте config.json модели, которую хотите запустить, и посчитайте её по формуле для своего контекста.

Частые вопросы

Сколько видеопамяти нужно для нейросети на 8 миллиардов параметров?

В формате Q4_K_M веса модели 8B занимают около 4,7 ГБ, с кэшем на 8K и средой расчёт даёт 6,5–7 ГБ. В Q8_0 нужно около 10 ГБ, в FP16 больше 17 ГБ. Поэтому для 8B хватает карты на 8 ГБ, но комфортнее 12 ГБ.

Сколько VRAM нужно для модели 70B?

Даже в Q4_K_M одни веса Llama 3.3 70B по расчёту занимают около 40 ГиБ, с контекстом 8K около 44. Это две карты по 24 ГБ, карта профессионального класса или Mac и мини-ПК с общей памятью от 64 ГБ. На одной потребительской карте модель работает только с выгрузкой большей части слоёв в ОЗУ.

Сколько памяти занимает KV-кэш на 128K контекста?

Кэш растёт линейно, поэтому 128K в четыре раза больше, чем 32K. Для Qwen3-8B это 18 ГиБ в FP16, для Qwen3-32B 32 ГиБ, то есть больше, чем сами веса в Q4. Такой контекст реален только со сжатием кэша до q8_0 или q4_0 и на картах с большим объёмом.

Можно ли запустить нейросеть, если видеопамяти не хватает?

Да, Ollama, LM Studio и llama.cpp сами выгружают часть слоёв в оперативную память. Модель работает, но медленнее, потому что ОЗУ передаёт данные в разы медленнее видеопамяти. Если ответы идут медленнее, чем вы читаете, возьмите модель меньше или квантование ниже.

Что лучше: 14B в Q8 или 32B в Q4?

По памяти они близки: около 17 и 22 ГБ с контекстом 8K по расчёту. Обычно бо́льшая модель в Q4 отвечает лучше меньшей в Q8, потому что потери от Q4_K_M невелики. Если карта на 24 ГБ, разумно пробовать 32B в Q4, а на 16 ГБ остаётся 14B.

Нужна ли видеопамять для Flux больше, чем для SDXL?

Да, примерно в четыре раза: диффузионная часть Flux.1 dev имеет 12 млрд параметров против около 3 млрд у всей SDXL, и к нему добавляется крупный текстовый энкодер T5-XXL. На 8 ГБ Flux запускают только в сильно квантованных версиях, комфортно он работает от 16 ГБ в FP8.

Почему Ollama пишет 100% GPU, а модель всё равно медленная?

На Windows драйвер NVIDIA может незаметно занимать системную память, когда видеопамять кончилась, и Ollama этого не видит. Откройте диспетчер задач: если растёт «Общая память графического процессора», это оно. Отключите CUDA Sysmem Fallback Policy в панели NVIDIA или сократите контекст.

Совет напоследок: запишите для своей карты, сколько видеопамяти занято сразу после загрузки Windows. Эта одна цифра делает любой расчёт по формуле точным до полугигабайта.

Реклама

Оставить комментарий

© 2026 web3D.pro · все права защищены тема web3D Pro · made with html