Запустить языковую модель у себя на компьютере в 2026 году проще, чем поставить игру. Две программы, одна команда, и модель отвечает без интернета, без подписки и без отправки ваших файлов на чужой сервер. Вопрос только в том, какая модель поместится в вашу видеокарту и хватит ли её качества для ваших задач.
Разберём, что реально даёт локальный запуск, чем отличаются Ollama и LM Studio, как выбрать модель под конкретный объём видеопамяти и в каких случаях облако честно лучше.
Зачем запускать модель локально
Причин четыре, и они разной силы.
Данные не уходят наружу. Главный аргумент. Договоры, медицинские выписки, внутренние документы, клиентские базы, исходный код под NDA: всё это остаётся на вашем диске. Никакой политики хранения провайдера, никаких вопросов про обучение на ваших данных.
Нет платы за токены. Вы платите один раз за железо. Если гоняете модель по десять часов в день на пакетной обработке, экономия становится ощутимой быстро.
Работает без сети. В самолёте, на объекте, при перебоях с провайдером.
Нет фильтров и лимитов. Локальная модель не откажет из-за корпоративной политики и не упрётся в квоту в середине задачи.
Минус ровно один, но большой: качество. Про него честно поговорим ниже.
Ollama или LM Studio: что выбирать
Ollama
Инструмент командной строки с фоновым сервером. Ставится одним установщиком, дальше вся работа идёт командами вида ollama run с названием модели. Модель скачается сама при первом запуске.
Главная ценность в том, что Ollama поднимает локальный HTTP-сервер с интерфейсом, совместимым с OpenAI. Это значит, что любой код, который вы писали под облачный API, начинает работать с локальной моделью после смены одного адреса. Если вы делали что-то по нашему разбору Claude API на Python, тот же скрипт заведётся на Ollama почти без правок.
Кому подходит: разработчикам, тем, кто встраивает модель в свои скрипты и сервисы, тем, кому нужен сервер в фоне.
LM Studio
Программа с обычным окном. Встроенный каталог моделей с поиском, кнопка загрузки, чат в интерфейсе, ползунки параметров вроде температуры и длины контекста. Показывает, поместится ли выбранная модель в вашу видеопамять, ещё до скачивания, и это экономит нервы новичку.
Тоже умеет поднимать OpenAI-совместимый сервер, но включается это галкой, а не флагом в командной строке.
Кому подходит: тем, кто хочет попробовать без терминала, и тем, кто много экспериментирует с параметрами генерации. Что означают температура и top-p, разбиралось отдельно в статье про то, как нейросеть выбирает следующее слово.
Разумный сценарий: начать с LM Studio, чтобы пощупать модели глазами, и перейти на Ollama, когда дойдёт до автоматизации.
Сколько нужно видеопамяти
Это главный вопрос, и ответ на него определяет всё остальное. Модель должна целиком поместиться в память видеокарты, иначе часть слоёв уйдёт в оперативную память и скорость упадёт в разы.
Размер модели считается по числу параметров и по квантованию. Квантование это сжатие весов: вместо 16 бит на число берут 8, 5 или 4. Качество падает, но заметно меньше, чем размер. Стандарт де-факто это Q4_K_M, четырёхбитное квантование с приемлемыми потерями.
- 8 ГБ видеопамяти: модели на 7 до 9 миллиардов параметров в Q4. Это уровень бытового помощника: переписать текст, объяснить понятие, сделать простое резюме.
- 12 ГБ: те же модели с запасом на длинный контекст, либо 14 миллиардов в Q4.
- 16 ГБ: 14 до 24 миллиардов в Q4. Здесь начинается уровень, на котором модель уже прилично пишет код и держит длинные рассуждения.
- 24 ГБ: 32 миллиарда в Q4 или 14 миллиардов в Q8 с высоким качеством. Это разумный потолок для одной пользовательской карты.
- 48 ГБ и выше: 70 миллиардов параметров. Требует двух карт или профессиональной, для дома редко оправдано.
Отдельная история это Mac с объединённой памятью. Там видеопамять и оперативная это одно и то же, поэтому машина с 64 ГБ спокойно держит модель на 70 миллиардов. Скорость ниже, чем у дискретной видеокарты сопоставимого класса, но объём решает. Сравнение платформ по другим задачам мы делали в материале про RTX 5090 против RTX 4090.
Как выбрать модель
Ориентируйтесь не на общие рейтинги, а на задачу.
Работа с текстом на русском. Смотрите на модели, у которых русский заявлен в поддерживаемых языках явно. Многие западные модели на русском теряют заметную часть качества: начинают калькировать конструкции и путать падежи в длинных предложениях.
Код. Берите специализированные варианты моделей, обученные на репозиториях. На той же размерности они обыгрывают универсальные с большим отрывом.
Длинные документы. Здесь важны не параметры, а размер контекстного окна и то, сколько памяти он съедает. Контекст на 32 тысячи токенов может занять несколько гигабайт сверх самой модели.
Быстрые массовые задачи. Классификация писем, извлечение полей из документов, разметка. Для этого мелкой модели на 3 до 8 миллиардов достаточно, и она отработает в разы быстрее крупной.
Что локальная модель делает хорошо
- Переписывает и вычитывает текст, меняет тон, сокращает.
- Извлекает структурированные данные из неструктурированных документов.
- Классифицирует и размечает большие массивы записей.
- Отвечает на вопросы по вашим файлам, если поверх поставить поиск по документам. Как это устроено, разобрано в статье про RAG и базы знаний.
- Пишет шаблонный код и объясняет чужой.
Где она проигрывает облаку
Здесь важно не обманывать себя. Модель на 8 миллиардов параметров это не уменьшенная копия флагманской модели, это принципиально другой уровень.
- Длинные рассуждения. На задачах в несколько логических шагов локальные модели сбиваются заметно чаще.
- Фактическая точность. Меньше параметров означает меньше запомненных фактов и больше выдумок. Про природу этого явления мы писали в разборе галлюцинаций нейросетей.
- Работа с изображениями. Локальные мультимодальные модели существуют, но отстают сильно.
- Сложный код. Рефакторинг большого проекта локальной модели пока не по силам.
- Скорость на одиночном запросе. Домашняя карта выдаёт 20 до 60 токенов в секунду, облачный сервис часто быстрее.
Гибридная схема, которая работает
На практике удобнее не выбирать, а разделить поток задач.
Локально гоняется всё, что содержит чувствительные данные, и всё, что делается массово и однотипно. В облако уходят задачи, где нужно максимальное качество рассуждения и где данные не секретны.
Поскольку и Ollama, и LM Studio отдают OpenAI-совместимый интерфейс, переключение между локальной и облачной моделью в вашем коде сводится к смене адреса и названия модели. Один и тот же скрипт работает с обеими.
С чего начать за полчаса
- Посмотрите объём видеопамяти: в Windows это диспетчер задач, вкладка производительности.
- Поставьте LM Studio и найдите в каталоге модель на 7 до 8 миллиардов параметров в квантовании Q4_K_M.
- Скачайте, загрузите, задайте несколько своих реальных рабочих вопросов, а не тестовых.
- Если ответы устраивают, поставьте Ollama и повторите то же самое из командной строки.
- Включите режим сервера и попробуйте обратиться к модели из своего скрипта.
На этом этапе станет ясно, закрывает ли локальный запуск ваши задачи или нужен всё-таки облачный сервис.
Частые вопросы
Нужна ли видеокарта NVIDIA обязательно?
Нет, но с ней проще всего. Карты AMD работают через ROCm, поддержка есть, но настройка сложнее и не все модели заводятся с первого раза. На Apple Silicon всё работает из коробки и очень достойно за счёт объединённой памяти. На процессоре без видеокарты запустить тоже можно, но скорость будет неприемлемой для диалога.
Сколько места на диске занимают модели?
Модель на 7 миллиардов параметров в Q4 весит около 4 до 5 ГБ, на 14 миллиардов около 8 до 9 ГБ, на 32 миллиарда около 20 ГБ. Если планируете сравнивать несколько, закладывайте 100 ГБ свободного места, они накапливаются быстрее, чем кажется.
Насколько сильно квантование портит качество?
Переход с 16 бит на 8 практически незаметен. Переход на Q4 даёт небольшую, но уловимую потерю: модель чуть чаще путается в длинных инструкциях. Ниже четырёх бит качество падает резко, и такие варианты стоит брать только если модель иначе не помещается совсем.
Можно ли дообучить локальную модель на своих данных?
Можно, через дообучение адаптерами: оно требует заметно меньше ресурсов, чем полное обучение. Но в большинстве случаев это лишнее. Если задача сводится к тому, чтобы модель отвечала по вашим документам, дешевле и точнее поставить поиск по документам, а не переучивать веса.
Заменит ли локальная модель подписку на облачный сервис?
Для части задач да, для части нет. Честный тест такой: возьмите десять своих настоящих рабочих запросов за последнюю неделю и прогоните их через локальную модель. Если восемь из десяти закрыты, подписка вам, скорее всего, больше не нужна. Если четыре, оставьте обе и распределите поток.