На главную

DF-ИИ-037 · ИИ в работе команды

Локальная LLM на своём железе: память, лицензия и качество ответа

Редакция Deskforge · 17 ноября 2026 · 5 мин чтения
Локальная LLM на своём железе: память, лицензия и качество ответа
Из статьи вы узнаете
  • Как посчитать память под веса модели от числа параметров и бит
  • Чем отличаются методы квантования и что теряется при снижении бит
  • Как сверить требования рантайма с фактическим оборудованием
  • Чек-лист проверки качества модели на своём наборе задач

Выбор локальной модели часто начинается с чужого рейтинга: кто-то собрал список «лучших LLM», вы открываете его и видите названия, которые ничего не говорят о вашей видеокарте. Через час выясняется, что модель не помещается в память, а метод квантования из инструкции в вашем рантайме не загружается.

Порядок, который экономит время, обратный: сначала посчитать память под веса, потом выбрать метод квантования и убедиться, что рантайм его поддерживает, и только затем сравнивать качество ответов на своих задачах. Ниже — чек-лист этого решения по документации Hugging Face, vLLM и Ollama. Это редакционная помощь читателю, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашему железу и вашим задачам.

Почему чужой рейтинг моделей не заменяет проверку на своём железе

Квантование хранит веса модели, а иногда и активации, в меньшем числе бит, поэтому модель требует меньше памяти. Это общее описание, и оно не отвечает на главный вопрос: поместится ли конкретная модель в вашу видеопамять вместе со всем остальным, что там уже занято.

Вторая причина не доверять рейтингу — компромисс. Меньшее число бит снижает точность, а разные методы квантования по-разному балансируют память, скорость и точность. Рейтинг обычно сравнивает модели в одном режиме и не говорит, что будет при другом числе бит и другом методе.

Поэтому рейтинг годится как список кандидатов, а не как решение. Решение складывается из трёх измеримых ограничений: память, поддержка метода в рантайме и качество на вашем наборе задач.

Сколько памяти нужно модели: расчёт от числа параметров и бит

Первый шаг — грубая оценка по числу параметров. В документации Hugging Face приведён пример: модель на 8B занимает около 16 ГБ под веса в bf16, около 8 ГБ при 8 битах и около 4–5 ГБ при 4 битах. Отсюда рабочее правило: bf16 — примерно 2 байта на параметр, 8 бит — 1 байт, 4 бита — около 0,5 байта.

Считайте по этой формуле и сверяйте с доступной видеопамятью, оставляя запас. Оценка касается только весов: прочие расходы памяти в неё не входят, и это не замер на конкретном железе.

Отдельная ловушка — формат GGUF. Большинство GGUF-моделей при загрузке в Transformers расквантовываются до полной точности и потому занимают столько же памяти, сколько неквантованная модель. Если вы рассчитывали на экономию от 4 бит, а рантайм ведёт себя так, расчёт не сойдётся.

Квантование: какие методы существуют и что теряется при снижении бит

Методов много, и они не взаимозаменяемы по способу загрузки. Transformers интегрирует более 20 методов квантования через from_pretrained, поэтому код загрузки одинаков независимо от выбранного метода. Но часть методов, включая AWQ, AutoRound, AQLM, compressed-tensors и GGUF, можно только загрузить из готового чекпоинта — квантовать при загрузке не получится.

Практический вывод: сначала проверьте в документации метода, нужен ли готовый чекпоинт. Если нужен, ищите опубликованную квантованную версию именно этой модели, а не рассчитывайте собрать её на месте.

Что теряется при снижении бит — вопрос не абстрактный. Меньшее число бит снижает точность, и величину потери документация не называет: её нужно измерять на своих задачах. Поэтому следующий шаг — рантайм, а после него — проверка качества.

Рантайм под ваше оборудование: что заявляют vLLM и Ollama

Рантайм определяет, какие методы и форматы вам вообще доступны. vLLM — библиотека для инференса и обслуживания LLM, изначально разработанная в Sky Computing Lab в UC Berkeley. Она поддерживает квантование в форматах FP8, INT8, INT4, GPTQ/AWQ и GGUF, а также ряд других.

По оборудованию vLLM заявляет поддержку NVIDIA и AMD GPU, а также x86/ARM/PowerPC CPU и ряда аппаратных плагинов. Отдельно проект сообщает о поддержке более 200 архитектур моделей на HuggingFace, включая decoder-only LLM и mixture-of-expert модели. Это заявления документации, а не гарантия, что конкретная модель заработает на вашей конфигурации.

Ollama позиционируется как способ запускать модели локально. На главной странице проекта заявлено, что промпты пользователей не сохраняются и не используются для обучения, а также приведены маркетинговые показатели: более 9 млн установок в месяц, более 1 млрд загрузок моделей и более 200 трлн обслуженных токенов. Методика подсчёта этих чисел не раскрыта, поэтому воспринимайте их как заявление продукта, а не как независимый замер.

Сверьте список поддерживаемого оборудования в документации рантайма с фактической конфигурацией — до того, как скачивать веса.

Чек-лист выбора: от ограничения по памяти до проверки качества на своих задачах

Соберите решение по шагам, а не по названиям моделей.

  1. Посчитайте память под веса по числу параметров и бит: bf16 — около 2 байт на параметр, 8 бит — 1 байт, 4 бита — около 0,5 байта. Сверьте с доступной видеопамятью и оставьте запас.
  2. Проверьте, как метод квантования загружается: AWQ, AutoRound, AQLM, compressed-tensors и GGUF требуют готового чекпоинта.
  3. Уточните поведение рантайма с GGUF: в Transformers большинство таких моделей расквантовываются до полной точности при загрузке.
  4. Сверьте список поддерживаемого оборудования в документации рантайма с вашей конфигурацией.
  5. Прогоните свой набор задач на полной точности и на квантованной версии и сравните ответы по заранее заданным критериям.

Пятый шаг — единственный, который отвечает на вопрос о качестве. Меньшее число бит снижает точность, но насколько именно в вашей задаче — покажет только сравнение. Заранее решите, что считаете приемлемым ответом и сколько ошибок готовы пропустить.

Условный пример: команда берёт модель на 8B, считает, что при 4 битах веса займут около 4–5 ГБ, и планирует запуск на машине с небольшой видеопамятью. Перед закупкой она проверяет, что выбранный метод загружается из готового чекпоинта, что рантайм поддерживает её GPU и что квантованная версия на её наборе задач даёт ответы не хуже полной точности по заданным критериям. Если хотя бы один пункт не сходится, меняется не модель, а ограничение.

Смежные материалы: как сравнить нейросети на своих задачах и локальная или облачная нейросеть: выбор по данным и памяти. Варианты работ с ИИ собраны на странице автоматизации процессов.

Источники

Назад