DF-ИИ-028 · ИИ в работе команды
Локальная генерация на ограниченной видеопамяти: как выбрать модель
- Как оценить память под веса модели в разной точности
- Чем квантование помогает и чем платит
- Почему GGUF не всегда экономит память
- Как проверить модель на своём наборе задач до запуска
Модель на 8B в bf16 требует примерно 16 ГБ только под веса. На карте с 12 ГБ она не поместится, и это ещё без кэша и накладных расходов рантайма. Отсюда типичный вопрос: какую модель и в какой точности брать, чтобы она влезла в доступную видеопамять и при этом не потеряла качество на ваших задачах.
Короткий ответ: считать память по числу параметров и точности, отдельно закладывать запас на кэш и активации, проверять, как выбранный рантайм обращается с форматом, и прогонять свою задачу на полной и квантованной версии. Ниже — порядок действий с опорой на документацию vLLM, Transformers и Ollama. Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашему железу и вашим задачам.
Смежная тема — локальные модели вместо облачного помощника: там сравнение конкретных семейств по железу, здесь — методика сопоставления памяти, точности и качества. Варианты работ с ИИ собраны на странице автоматизации процессов.
Почему видеопамять решает не всё: веса, кэш и рантайм
Первое приближение простое. Документация Transformers указывает: модели обычно загружаются в bf16, а это 2 байта на параметр. Значит, число параметров умножаем на байты на параметр — и получаем нижнюю границу памяти под веса. Для 8B в bf16 это около 16 ГБ, при 8 битах — около 8 ГБ, при 4 битах — около 4–5 ГБ.
Но веса — не единственный потребитель. Во время генерации модель держит кэш ключей и значений внимания, а также активации. Чем длиннее контекст и чем больше одновременных запросов, тем больше эта часть. Поэтому расчёт «влезет ли модель» по одним весам почти всегда оптимистичен.
Здесь помогает выбор рантайма. vLLM, например, управляет памятью ключей и значений внимания через PagedAttention — механизм, который меняет то, как расходуется память под кэш. Это не отменяет расчёт весов, но влияет на запас, который нужно оставить сверх них.
Практический вывод: считайте веса по формуле, а запас на кэш и активации закладывайте отдельно. Точной числовой нормы для этого запаса в переданных источниках нет — это редакционная рекомендация, а не измеренная величина.
Квантование: сколько памяти экономит и чем платим
Квантование снижает число бит на параметр. По документации Transformers, переход с bf16 на 8 бит примерно вдвое уменьшает память под веса, на 4 бита — примерно втрое-вчетверо. Для модели на 8B это разница между 16 ГБ и 4–5 ГБ.
Плата за это — точность. Документация прямо говорит: меньше бит стоит некоторой потери точности, и каждый метод квантования по-своему балансирует память, скорость и точность. Конкретных величин потерь источники не дают, поэтому порог допустимого падения качества вы определяете сами — под свою задачу.
Второй вопрос — как метод применяется. Transformers интегрирует более 20 методов квантования через from_pretrained, поэтому код загрузки одинаков независимо от выбранного метода. Часть методов квантует веса при загрузке: вы передаёте конфигурацию квантования в from_pretrained, и веса квантуются по мере загрузки. Большинству методов для этого не нужен калибровочный набор данных, кроме GPTQ.
Но не все методы так работают. Некоторые, включая AWQ, AutoRound, AQLM, compressed-tensors и GGUF, загружаются только из уже квантованного чекпоинта. То есть сначала нужно найти или подготовить готовую квантованную версию, а не просто указать точность при загрузке.
GGUF и другие форматы: что реально грузится в память
С форматами легко обмануться. Кажется: файл в 4-битном GGUF меньше — значит, и в памяти займёт меньше. Документация Transformers предупреждает об обратном: большинство GGUF-моделей при загрузке расквантовываются до полной точности и потому занимают столько же памяти, сколько неквантованная модель.
Исключение в той же документации: веса остаются упакованными на MPS с пакетом kernels для Qwen3.5 и Qwen3.5 MoE. Поведение зависит от рантайма, поэтому утверждение «GGUF всегда экономит память» неверно. Перед выбором формата проверьте в документации своего рантайма, расквантовывается ли GGUF при загрузке.
Список поддерживаемых форматов тоже стоит сверить. vLLM перечисляет квантование в форматах FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF, compressed-tensors, ModelOpt, TorchAO и других. Доступность конкретного формата зависит от железа и версии — список из документации не гарантирует работу в вашей конфигурации.
Выбор инструмента запуска под своё железо
Инструмент выбирают не по популярности, а по совместимости с вашим железом и архитектурой модели. vLLM поддерживает GPU NVIDIA, GPU AMD и процессоры x86/ARM/PowerPC, а также ряд аппаратных плагинов — среди них Google TPUs, Intel Gaudi, Huawei Ascend, Apple Silicon и другие. Из моделей документация подтверждает поддержку декодерных LLM, включая Llama, Qwen и Gemma.
Ollama позиционирует себя как способ запускать открытые модели локально. На своей главной странице сервис заявляет, что промпты не сохраняются и не используются для обучения. Это заявление вендора с его сайта: независимого подтверждения в переданных источниках нет, поэтому не стоит подавать его как проверенный факт о приватности. Если конфиденциальность критична, проверяйте её отдельно — по настройкам, логам и условиям использования.
Порядок такой: сначала список платформ и архитектур в документации инструмента, потом формат квантования, который он реально держит в памяти, и только затем — замеры на вашем железе. Инструмент, который не поддерживает вашу карту или архитектуру модели, не спасёт никакая точность.
Чек-лист: сопоставить модель, память и задачу
Соберём шаги в один список. Он редакционный: структура и полнота проверены, но это не отчёт об испытании продукта.
- Посчитайте память под веса: число параметров умножить на байты на параметр по документации. Для 8B в bf16 — около 16 ГБ, при 8 битах — около 8 ГБ, при 4 битах — около 4–5 ГБ. Отдельно заложите запас на кэш и активации — числовой нормы в источниках нет, это ваша оценка.
- Проверьте, как метод квантования применяется: загружается из готового чекпоинта (AWQ, AutoRound, AQLM, compressed-tensors, GGUF) или квантует при загрузке через from_pretrained.
- Сверьтесь с рантаймом, останется ли GGUF упакованным в памяти. Большинство расквантовывается до полной точности, но есть исключения.
- Прогоните свой набор задач на полной и квантованной версии и сравните ответы. Методики сравнения в источниках нет — это редакционная рекомендация.
- Проверьте список платформ и архитектур в документации инструмента до запуска.
Синтетический пример, чтобы показать порядок. Команда хочет запустить модель на 8B на карте с 12 ГБ. В bf16 веса займут около 16 ГБ — не помещается. В 4 битах — около 4–5 ГБ, остаётся место на кэш и активации. Дальше команда берёт свой набор из десятка типовых запросов, прогоняет его на полной и 4-битной версии и смотрит, где ответы расходятся.
Если расхождения на критичных вопросах недопустимы, модель меняют или оставляют полную точность и другое железо. Это учебная иллюстрация, а не клиентский результат и не замер экономии.