DF-ИИ-039 · ИИ в работе команды
Открытые веса на 1,6 трлн параметров: что запустится на вашем железе
- Как пересчитать память под веса модели по числу параметров и битности
- Чем загрузка квантования на лету отличается от готового квантованного чекпойнта
- Почему GGUF-файл не всегда экономит память
- Чек-лист решений до первого запуска: рантайм, замеры и границы доверия
Новость звучит так: открыли веса модели на 1,6 трлн параметров, и её разворачивают не на NVIDIA. Руководитель пересылает ссылку в чат команды с вопросом «а мы так можем?». Инженер открывает документацию и через полчаса понимает, что ответа на этот вопрос в новости нет — есть только повод его посчитать.
Число параметров само по себе ничего не говорит о вашем железе. Оно превращается в гигабайты только после того, как вы выберете точность хранения весов и поймёте, чем именно будете загружать модель. Ниже — порядок оценки по документации Hugging Face, vLLM и TensorRT: от арифметики по битам до проверок, которые стоит пройти до первого запуска.
Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс. Шаги нужно адаптировать к вашему оборудованию и вашим задачам; смежная тема — локальная LLM на своём железе, а варианты работ с ИИ собраны на странице автоматизации процессов.
Что новость про открытые веса меняет для инженера
Открытые веса дают возможность запустить модель у себя, но не снимают вопрос ресурсов. Документация Hugging Face формулирует простое правило: модели обычно загружают в bf16, и это занимает 2 байта на параметр. Значит, первое действие — не скачивать чекпойнт, а умножить число параметров на два и сравнить результат с доступной памятью.
Второе, что меняется: у вас появляется выбор точности. Меньшее число бит стоит некоторой точности, и каждый метод квантования по-своему балансирует память, скорость и точность. То есть «запустится или нет» — не бинарный вопрос, а вопрос о том, какой компромисс вы готовы принять и как его проверите на своих задачах.
Считаем память под веса: bf16, 8 бит и 4 бита
Возьмём пример из документации: модель на 8B. В bf16 её веса требуют около 16 ГБ, при 8 битах — около 8 ГБ, при 4 битах — около 4–5 ГБ. Арифметика прозрачна: 8 млрд параметров × 2 байта = 16 ГБ, × 1 байт = 8 ГБ, а четырёхбитное хранение укладывается примерно вдвое ниже восьмибитного.
Для модели на 1,6 трлн параметров тот же расчёт даёт другие порядки. Умножьте 1,6 трлн на 2 байта — и станет видно, что в bf16 такая модель не помещается ни в одну одиночную видеокарту. Пересчёт на 8 и 4 бита уменьшает цифру, но не превращает её в настольную.
Здесь важна оговорка из того же источника: оценка дана для весов модели. Память под активации, KV-кэш и накладные расходы рантайма в неё не входят. Поэтому расчёт по битам — это нижняя граница, а не ответ «поместится».
Практический вывод для оценки: считайте в три шага. Сначала веса в bf16, затем в 8 битах, затем в 4 битах — и каждый раз сравнивайте с лимитом устройства, оставляя запас на всё, что не является весами.
Квантование: загрузка на лету и готовые чекпойнты
Дальше начинается различие, на котором часто ломаются ожидания. Transformers интегрирует более 20 методов квантования через from_pretrained, поэтому код загрузки одинаков независимо от выбранного метода. Но не все методы работают одинаково.
Часть методов квантует модель на лету при загрузке. Другие, включая AWQ, AutoRound, AQLM, compressed-tensors и GGUF, загружаются только из готового чекпойнта: модель сначала квантуют библиотекой самого метода, а потом загружают результат в Transformers. Для загрузки нужно предварительно установить библиотеку, от которой зависит метод.
Отсюда практическое следствие: перед скачиванием десятков гигабайт выясните, к какому типу относится выбранный метод. Если он требует готового чекпойнта, ищите уже квантованную версию, а не исходные веса.
Ловушка GGUF: упакованный файл не всегда экономит память
GGUF выглядит как самый удобный вариант: один файл, понятное имя, часто меньший размер на диске. Но размер файла и занимаемая память — не одно и то же. Документация предупреждает: большинство GGUF-моделей при загрузке деквантуются до полной точности и потому занимают столько же памяти, сколько неквантованная модель.
Исключение в документации указано отдельно: веса остаются упакованными только на MPS с установленным пакетом kernels, для Qwen3.5 и Qwen3.5 MoE. Это узкое условие, а не общее свойство формата.
Проверка здесь простая и делается до запуска. Если чекпойнт уже квантован, from_pretrained вызывают без конфигурации квантования: метод читается из config.json чекпойнта или из указанного GGUF-файла. Откройте config.json и посмотрите, что там записано, прежде чем рассчитывать на экономию памяти.
Проверяем, на чём вообще запустится рантайм
Расчёт памяти бесполезен, если выбранный рантайм не поддерживает вашу платформу. vLLM перечисляет GPU-платформы NVIDIA CUDA, AMD ROCm, Intel XPU и Apple Silicon через vLLM-Metal. Отдельно указан запуск на CPU: Intel/AMD x86, ARM AArch64, Apple silicon и IBM Z (S390X).
Наличие платформы в списке не означает сопоставимой с GPU производительности — документация установки этого не утверждает. Поэтому сверяйте не только факт поддержки, но и то, какие версии драйверов и ограничения по памяти действуют в вашем случае.
Есть и третий путь: vLLM поддерживает сторонние аппаратные плагины, которые находятся вне основного репозитория vllm. Это расширяет выбор оборудования, но добавляет вопрос зрелости конкретного плагина и его совместимости с нужной моделью — проверять это придётся отдельно.
Замеры и границы доверия перед запуском
Когда модель загрузилась, начинается работа с производительностью. Документация TensorRT задаёт порядок: цикл «сначала измерь, потом оптимизируй» — бенчмарк, оптимизация и повторный замер, чтобы подтвердить, что изменение дало ожидаемый эффект. Без первого замера сравнивать не с чем.
Для стабильных и воспроизводимых замеров та же документация требует контролировать окружение: частоты GPU, троттлинг по питанию и температуре, передачи по PCIe, режим драйвера и режим синхронизации. Иначе разброс чисел будет отражать состояние железа, а не эффект настройки.
Отдельно — память и устойчивость. Документация советует ограничивать память builder workspace и память устройства в рантайме, а «залипающие» ошибки CUDA планировать через перезапуск процесса, NVIDIA MPS или уровни MIG: одних обработчиков исключений недостаточно.
И последнее, что стоит проверить до продакшена: перед запуском сервиса на движке TensorRT документация требует принимать только собственные или подписанные движки, поскольку десериализация исполняет нативный код. Это граница доверия, а не формальность.
Чек-лист решений до первого запуска
Соберём порядок в один список. Он не заменяет испытание на вашем оборудовании, но отсекает варианты, которые заведомо не сработают.
- Посчитана ли память под веса в bf16 как 2 байта на параметр? Умножьте число параметров на 2 и сравните с доступной памятью.
- Проверено ли, что выбранная битность квантования даёт нужный запас памяти? Пересчитайте оценку для 8 и 4 бит по документации и сравните с лимитом устройства.
- Является ли чекпойнт уже квантованным? Откройте config.json чекпойнта и найдите quantization_config.
- Не окажется ли GGUF-файл деквантованным при загрузке? Сверьте платформу и модель с разделом GGUF в документации Transformers.
- Есть ли ваша платформа в списке поддерживаемых рантаймом? Сверьте GPU или CPU с разделом установки vLLM.
- Принимаются ли только собственные или подписанные движки? Проверьте происхождение файлов движка до десериализации.
Если по всем пунктам ответ «да», у вас есть основание для первого запуска и замеров. Если хотя бы один пункт не сходится, новость про открытые веса остаётся новостью, а не задачей для вашего железа.