DF-ИИ-018 · ИИ в работе команды
Локальные модели вместо облачного помощника: Qwen2 или DeepSeek-V3
- Чем Qwen2 и DeepSeek-V3 отличаются по задокументированным параметрам и требованиям к запуску
- Какие ограничения текущих реализаций в Transformers влияют на сценарий
- Почему видеопамять, лицензия и качество ответов остаются открытыми пунктами для собственной проверки
- Как собрать проверочный набор задач до перехода на локальную модель
Облачный ассистент, которым команда пользовалась каждый день, стал недоступен — и вопрос «а что дальше» превращается в список моделей, которые советуют в чатах. Две фамилии звучат чаще других: Qwen2 и DeepSeek-V3. Но прежде чем ставить их на рабочую машину, стоит понять, что о них действительно написано в документации, а что придётся выяснять самим.
Короткий ответ такой: документация даёт размеры моделей, длину контекста, требования к библиотеке и оценку запуска для полной DeepSeek-V3. Числовых требований к видеопамяти для Qwen2, данных о лицензиях и измерений качества на пользовательских задачах в переданных источниках нет. Эти три пункта закрываются только первоисточниками и собственными замерами.
Ниже — разбор по документации и редакционный чек-лист Deskforge: набор и пороги нужно адаптировать к вашей команде и рискам. Смежная тема — локальная или облачная нейросеть, а варианты работ с ИИ собраны на странице автоматизации процессов.
После ограничения облачного ассистента: что подтверждено о Qwen2 и DeepSeek-V3, а что придётся проверять самим
Документация Transformers описывает Qwen2 как семейство больших языковых моделей — предобученных, настроенных на инструкции и mixture-of-experts — размером от 0,5 до 72 млрд параметров. Это широкий диапазон: младшие варианты и старшие отличаются по масштабу на два порядка, и выбирать «Qwen2 вообще» бессмысленно — выбирают конкретный размер.
DeepSeek-V3 в аннотации технического отчёта описан иначе: MoE-модель с 671 млрд общих параметров и 37 млрд активируемых на каждый токен. Это модель другого масштаба, и сравнивать её с младшими Qwen2 по «качеству вообще» некорректно.
Что важно для решения: в переданных источниках нет сравнения Qwen2 и DeepSeek-V3 по требованиям к видеопамяти, нет данных об их лицензиях и нет измерений качества ответов на пользовательских задачах. Всё это — открытые пункты, а не факты, которые можно взять из статьи.
Qwen2: размеры семейства, длина контекста и требования к библиотеке
По документации Qwen2 модели поддерживают несколько языков и контекст длиной до 131 072 токенов. Верхняя граница указана для семейства в целом: фактическая длина контекста конкретного чекпойнта может отличаться, и это стоит сверить в карточке выбранной модели.
Для полной поддержки Qwen2 требуется Transformers версии не ниже 4.37.0. Это проверяемое требование: версию в тестовой среде можно посмотреть до запуска, а не после первой ошибки.
Документация ссылается на коллекцию официальных чекпойнтов Qwen2, откуда и берут конкретную модель; саму коллекцию в переданных источниках не открывали, поэтому ссылку на неё стоит найти в карточке модели. Числовых требований к видеопамяти для Qwen2 в переданных источниках нет: единственная оценка запуска в них относится к DeepSeek-V3.
DeepSeek-V3: масштаб MoE-модели и что документация говорит о запуске
DeepSeek-V3 использует архитектуры Multi-head Latent Attention и DeepSeekMoE, отработанные ещё в DeepSeek-V2. Полное обучение модели, по данным её авторов, потребовало 2,788 млн GPU-часов H800 — это про обучение, а не про затраты на локальный запуск у пользователя.
Единственная оценка запуска в документации Transformers относится к полной модели: её можно запускать в FP8 автоматически, и двух узлов по 8 GPU H100, по формулировке источника, «должно быть более чем достаточно». Это оценка из раздела советов по использованию, а не независимый тест.
Для квантованных или меньших вариантов DeepSeek-V3 числовых требований к видеопамяти в переданных источниках нет. Если ваше железо не похоже на два узла по 8 H100, оценка запуска полной модели вам ничего не говорит — нужен собственный замер.
Ограничения текущих реализаций в Transformers, о которых стоит знать до перехода
Документация честно перечисляет ограничения текущей реализации DeepSeek-V3 в Transformers. Первое: используется «наивное» вычисление внимания, то есть не полноценный MLA. Второе: статический кеш не поддерживается — источник называет это проблемой конфигурации генерации или формы конфигурации.
Эти пункты важны не сами по себе, а в связке со сценарием. Если ваш процесс опирается на длинные диалоги с повторным использованием кеша, ограничение может проявиться именно там. Проверять нужно на своём сценарии, а не на демонстрационном примере.
Ограничения относятся к конкретной реализации в Transformers и могут измениться в будущих версиях. Поэтому их фиксируют на дату проверки вместе с версией библиотеки — иначе через месяц непонятно, о чём была запись.
Память и квантизация: что подтверждено, а чего в источниках нет
Квантизация, по документации, снижает нагрузку на память за счёт представления весов в меньшей точности. В примере документации Qwen2 веса квантуются до 4 бит через bitsandbytes — это пример кода, а не рекомендация и не результат сравнения с полной точностью.
Влияние квантизации на качество ответов в переданных источниках не измеряется. То есть утверждение «квантованная версия отвечает почти так же» проверить по этим текстам нельзя — его нужно проверять на своём наборе задач.
Итог по памяти: для Qwen2 числовых требований к видеопамяти в источниках нет; для DeepSeek-V3 есть только оценка запуска полной модели в FP8 на двух узлах по 8 H100; для квантованных и меньших вариантов DeepSeek-V3 числовых требований тоже нет. Пиковое потребление памяти придётся замерять самим.
Зачем разработчику понимать уровень CUDA при локальном запуске
CUDA — параллельная вычислительная платформа и модель программирования от NVIDIA для ускорения вычислений на GPU. Это общее описание платформы; оно не означает, что локальную модель нельзя запустить иначе.
Руководство NVIDIA замечает: даже тем, кто пользуется библиотеками и фреймворками, понимание модели программирования CUDA и того, как GPU исполняет код, полезно, чтобы знать, что происходит за слоями абстракции. Для локального запуска это переводится в практику: когда модель не помещается в память или падает по версии библиотеки, полезно понимать, на каком уровне возникла проблема.
Это оценочное утверждение из руководства, а не измерение влияния на результат работы. Оно не заменяет проверку на своём железе и не говорит, что без знания CUDA запуск невозможен.
Проверочный набор задач до перехода: чек-лист решений, включая лицензию, качество и видеопамять как открытые пункты
Ниже — редакционный чек-лист Deskforge. Он собран по переданным источникам и отмечает, где источник закрывает вопрос, а где нет. Примеры в пунктах синтетические: это не клиентский кейс и не отчёт об испытании продукта.
- Хватает ли видеопамяти на выбранный размер модели в целевой точности? Запустить модель на синтетическом наборе промптов в изолированной среде и зафиксировать пиковое потребление памяти; сверить с документацией, отметив, что числовых требований к памяти в переданных источниках нет.
- Устраивает ли длина контекста для типовых задач команды? Прогнать синтетические длинные входы в пределах заявленного лимита и проверить, что ответ не обрывается.
- Как квантизация влияет на качество на наших задачах? Сравнить ответы полной и квантованной версии на одном синтетическом наборе по заранее заданным критериям; учесть, что в источниках влияние на качество не измеряется.
- Совместима ли версия библиотеки с выбранной моделью? Сверить требование к версии Transformers из документации модели с установленной версией в тестовой среде.
- Известны ли ограничения текущей реализации, влияющие на сценарий? Прочитать раздел ограничений в документации модели и отметить пункты, затрагивающие ваш сценарий.
- Подходит ли лицензия модели под наш способ использования? Открыть карточку модели на Hugging Face и прочитать лицензию; в переданных источниках данных о лицензии нет, поэтому пункт закрывается только первоисточником.
- Достаточно ли качества ответа на наших задачах? Собрать синтетический набор задач с критериями приёмки и сравнить ответы моделей; в источниках измерений качества на пользовательских задачах нет.
- Есть ли план отката, если локальная модель не подойдёт? Описать на синтетическом примере порядок возврата к прежнему процессу без использования клиентских данных.