DF-ИИ-029 · ИИ в работе команды
Локальная озвучка текста: как выбрать TTS-модель под свои ресурсы
- Какие открытые TTS-модели есть и чем различаются по назначению
- Что проверить в лицензии и языках до установки
- Где обычно нужен GPU и как оценить ресурсы под инференс и тонкую настройку
- Как проверить синтез на своих фразах: числа, символы, референс голоса
Локальная озвучка кажется простой задачей: взял открытую модель, запустил, получил аудио. Проблемы начинаются позже — на числах, которые модель не читает, на языке, которого нет в списке, на лицензии, которая не подходит под ваш сценарий. Поэтому выбор TTS-модели — это не сравнение демо, а проверка требований к ресурсам и лицензии и прослушивание синтеза на своих фразах.
Ниже — порядок действий: сначала язык и лицензия, потом ресурсы, затем подготовка фраз и проверка качества. Это редакционный чек-лист Deskforge, а не отчёт об испытании продукта и не клиентский кейс: шаги нужно адаптировать к вашему железу и вашим текстам. Смежная тема — локальная или облачная нейросеть: выбор по данным и памяти, а варианты работ с ИИ собраны на странице автоматизации процессов.
Какие открытые TTS-модели вообще есть и чем они различаются по назначению
В библиотеке Transformers для задачи синтеза речи доступны модели Dia, CSM, Bark, MMS, VITS и SpeechT5. Это не полный список открытых TTS-моделей в мире, а то, что описано в документации Transformers на момент её публикации: состав моделей может меняться между версиями.
Различаются они по назначению. Одни рассчитаны на быстрый инференс и простую озвучку, другие — на клонирование голоса, третьи — на тонкую настройку под свой голос или язык. Если вы хотите дообучить модель, выбор уже: для тонкой настройки в Transformers на момент документации доступны только SpeechT5, FastSpeech2Conformer, Dia и CSM, хотя список будет пополняться.
Поэтому первый шаг — не запускать всё подряд, а понять, что вам нужно: готовая озвучка, клонирование голоса или дообучение. От этого зависит и набор моделей, и требования к железу.
Что проверить в лицензии и поддерживаемых языках до установки
Язык — первое, что отсекает модель. Карточка XTTS-v2 заявляет поддержку 17 языков, включая русский: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский, японский, венгерский, корейский и хинди. Список языков приведён по карточке модели; фактическое качество по каждому языку не измерено, его нужно слушать на своих фразах.
Лицензия — второе. XTTS-v2 распространяется по лицензии Coqui Public Model License. Условия этой лицензии в карточке не раскрыты: их нужно читать в самом документе лицензии, а не только в описании модели. От лицензии зависит, допустим ли ваш сценарий использования — например, коммерческая озвучка или публикация аудио.
Третье — поддерживает ли код нужный режим. Код XTTS-v2 поддерживает как инференс, так и тонкую настройку. Но наличие режима в коде не значит, что у вас хватит ресурсов на обучение: это отдельная проверка.
Ресурсы под инференс и под тонкую настройку: где обычно нужен GPU
Инференс и тонкая настройка — разные по требованиям задачи. Для генерации речи часто достаточно запустить модель на доступном железе и замерить потребление памяти на одной фразе. Для обучения требования выше: руководство по тонкой настройке SpeechT5 прямо указывает, что для прохождения гайда нужен GPU.
Это ограничение относится к конкретному сценарию тонкой настройки из руководства, а не к инференсу любой модели. Но логика переносится: если вы планируете дообучение, проверьте в документации требования к обучению и сравните со своим железом до того, как скачивать веса.
Практический шаг — запустить синтез одной фразы в изолированной среде и замерить потребление памяти. Так вы увидите, помещается ли модель в вашу видеопамять или оперативную память, и не придётся гадать по чужим отзывам.
Подготовка своих фраз: числа, символы и языковые ограничения модели
Самая частая неожиданность — числа. Токенизатор SpeechT5 не имеет токенов для чисел, поэтому числа в тексте превращаются в токены <unk>. То есть фраза с ценой, датой или номером заказа может озвучиться с пропуском или странным звуком.
Вторая неожиданность — символы другого языка. SpeechT5 предобучен на английском, поэтому часть символов другого языка может распознаваться как <unk>. В документации это показано на примере нидерландского набора; для других языков поведение прямо не проверялось, но риск тот же.
Отсюда правило: перед выбором модели прогоните синтетические фразы с числами и редкими символами и прослушайте результат. Если числа ломаются, либо готовьте текст заранее — заменяйте цифры словами, — либо выбирайте модель, которая с ними справляется.
Клонирование голоса и требования к референсной записи
Если нужен свой голос, смотрите на модели с клонированием. XTTS-v2 клонирует голос по аудиофрагменту длиной около 6 секунд. Это минимальная длина референса; как влияют длина и качество клипа на результат, в карточке не описано — проверять нужно самостоятельно.
XTTS-v2 генерирует речь с частотой дискретизации 24 кГц. Это единственный параметр качества, указанный в карточке; других характеристик там нет, поэтому оценивать выход придётся на слух.
Модель также позволяет использовать несколько референсов говорящего и интерполяцию между говорящими. Это заявленное улучшение относительно XTTS-v1; практические ограничения в карточке не описаны. Если вам нужен один стабильный голос, начните с одного чистого референса и только потом экспериментируйте с несколькими.
Почему чужое демо не заменяет проверку на своих фразах
Демо в карточке модели показывает лучший случай: чистый текст, удачный голос, знакомый язык. Ваш текст будет другим — с числами, аббревиатурами, именами и терминами. Поэтому качество нужно проверять на своём наборе фраз.
У SpeechT5 качество синтеза заметно зависит от качества эмбеддинга говорящего — это наблюдение авторов документации, а не измеренная метрика. Кроме того, SpeechT5 лучше работает с английскими эмбеддингами говорящего, так как предобучен на английских x-vector. Для неанглийских языков качество может быть неудовлетворительным.
Вывод простой: соберите набор своих фраз — типичные предложения из ваших текстов, числа, имена, редкие символы — и прослушайте синтез вручную по понятным критериям: разборчивость, естественность, правильность чисел и имён. Только после этого решайте, подходит ли модель.
Чек-лист выбора TTS-модели под свои ресурсы
Соберём порядок проверки в один список. Он опирается на то, что описано в документации Transformers и в карточке XTTS-v2, и не заменяет испытание на вашем железе.
- Поддерживает ли модель нужный язык? Сверьте язык с официальным списком языков модели. У XTTS-v2 в списке 17 языков, включая русский.
- Допускает ли лицензия ваш сценарий использования? Прочитайте текст лицензии модели, а не только карточку. XTTS-v2 распространяется по Coqui Public Model License.
- Хватает ли ресурсов под инференс? Запустите синтез одной фразы в изолированной среде и замерьте потребление памяти.
- Нужна ли тонкая настройка и есть ли под неё GPU? Уточните в документации требования к обучению и сравните со своим железом. Для тонкой настройки в Transformers доступны SpeechT5, FastSpeech2Conformer, Dia и CSM; руководство по SpeechT5 требует GPU.
- Как модель читает числа и спецсимволы? Прогоните синтетические фразы с числами и редкими символами и прослушайте результат. У SpeechT5 числа и часть символов другого языка превращаются в <unk>.
- Устраивает ли качество на ваших фразах? Синтезируйте свой набор фраз и оцените вручную по понятным критериям.
Пример условный, учебный: представим, что команда хочет озвучивать короткие тексты на русском и рассматривает XTTS-v2. По чек-листу она сначала проверяет, что русский есть в списке языков, читает Coqui Public Model License под свой сценарий, запускает одну фразу и замеряет память, затем прогоняет фразы с числами и именами и слушает результат. Это не клиентский кейс и не замер экономии — просто порядок действий.