Qwen3.8-LiveTranslate

Что такое Qwen3.8-LiveTranslate

Qwen3.8-LiveTranslate – сервис Qwen для синхронного перевода речи в реальном времени. Он принимает аудиопоток, распознаёт содержание разговора и выдаёт перевод.

Главная задача сервиса – сделать устный перевод не только быстрым, но и понятным в многоголосой беседе. Модель различает участников разговора, связывает исходный текст с переводом и учитывает предыдущие реплики. Средняя задержка LAAL по сравнению с предыдущим поколением сократилась с 2,8 до 2,3 секунды.

Qwen3.8-LiveTranslate поддерживает 60 языков.

Сервис может пригодиться разработчикам, которым нужен синхронный перевод в приложении или клиенте через DashScope API. Для первого знакомства на странице предусмотрены демо и переход в Qwen Chat.

Ключевые возможности Qwen3.8-LiveTranslate

Синхронный перевод аудио с архитектурой Interleave

Qwen3.8-LiveTranslate обрабатывает аудио и текст как единый поток. В архитектуре Interleave ранее услышанные фрагменты аудио и уже подготовленный перевод могут кэшироваться, а затем использоваться повторно. Это позволяет модели учитывать ход беседы, а не воспринимать каждую короткую реплику как отдельный фрагмент без контекста.

Практическая польза особенно заметна в разговоре, где перевод должен появляться почти одновременно с речью. Вместо длительной паузы после каждого высказывания пользователь получает перевод прямо по ходу беседы. Например, API-клиент может захватывать звук с микрофона, потоково отправлять его на сервер и воспроизводить полученный перевод.

Средняя задержка LAAL уменьшилась с 2,8 до 2,3 секунды. Также есть об улучшения точности, беглости и лаконичности перевода относительно предыдущего поколения.

Разделение говорящих в реальном времени

Модель способна различать участников, когда несколько человек говорят по очереди. Для каждой реплики она может определить автора и вернуть идентификатор говорящего вместе с исходным текстом и переводом. Это решает распространённую проблему групповых разговоров, когда перевод доступен, но неясно, кому принадлежит конкретная фраза.

При записи диалога двух или нескольких собеседников приложение может выводить перевод с привязкой к каждому участнику. Разделение говорящих включается через настройки сессии. Отдельно обращаться к интерфейсу распознавания речи для получения этих данных не требуется.

Появилось более стабильное сохранение тембра при озвучивании перевода. Архитектура Thinker–Talker объединяет перевод с исходным аудио, чтобы синтезировать речь с сохранением тембра оригинального говорящего.

Озвучивание перевода с сохранением тембра голоса

Qwen3.8-LiveTranslate не ограничивается текстовым переводом: есть генерация переведённой речи. Модуль Talker использует перевод и исходный аудиосигнал, воспроизводя результат голосом с сохранённым тембром оригинального спикера. Благодаря этому связь между участником разговора и его переведённой репликой не теряется.

Возможность будет полезна в многоязычном диалоге, когда слушателям нужны не только субтитры, но и озвученный перевод. Например, после реплики одного из участников клиент может воспроизвести её перевод, сохраняя характерное звучание голоса.

Синхронизация исходного текста и перевода

Сервис одновременно выводит исходный текст и перевод на одном двуязычном экране. Такое выравнивание помогает не только понимать перевод, но и сверяться с тем, что было произнесено на исходном языке. Это особенно полезно в сценариях, где важна не только скорость, но и возможность проверить интерпретацию фразы.

На практике двуязычный формат можно использовать как субтитры во время разговора. Пользователь видит реплику на языке собеседника и её перевод рядом, вместо того чтобы переключаться между отдельными окнами или дорожками. Сервер DashScope API возвращает исходный текст вместе с переводом, если соответствующая функция включена в настройках сессии.

Эта возможность создаёт основу для показа субтитров, организации контента и поиска.

Устранение неоднозначности с учётом длинного контекста

Qwen3.8-LiveTranslate использует предыдущий текст и историю беседы, чтобы точнее интерпретировать новые реплики. Функция рассчитана на случаи, когда значение слова, имени или ссылки на объект становится понятным только из сказанного ранее. За счёт этого модель стремится сохранять единообразие терминов и формулировок в длинном разговоре.

Например, имя человека, название проекта или сокращение могут прозвучать в начале обсуждения, а позднее появиться в коротких репликах. Учёт контекста помогает связать такие фрагменты и не переводить одно понятие каждый раз по-разному.

Условия использования Qwen3.8-LiveTranslate

Модель тарифицируется по количеству обработанных токенов. Для входных данных предусмотрены отдельные цены на аудио и изображения, для выходных – на текст и аудио.

Есть бесплатная квота. Для отслеживания использования необходимо войти в аккаунт.

Ограничения для API: до 49 тыс. токенов на вход, до 4 тыс. токенов на выход и контекстное окно до 53 тыс. токенов. Лимит составляет до 100 тыс. токенов в минуту и до 10 запросов в минуту.