Grok Voice 3.0

Что такое Grok Voice 3.0

Grok Voice 3.0 – голосовая модель для преобразования речи в речь и создания голосовых агентов в реальном времени. Она принимает голосовой ввод, обрабатывает запрос, а затем отвечает голосом с задержкой менее одной секунды. Модель доступна через API и прежде всего рассчитана на разработчиков, встраивающих голосовое взаимодействие в приложения, телефонные линии и клиентские сервисы.

Главная задача Grok Voice 3.0 – сделать разговор с агентом естественнее в сценариях, где решают скорость ответа, очередность реплик, паузы и прерывания. Модель набрала 97% в Full Duplex Bench – тесте, который проверяет обработку этих особенностей диалога. Это может оказаться важным для голосовых интерфейсов: пользователь обычно не готов ждать, пока бот «додумает» ответ.

Grok Voice 3.0 используется в автомобилях Tesla, голосовом режиме Grok Bot и кол-центрах Starlink. В Tesla водитель может голосом проверить календарь, ответить на письма, заказать кофе или забронировать ужин через Connectors и Grok Bot. В Starlink модель обрабатывает 20 000 обращений в день на нескольких языках.

Сервис может быть интересен командам разработки, создателям голосовых ботов, операторам контакт-центров и компаниям с телефонной поддержкой. Для корпоративных задач имеются меры безопасности и соответствие требованиям, включая нулевое хранение данных, SOC 2 Type II, HIPAA и GDPR. Работать с Grok Voice 3.0 предлагается в основном через API.

По результатам независимого тестирования Artificial Analysis модель получила индекс speech-to-speech 86,9. В тесте τ-Voice, оценивающем работу со звонками с акцентами, фоновым шумом и перебиваниями, указана оценка 71,6%.

Ключевые возможности Grok Voice 3.0

Преобразование речи в речь в реальном времени

Grok Voice 3.0 позволяет создавать голосовых агентов, работающих в формате «речь в речь». Разработчик может подключиться к API по WebSocket и получать ответы с низкой задержкой.

Такая функция нужна там, где голосовому боту важно держать темп живого разговора, а не просто принять запись и через какое-то время вернуть результат. Например, клиент звонит в поддержку, описывает проблему с устройством – и получает голосовые уточняющие вопросы или инструкции. Сервис также поддерживает работу с паузами, сменой очередности реплик и прерываниями. Для телефонных диалогов это особенно актуально.

Для клиентских приложений предусмотрены эфемерные токены. Они помогают безопасно подключать приложение к сервису, не передавая пользователю постоянный API-ключ. Например, модель может реализовать веб-агента, телефонного агента на Twilio, агента WebRTC и тестовое iOS-приложение.

Голосовые агенты могут использовать инструменты.

Синтез речи из текста

API преобразования текста в речь превращает текстовый ответ приложения в аудио. Для этого есть встроенные выразительные голоса, а также речевые теги для смеха, шёпота и пауз. Это пригодится компаниям, которым нужно озвучивать ответы чат-бота, уведомления, инструкции или реплики телефонного агента.

Синтез доступен и через одиночные запросы, и через потоковую передачу по WebSocket. У разработчика здесь два пути: подготовить весь текст и получить готовый аудиофайл либо отправлять текст частями, пока генерируется ответ. Второй подход полезен в диалогах, когда важно начать говорить, не дожидаясь готовности всей длинной реплики.

Поддерживаются форматы вывода – от MP3 высокого качества до μ-law, используемого в телефонии. Например, можно сделать голосового помощника для сайта с MP3-ответами или подключить синтез к телефонной линии в подходящем для этого канала формате.

У встроенных голосов есть разные характер и интонация, причём каждый из них способен говорить на любом поддерживаемом языке. Голос по умолчанию – eve .

Распознавание речи и расшифровка аудио

Grok Voice поддерживает преобразование речи в текст. API может расшифровывать аудиофайлы за один вызов или работать с аудиопотоком через WebSocket. По умолчанию для этой задачи используется модель grok-voice-transcribe-2.0 .

Функция решает привычную для голосовых продуктов задачу: превращает звонок, голосовое сообщение или живой разговор в текст, с которым можно продолжить работу. Например, контакт-центр получает текстовую расшифровку диалога, а голосовой агент понимает вопрос клиента и строит ответ.

Сервис имеет поддержку 15 аудиоформатов, более 38 языков, временных меток на уровне слов и многоканального аудио. Временные метки помогают понять, на какой секунде прозвучало конкретное слово. Многоканальность может пригодиться для записи разговоров, когда собеседники разведены по разным каналам.

Также включены разделение речи по говорящим и определение конца реплики с помощью Smart Turn. На практике это может выглядеть так: сервис отделяет реплики оператора от реплик клиента в записи звонка, а в живом разговоре пытается уловить момент, когда пользователь закончил говорить.

Пользовательские голоса и клонирование голоса

Grok Voice позволяет создать пользовательский голос на базе короткого эталонного аудиоклипа. После этого разработчик получает voice_id , который можно использовать там же, где работает встроенный голос. Функция помогает сохранить узнаваемую голосовую подачу в приложении, голосовом боте или озвучке контента.

Созданный voice_id работает со стриминговым TTS через WebSocket и с API преобразования речи в речь в реальном времени. Например, команда может подготовить короткий эталонный клип с голосом, создать пользовательский голос, а затем задействовать его для реплик агента в телефонном сценарии.

Голосовые агенты для поддержки и телефонных линий

Grok Voice 3.0 подходит для задач клиентской поддержки и телефонных агентов. В тесте EVA-Bench от ServiceNow модель получила 74% по точности, а при совместной оценке точности и клиентского опыта была названа лучшей среди сравниваемых моделей.

Главный практический сценарий – агент, который разговаривает с клиентом и по ходу обращения выполняет действия. Агент подтверждает личность клиента, помогает устранить неполадки оборудования, выдаёт кредиты и оформляет отправку замены. Около 70% звонков в кол-центры Starlink закрываются без участия человека.

Подобный подход может уменьшить число простых обращений, попадающих к операторам. Речь, например, о вопросах о состоянии оборудования, проверке данных или стандартных инструкциях.

Безопасность и корпоративные возможности

Для голосовых API есть режим нулевого хранения данных, или ZDR. Аудиоданные обрабатываются в реальном времени, не сохраняются и не используются для обучения. Это важно для компаний, работающих с конфиденциальными разговорами и не желающих оставлять голосовые записи в хранилище поставщика.

Есть соответствие SOC 2 Type II, GDPR, наличие соглашений об обработке данных и вариантов хранения данных в ЕС. Для медицинских приложений, работающих с персональными медицинскими данными, имеется поддержка HIPAA и возможность заключить соответствующее соглашение.

Для крупных организаций включены также региональная обработка данных, инфраструктура в нескольких регионах и индивидуальные соглашения об уровне обслуживания для корпоративных нагрузок. Кроме того, доступны SAML SSO, управление доступом на основе ролей и журнал аудита. Это может помочь компании ограничить доступ к настройкам голосового агента по ролям и фиксировать действия пользователей в административной части.

Условия использования Grok Voice 3.0

Grok в приложении – бесплатный тариф существует, и в нём доступен голосовой режим с ограничениями по использованию.

Grok Voice 3.0 доступен через Speech to Speech API с моделью grok-voice-latest . Стоимость обработки речи в реальном времени составляет $0,08 за минуту, или $4,80 за час. Агенты, использующие grok-voice-latest, уже переведены на новую версию без изменений в интеграции.

Для преобразования текста в речь и речи в текст действуют отдельные тарифы.