Groq — бесплатный чат-бот на основе нейросетей Mixtral 8x7B-32k и Llama 2 70B-4k. Сервис использует LPU, который многократно ускоряет вывод больших языковых моделей. Groq генерирует примерно 250 токенов в секунду, что в разы превосходит скорость моделей от OpenAI. Предоставляет API, совместимый с OpenAI API, позволяя легко переключиться с него.
Особенности Groq:
- Высокая скорость генерации. Groq произвёл прорыв в сфере ИИ с помощью LPU (Language Processing Unit). Это новый тип процессора, который обеспечивает самые быстрые выводы для вычислительно интенсивных приложений с последовательным компонентом, таких как языковые модели. LPU разработан для преодоления двух узких мест LLM: плотности вычислений и пропускной способности памяти. LPU обладает большей вычислительной мощностью, чем GPU и CPU, в отношении LLM. Это сокращает время вычисления каждого слова, позволяя генерировать последовательности текста гораздо быстрее. На данный момент чат-бот предоставляет выбор из двух нейросетей: Llama 2 70B-4k и Mixtral 8x7B-32k. Результаты Groq поражают воображение. Сервис генерирует примерно 250 токенов в секунду, что в 13 раз быстрее ChatGPT!
- Дополнительные функции. Чат-бот Groq умеет оформлять ответы в виде списка или таблицы, если его об этом попросить. Также доступна функция генерации более подробного ответа. Чат-бот может переписать текст в других стилях: нейтральном, профессиональном, дружелюбном или педагогическом. Если вас интересует краткий ответ, то Groq даст его в 3 предложениях.
- Наличие API. Groq предоставляет API для внедрения языковых моделей в свой проект. Предоставляет пробный период 10 дней и 1 миллион токенов. Для подключения API потребуется заполнить форму на сайте.
На данный момент пользоваться Groq можно бесплатно.
