Laguna S 2.1

Что такое Laguna S 2.1

Laguna S 2.1 – модель для агентного программирования, рассчитанная на задачи с длинным горизонтом рассуждений. Разработала её компания Poolside, а сама модель лежит в открытом доступе на Hugging Face. Главная задача – помогать писать код, вызывать инструменты и решать инженерные задачи, где важно удерживать контекст на протяжении многих шагов подряд.

По архитектуре это Mixture-of-Experts с 118 миллиардами параметров, из которых на каждый токен активируется примерно 8 миллиардов. Благодаря такому подходу качество получается как у крупной модели, а вычислительная нагрузка – как у решений куда более компактных. В линейке Poolside Laguna S 2.1 занимает промежуточное положение: младше неё Laguna XS 2.1 (33B-A3B), старше – Laguna M.1 (225B-A23B).

Ориентирована модель прежде всего на разработчиков и инженерные команды, строящие агентные ИИ для автоматизации кодинга. Это инструмент, заточенный под software engineering и работу с инструментами (tool calling). Использовать её можно локально, через популярные библиотеки инференса, либо через сторонние платформы – OpenRouter и Vercel AI Gateway.

Ключевые возможности Laguna S 2.1

Mixture-of-Experts архитектура с 256 экспертами

Модель использует router на основе token-choice с softplus-гейтингом – он распределяет вычисления между 256 маршрутизируемыми экспертами и одним общим. На каждый токен активируется топ-10 экспертов плюс общий, что в сумме даёт около 8 млрд активных параметров при общем размере в 118 млрд.

Такая схема решает классическую проблему больших языковых моделей: как удержать баланс между качеством и стоимостью инференса. Вместо прогона токена через все 118 млрд параметров, модель выбирает только релевантные «специализации» и на этом экономит вычисления.

На практике для запуска BF16-версии нужны несколько GPU: веса занимают примерно 236 ГБ. Но благодаря MoE-архитектуре скорость генерации всё равно остаётся приемлемой для интерактивных агентных сценариев. А квантованные версии – FP8, NVFP4, INT4, GGUF – заметно снижают требования к железу.

Контекстное окно на 1 миллион токенов

Laguna S 2.1 поддерживает контекст в 1 048 576 токенов. Это решает проблему, знакомую каждому разработчику: агентные ИИ для кодинга часто теряют важный контекст при работе с большими репозиториями или длинными цепочками вызовов инструментов.

Технически такой объём стал возможен благодаря смешанной схеме внимания. 48 слоёв модели распределены в соотношении 1:3 между глобальным вниманием (12 слоёв) и sliding-window вниманием (36 слоёв, окно 512 токенов), причём для каждого типа слоёв применяются отдельные rotary-скейлы.

На практике это позволяет загрузить в модель весь код проекта, историю правок и документацию сразу – без необходимости резать контекст на части. Например, при автоматическом рефакторинге крупного модуля модель способна держать в поле внимания весь связанный код, а не только последние несколько файлов.

Встроенная поддержка рассуждений (reasoning)

Модель поддерживает interleaved thinking – чередование этапов рассуждений с вызовами инструментов. Управлять этим можно на уровне запроса через параметр enable_thinking или на уровне сервера через флаг --default-chat-template-kwargs.

Это решает проблему, характерную для агентных ИИ, где модели нужно не просто выдать ответ, а спланировать последовательность действий, вызвать инструмент, обработать результат и подкорректировать план.

Спекулятивное декодирование через DFlash

Для снижения задержек при инференсе Poolside обучила отдельную draft-модель DFlash – она работает в паре с Laguna S 2.1 по механизму спекулятивного декодирования. Задача этой функции проста: ускорить генерацию текста без потери качества итогового результата.

Подключается это через конфигурацию vLLM, например: --speculative-config '{"model":"poolside/Laguna-S-2.1-DFlash","num_speculative_tokens":7,"method":"dflash"}'. Draft-модель предполагает несколько токенов вперёд, а основная – проверяет и подтверждает их. Получается быстрее, чем генерировать каждый токен последовательно.

Особенно это пригодится в агентных сценариях, где модель делает много последовательных вызовов в рамках одной задачи: каждая доля секунды экономии складывается в заметную разницу при десятках итераций.

Гибкость развертывания и квантованные версии

Laguna S 2.1 поддерживает несколько инференс-движков: vLLM, SGLang, Transformers, TRT-LLM и llama.cpp (через форк Poolside с полной поддержкой DFlash). Доступны и квантованные варианты – FP8, NVFP4, INT4 и GGUF, а сама модель опубликована в библиотеке Ollama с тегами q4_K_M, q8_0, f16, mxfp8, nvfp4, mlx-bf16.

Это решает вполне практическую проблему: не у каждой команды есть кластер с несколькими GPU для BF16-инференса. Квантованные версии позволяют запускать модель на менее мощном железе, жертвуя частью точности ради доступности.

Команда, например, может запустить ollama run laguna-s-2.1:q8_0 на локальной машине для тестирования агентного пайплайна, а уже в продакшене перейти на полную BF16-версию через vLLM с несколькими GPU. Чат-шаблон Laguna встроен в модель заранее, поэтому tool-calling и interleaved reasoning работают из коробки – без дополнительной настройки промптов.

Условия использования Laguna S 2.1

Laguna S 2.1 распространяется под лицензией OpenMDW-1.1, которая описывается как «полностью разрешительная» – то есть модель можно использовать, изменять и встраивать в коммерческие продукты без дополнительных согласований.