DeepSeek-V4-Pro

Что такое DeepSeek-V4-Pro

DeepSeek-V4-Pro – большая языковая модель на архитектуре Mixture-of-Experts (MoE), созданная китайской компанией DeepSeek специально для длинных текстов и сложных рассуждений. Параметров у неё 1,6 трлн, но благодаря MoE на каждый токен реально работает только 49 млрд. Главная особенность модели – нативная поддержка контекста в миллион токенов, причём вычислений на это уходит заметно меньше, чем у предыдущей DeepSeek-V3.2.

Параллельно с Pro вышла облегчённая DeepSeek-V4-Flash – 284 млрд параметров, из которых активных всего 13 млрд, – она рассчитана на более бюджетные сценарии использования.

Пригодится это может разработчикам и командам, строящим продукты на базе LLM – агентные ИИ, кодовых ассистентов, инструменты для разбора больших массивов документов. Исследователям модель тоже будет интересна: DeepSeek традиционно выкладывает не только веса, но и подробный технический отчёт с описанием архитектурных решений.

Веса лежат в открытом доступе на Hugging Face (deepseek-ai/deepseek-v4). То есть запустить DeepSeek-V4-Pro можно самостоятельно, на своей инфраструктуре, а не только через чужой API. Правда, для модели с 1,6 трлн параметров это требует серьёзных вычислительных мощностей.

Ключевое отличие от конкурентов, которое подчёркивает сама компания: в сценарии с контекстом в миллион токенов DeepSeek-V4-Pro требует всего 27% FLOPs на генерацию одного токена и 10% объёма KV-кеша по сравнению с DeepSeek-V3.2. Иными словами, длинный контекст тут не «дорогая опция», а обычный рабочий режим, который не разоряет по вычислениям.

Ключевые возможности DeepSeek-V4-Pro

Контекст на миллион токенов через гибридное внимание

Модель обрабатывает до 1 000 000 токенов контекста за один проход – это сотни страниц текста, целые кодовые репозитории или большие подборки документов. Классическая проблема таких объёмов – квадратичная сложность обычного механизма внимания: чем длиннее текст, тем непропорционально сильнее растёт нагрузка на память и вычисления.

DeepSeek решил это гибридной схемой из двух видов внимания – Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA). CSA сжимает KV-кеш блоками по 4 токена и выбирает наиболее релевантные сжатые блоки для разреженного внимания. HCA сжимает кеш ещё жёстче, блоками по 128 токенов, но при этом сохраняет плотное внимание. Слои этих двух типов чередуются по всей сети.

На практике это означает, что можно загрузить в модель крупный проект с документацией или, скажем, юридический договор на сотни страниц – и получить осмысленный ответ без нарезки текста на куски. На бенчмарках длинного контекста (OpenAI MRCR, CorpusQA) DeepSeek-V4-Pro обходит Gemini-3.1-Pro, хотя по MRCR уступает Claude Opus 4.6.

Настраиваемая глубина рассуждений (reasoning effort)

DeepSeek-V4-Pro поддерживает три режима «усилия мышления»: базовый, High и Max. Каждый обучен отдельно – со своими штрафами за длину ответа и разными окнами контекста при обучении (8K, 128K и 384K токенов соответственно). То есть это не просто переключатель длины ответа, а по сути разные настройки поведения модели.

Проблема, которую это решает: не всякая задача требует долгих раздумий. Для простого вопроса гонять модель через тысячи токенов размышлений – расточительство, а вот для сложной математической задачи или доказательства теоремы лучше дать ей «подумать» подольше.

На практике режим Max в отчёте называется DeepSeek-V4-Pro-Max, и именно в этой конфигурации модель показывает лучшие результаты на бенчмарках знаний и рассуждений: SimpleQA-Verified, MMLU-Pro, GPQA, HLE. На SimpleQA-Verified эта версия опережает открытые модели-аналоги на 20 процентных пунктов – хотя Gemini-3.1-Pro всё же обходит и её.

Работа с кодом и агентные сценарии

Модель умеет действовать как агент: вызывать инструменты (bash, редактирование файлов, поиск в вебе), выполнять многошаговые задачи, работать с внешними MCP-сервисами. Для вызова инструментов используется отдельный XML-формат со специальным токеном "|DSML|" – это снижает число ошибок экранирования по сравнению с прежними схемами.

Задача здесь практическая: не просто сгенерировать код по описанию, а довести дело до конца – вроде «найди баг в этом репозитории и почини его» или «пройдись по десяткам файлов и внеси правки». Модель тестировали на нескольких агентных бенчмарках для разработки: SWE-Verified, Terminal-Bench 2.0, SWE-Pro, SWE Multilingual.

На внутреннем бенчмарке DeepSeek – это около 200 реальных инженерных задач: фичи, багфиксы, рефакторинг на PyTorch, CUDA, Rust, C++ – DeepSeek-V4-Pro заметно превосходит Claude Sonnet 4.5 и почти дотягивается до Claude Opus 4.5.

Разработчики отмечают ограничение: респонденты отмечают мелкие ошибки, неверную интерпретацию расплывчатых промптов и склонность модели «переобдумывать» простые задачи. На публичных агентных бенчмарках DeepSeek-V4-Pro примерно на одном уровне с Kimi-K2.6 и GLM-5.1, но закрытым моделям-лидерам всё же уступает.

Поиск и работа со справочной информацией

В чат-режиме DeepSeek поддерживает два подхода к поиску: обычный RAG (Retrieval-Augmented Generation) в «нерассуждающем» режиме и агентный поиск в режиме мышления, когда модель сама итеративно вызывает инструменты поиска и загружает страницы по мере необходимости.

Проблема тут понятная: языковая модель обучена на статичном датасете и ничего не знает о событиях после даты обрезки данных. Значит, для фактических вопросов ей важно давать доступ к живому поиску.

По внутренним замерам DeepSeek, агентный поиск стабильно превосходит обычный RAG на сложных задачах – особенно там, где нужно свести данные из нескольких источников или построить структурированный план. При этом стоимость агентного поиска лишь незначительно выше обычного RAG. А вот на комбинированных задачах сравнения и рекомендаций разница с предыдущей DeepSeek-V3.2 менее выражена – тут результаты обеих моделей сопоставимы.

Экономичность вычислений

За счёт сжатия KV-кеша и смешанной точности вычислений (BF16 для позиционных измерений, FP8 для остальных, FP4 для лёгкого индексатора внутри CSA) модель обходится заметно дешевле на длинных контекстах, чем можно было ожидать от нейросети с 1,6 трлн параметров.

Проблема, которую это решает, знакома всем, кто работал с большими моделями: чем крупнее и «умнее» модель, тем дороже её обслуживание, особенно на длинных документах, где KV-кеш растёт линейно с длиной текста и быстро съедает память GPU. DeepSeek-V4-Pro держит эти издержки под контролем за счёт архитектурных решений – компрессии KV-кеша в 4 и 128 раз в CSA и HCA соответственно.

На практике это означает, что запуск модели с контекстом в сотни тысяч или миллион токенов не требует пропорционального роста парка видеокарт. Авторы указывают экономию KV-кеша до 90% относительно DeepSeek-V3.2 в сценарии с миллионным контекстом.

Условия использования DeepSeek-V4-Pro

Модель DeepSeek-V4-Pro доступна через API, а также в приложении и веб-версии сервиса в режиме «Expert Mode». Для подключения через API достаточно указать существующий base_url и обновить название модели до deepseek-v4-pro.