DeepSeek-V4

Что такое DeepSeek-V4

DeepSeek-V4 – семейство больших языковых моделей с архитектурой Mixture-of-Experts (MoE), способных работать с контекстом до миллиона токенов. В линейке две модели: DeepSeek-V4-Pro с 1,6 триллионами параметров (49 миллиардов активных) и DeepSeek-V4-Flash с 284 миллиардами параметров (13 миллиардов активных). Обе распространяются с открытым исходным кодом под лицензией MIT.

Главное преимущество – радикальное снижение вычислительных затрат при работе с длинным контекстом. По сравнению с предыдущей версией DeepSeek-V3.2, новая модель требует всего 27% вычислений для генерации одного токена. А объем KV-кэша при обработке миллиона токенов сокращается до 10%. Это достигается за счет гибридной архитектуры внимания, которая сочетает сжатое разреженное внимание (CSA) и сильно сжатое внимание (HCA).

Модели обучались на более чем 32 триллионах токенов и прошли двухэтапную пост-обработку. Сначала через supervised fine-tuning и обучение с подкреплением (GRPO) развивались специализированные экспертные модули для разных областей. Затем их знания объединялись в единую модель через дистилляцию.

DeepSeek-V4-Pro в режиме максимальных рассуждений (Pro-Max) позиционируется как лучшая открытая модель на момент релиза. Она показывает результаты уровня ведущих закрытых моделей в задачах программирования и значительно сокращает отставание в рассуждениях и агентных сценариях. DeepSeek-V4-Flash-Max при увеличенном бюджете на размышления достигает сопоставимой производительности в рассуждениях, хотя уступает в задачах, требующих обширных знаний, из-за меньшего размера.

Ключевые возможности DeepSeek-V4

Гибридная архитектура внимания для длинного контекста

DeepSeek-V4 использует комбинацию двух механизмов внимания: Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA). Эта архитектура решает главную проблему работы с длинным контекстом – экспоненциальный рост вычислительных затрат и памяти при увеличении количества токенов.

В контексте на миллион токенов модель требует только 27% вычислений для генерации одного токена по сравнению с предыдущей версией. Объем KV-кэша, который хранит информацию о предыдущих токенах, сокращается до 10% от исходного размера. Это означает, что модель может обрабатывать документы объемом в сотни страниц или целые кодовые базы, используя значительно меньше ресурсов.

На практике это позволяет анализировать длинные юридические документы, научные статьи, техническую документацию или историю переписки без потери качества понимания. Например, модель может проанализировать весь репозиторий кода проекта и дать рекомендации по рефакторингу с учетом всех зависимостей.

Три режима рассуждений с разным бюджетом вычислений

Обе модели поддерживают три режима работы, которые различаются глубиной рассуждений и количеством вычислительных ресурсов. Режим Pro-Max для DeepSeek-V4-Pro обеспечивает максимальную производительность в задачах, требующих сложных рассуждений – математических доказательствах, написании кода или многошаговом анализе.

Возможность выбора режима решает проблему баланса между скоростью ответа и качеством результата. Для простых запросов можно использовать базовый режим. Для сложных задач – переключаться на максимальный, увеличивая бюджет на «размышления» модели.

DeepSeek-V4-Flash-Max при увеличенном бюджете достигает производительности, сопоставимой с Pro-версией в задачах рассуждений. Это делает Flash-версию привлекательным вариантом для сценариев, где не требуется максимальный объем знаний, но важна способность к логическому выводу.

Архитектура Mixture-of-Experts с активацией части параметров

DeepSeek-V4-Pro содержит 1,6 триллиона параметров, но при обработке каждого запроса активируется только 49 миллиардов. DeepSeek-V4-Flash имеет 284 миллиарда параметров с активацией 13 миллиардов. Такая архитектура позволяет создавать модели с огромной емкостью знаний, но с вычислительными затратами, сопоставимыми с гораздо меньшими моделями.

Механизм MoE решает проблему масштабирования: вместо того чтобы пропускать каждый токен через все параметры, нейросеть динамически выбирает наиболее подходящих «экспертов» для конкретной задачи. Это ускоряет инференс и снижает требования к памяти при сохранении высокого качества ответов.

Двухэтапная пост-обработка сначала развивает специализацию отдельных экспертов через supervised fine-tuning и обучение с подкреплением (GRPO), а затем объединяет их знания через дистилляцию. На официальной странице не указано, сколько экспертных модулей содержит каждая модель и как именно происходит их выбор при обработке запроса.

Улучшенная стабильность обучения через mHC и Muon

DeepSeek-V4 использует Manifold-Constrained Hyper-Connections (mHC) – усиленную версию стандартных остаточных связей между слоями нейросети. Эта техника повышает стабильность распространения сигнала через слои модели, сохраняя при этом выразительность архитектуры.

Для обучения применяется оптимизатор Muon, который обеспечивает более быструю сходимость и большую стабильность в процессе тренировки. Это особенно важно для моделей такого масштаба, где нестабильность обучения может привести к значительным потерям вычислительных ресурсов.

Эти архитектурные решения влияют на конечное качество модели: более стабильное обучение позволяет эффективнее использовать обучающие данные и достигать лучших результатов при том же объеме вычислений. Для пользователя это означает более предсказуемое поведение модели и меньше артефактов в ответах.

На официальной странице не раскрываются технические детали реализации mHC и конкретные параметры оптимизатора Muon. Эти улучшения относятся к внутренней архитектуре и не требуют специальной настройки при использовании модели.

Обучение на 32+ триллионах токенов

Обе модели обучались на более чем 32 триллионах токенов разнообразных и качественных данных. Это один из самых больших объемов обучающих данных среди открытых языковых моделей. Большой объем данных позволяет модели охватывать широкий спектр тем, языков, стилей и форматов.

Разнообразие данных решает проблему узкой специализации: модель может работать с кодом на разных языках программирования, научными текстами, техническими документами, естественным языком и другими форматами. Это делает DeepSeek-V4 универсальным инструментом для различных задач без необходимости дополнительной настройки.

На практике это означает, что модель может переключаться между написанием Python-кода, объяснением математических концепций и анализом юридических документов в рамках одного диалога. Качество ответов остается высоким благодаря тому, что модель видела достаточно примеров каждого типа контента во время обучения.

На официальной странице не указан точный состав обучающего датасета, пропорции разных типов данных или языковое распределение. Не уточняется, включает ли датасет специализированные данные для агентных задач или мультимодальный контент.

Локальное развертывание

DeepSeek-V4 распространяется под лицензией MIT, что позволяет свободно использовать, модифицировать и распространять модель, включая коммерческое применение. Веса моделей доступны в нескольких форматах: BF16, FP8 и смешанный FP4+FP8, где экспертные параметры MoE используют 4-битную точность, а остальные – 8-битную.

Открытая лицензия решает проблему зависимости от внешних API и ограничений на использование данных. Компании могут развернуть модель на собственной инфраструктуре, обрабатывать конфиденциальные данные без их передачи третьим сторонам и адаптировать модель под специфические задачи.

В репозитории есть папка inference с инструкциями по локальному запуску, включая конвертацию весов и интерактивные демо. Папка encoding содержит Python-скрипты для преобразования сообщений в OpenAI-совместимом формате в входные строки для модели и парсинга выходных данных. Примечательно, что релиз не включает Jinja-шаблон для чата – вместо этого предоставляются готовые скрипты с тестовыми примерами.

Условия использования DeepSeek-V4

DeepSeek-V4 можно использовать бесплатно на официальном сайте, мобильном и десктопном приложении. Стоимость использования API представлена ниже.