Minimax-01 — языковая модель с контекстным окном 4 млн токенов. Модель выполняет обработку текстовых документов, изображений и способна выполнить поиск информации в интернете. Несмотря на огромное контекстное окно, модель отлично запоминает данные всей последовательности.
Особенности Minimax-01:
- Огромный контекст. Преимуществом модели Minimax-01 является контекстное окно длиной до 4 млн токенов, что не имеет аналогов. Нейросеть поддерживает загрузку не только текстовых документов (txt, pdf, xlsx, docx), а также презентаций и изображений. Присутствует поиск информации в интернете.
- Архитектурные особенности. Архитектура модели включает Lightning Attention для эффективной обработки длинных последовательностей. Minimax-01 имеет 456 млрд параметров. Одновременно активируются 45.9 млрд параметров. Используется архитектура Mixture Of Experts.
- Open source. Инструкции по локальному использованию модели можно найти на странице модели в Github. Кроме того, можно воспользоваться API по демократичной цене.
Minimax-01 является бесплатной нейросетью.