Molmo — нейросеть для анализа изображений. Модели семейства Molmo можно использовать прямо в браузере или загрузить с платформы Hugging Face. Инструмент переигрывает в анализе изображений таких флагманов, как Claude 3.5 и Gemini 1.5. Модели обучены на датасете PixMo, в котором отсутствуют синтетические данные, что повышает качество ответов.
Особенности Molmo:
- Анализ изображений. Molmo — семейство мультимодальных моделей для анализа изображений. Самой мощной моделью семейства является Molmo 72B, превосходящая в данной категории Claude 3.5 Sonnet и Gemini 1.5, но немного уступающая GPT-4o по оценкам пользователей. От пользователя требуется загрузить файл, ввести запрос, а нейросеть проанализирует изображение и ответит на вопрос. Molmo плохо работает с прозрачными изображениями!
- PixMo. Модели Molmo обучены на Pixmo, наборе данных из 1 миллиона пар изображений и текстов. Важной особенностью датасета является отсутствие синтетических данных, т.к. в сборе принимали участие реальные люди.
- Open source. Разработчики выложили все модели семейства Molmo на платформе Hugging Face. Для каждой модели доступны примеры использования, а также результаты на академических бенчмарках и оценки пользователей.
Модели Molmo доступны бесплатно.