Florence 2 — нейросеть для распознавания объектов и текста на изображениях. Кроме того, модель поддерживает несколько режимов работы, таких как генерация краткого и подробного описания картинки, получение координат объектов и другие. Предобученные версии Florence 2 доступны на HuggingFace, что позволяет разработчиком использовать их в своих проектах.
Особенности Florence 2:
- Распознавание объектов. Florence 2 использует набор данных FLD-5B, содержащий 5,4 миллиарда аннотаций к 126 миллионам изображений, что позволяет распознавать текст и объекты на картинке с высокой точностью. Архитектура модели позволяет ей демонстрировать превосходство как при нулевых, так и при точных настройках, что делает ее конкурентоспособной моделью.
- Множество режимов. Florence 2 может решать задачи различной сложности - от высокоуровневых (описание изображений) до низкоуровневых (сегментация объектов). Нейросеть адаптируется к задаче с помощью текстовых подсказок, что делает её гибкой и универсальной.
Florence 2 размещена на платформе Hugging Face, что позволяет использовать модель для распознавания объектов бесплатно.