Damo Radar

Что такое Damo Radar

Damo Radar – нейросеть для анализа контрастных КТ-исследований брюшной полости и поддержки задач радиологической диагностики. Проект опубликован в GitHub-репозитории Alibaba DAMO Academy. Это не готовый веб-сервис с личным кабинетом, а открытый исследовательский проект: в нем доступны код, модели и материалы для запуска.

Модель относится к классу vision-language и сопоставляет медицинские изображения с текстовыми описаниями из клинических заключений. RADAR обучали более чем на 400 000 контрастных КТ-обследований брюшной полости и 15 миллионах пар «изображение – текст» с учетом анатомии. Обучение велось на клинических отчетах, без ручной разметки.

Главная особенность Damo Radar – фокус не на одном узком диагностическом сценарии, а на общем анализе абдоминальных КТ. Авторы называют модель масштабируемой основой для радиологического ИИ и она применима как к рутинным, так и к сложным клиническим задачам.

Прежде всего проект может заинтересовать исследователей медицинских изображений, разработчиков радиологических решений и команды, изучающие модели для обработки КТ.

Код проекта распространяется по лицензии Apache License 2.0. Предобученные контрольные точки и вспомогательные файлы размещены на Hugging Face, а архив кода доступен и через Zenodo.

Ключевые возможности Damo Radar

Анализ контрастных КТ брюшной полости

Damo Radar предназначен для диагностических задач по контрастным КТ-исследованиям брюшной полости. Модель заявлена как основа для широкого спектра радиологических задач, а не как инструмент для поиска одного конкретного признака. Такой подход может пригодиться в исследованиях, где приходится работать с комплексными КТ-данными и клиническими описаниями.

На практике это может выглядеть как запуск модели на подготовленном КТ-исследовании с получением предсказаний в формате, предусмотренном проектом. В репозитории есть демонстрационный NIfTI-файл и результаты предсказаний в CSV, поэтому разработчики показывают работу и с данными исследования, и с табличным выводом.

Например, исследователь может взять демонстрационный NIfTI-файл из репозитория, воспроизвести инференс по документации, а затем сопоставить результат с приложенным CSV. Это удобно для первичной проверки установки и понимания структуры выходных данных.

Сопоставление КТ-изображений с текстом клинических отчетов

Модель обучалась на парах медицинских изображений и текстов клинических отчетов. Обучающий набор включал 15 миллионов пар «изображение – текст», учитывающих анатомический контекст. Это отличает подход от моделей, для которых нужно вручную размечать каждый снимок либо отдельную область интереса.

Такая схема помогает решать исследовательскую проблему дефицита ручной разметки в медицинских данных. Вместо создания отдельных аннотаций для большого числа исследований разработчики использовали сведения, уже присутствующие в клинических отчетах. В реальной работе это может быть полезно при изучении методов, связывающих визуальные признаки на КТ с текстовыми описаниями радиолога.

Один из возможных сценариев – исследовательская команда загружает контрольную точку RADAR и проверяет ее на собственном наборе обезличенных контрастных КТ, соблюдая требования к данным и безопасности.

Предобученные модели и файлы для запуска

Для Damo Radar доступны предобученные контрольные точки и вспомогательные файлы на Hugging Face. Эти материалы нужны для демонстрационного инференса и обучения. Получить их можно с помощью двух вспомогательных скриптов из каталога download_scripts/ .

Разработчику не придется вручную искать веса и сопутствующие ресурсы по разным источникам. Типовой путь выглядит так:

В качестве практического старта можно использовать готовые материалы репозитория, а не собственный набор КТ. Это помогает убедиться, что зависимости установлены корректно, а модель загружается в рабочем окружении.

Условия использования Damo Radar

Damo Radar доступен в формате бесплатного проекта.