Ornith-1.5-9B-uncensored-GGUF

Что такое Ornith-1.5-9B-uncensored-GGUF

Ornith-1.5-9B-uncensored-GGUF – открытая мультимодальная языковая модель семейства Ornith 1.5, предназначенная для red teaming и защитных исследований в кибербезопасности. Она опубликована в репозитории junafinity/Ornith-1.5-9B-uncensored на Hugging Face и основана на контрольной версии Ornith-1.5-9B с 9 млрд параметров.

Это не готовый чат-сервис с веб-интерфейсом. Для работы с моделью потребуется запуск через библиотеки, локальные приложения или серверные фреймворки: например, Transformers, vLLM, SGLang, llama.cpp, Ollama или LM Studio.

Главная особенность версии – ослабление встроенных механизмов отказа. Авторы характеризуют обработку как abliterated или refusal-direction-ablated : в весах модели редактируется направление, связанное с отказами от ответа. Такой подход нужен для контролируемой проверки защитных систем, а не для создания публичного ассистента без ограничений.

Модель поддерживает мультимодальные запросы: она принимает изображение вместе с текстовой инструкцией и формирует текстовый ответ по визуальному содержимому. После обработки весов авторы отдельно проверили сохранность vision-модуля и работу сценариев image-to-text.

Ключевые возможности Ornith-1.5-9B-uncensored-GGUF

Модель объединяет работу с текстом и изображениями, а также рассчитана на исследования поведения LLM в условиях, когда часть встроенных отказов ослаблена. Это позволяет сравнивать её реакции с базовой Ornith-1.5-9B в одинаковых тестовых сценариях.

Анализ изображений по текстовому запросу

Ornith-1.5-9B-uncensored поддерживает сценарий image-to-text. Пользователь передаёт модели изображение и текстовую инструкцию, после чего она формирует ответ: определяет объект на картинке, описывает сцену или отвечает на вопрос о визуальном содержимом.

Например, модель может распознать животное на упаковке конфеты или описать фотографию одним предложением. Запрос может состоять из текста и URL изображения: например, разработчик загружает фотографию статуи и просит кратко описать её.

Тестирование моделей и защитных слоёв

Основное назначение Ornith-1.5-9B-uncensored – red teaming и defensive cybersecurity research. Ослабленные механизмы отказа позволяют проверять, как внешние защитные контуры реагируют на сложные или потенциально нежелательные запросы, не останавливая эксперимент на первом отказе самой языковой модели.

Разработчики могут сопоставлять результаты базовой Ornith-1.5-9B и обработанной версии, фиксируя различия в ответах, срабатываниях внутренних фильтров, модерации и классификаторов. Это помогает отделить влияние safety-обучения от фактических возможностей модели на конкретном наборе тестов.

Модель также может использоваться для формирования размеченных ответов при обучении или бенчмаркинге систем модерации и детекторов злоупотреблений. Пара из базовой и abliterated-версии подходит в качестве экспериментального контроля при изучении остаточных отказов.

Запуск через Transformers

В репозитории приведён пример использования модели через библиотеку Transformers. Для быстрого старта можно применить высокоуровневый pipeline с задачей image-text-to-text либо загрузить процессор и модель напрямую через AutoProcessor и AutoModelForMultimodalLM .

Прямой способ даёт больше контроля над подготовкой сообщений и параметрами генерации. Сообщения преобразуются методом apply_chat_template , затем подаются в модель через generate . Например, к URL изображения можно добавить вопрос и ограничить длину ответа параметром max_new_tokens=40 .

Для архитектуры qwen3_5 , на которой работает модель, требуется версия transformers не ниже 5.12. Это делает вариант с Python удобным для ноутбуков, прототипов и собственных ML-пайплайнов.

Развёртывание через vLLM и SGLang

Ornith-1.5-9B-uncensored можно развернуть в виде локального сервера через vLLM. В инструкции используется команда vllm serve , после чего запросы отправляются на адрес http://localhost:8000/v1/chat/completions .

Интерфейс совместим с OpenAI-compatible API. Это упрощает подключение внутренних приложений и инструментов автоматического тестирования, которые уже работают с аналогичным форматом запросов. В сообщениях можно передавать текстовую инструкцию и URL изображения.

Для SGLang также доступен вариант серверного запуска: нужно указать путь к модели, хост и порт, после чего сервис принимает запросы через путь /v1/chat/completions . В документации приведён и контейнерный сценарий с GPU, пробросом порта, кэшем Hugging Face и параметром общей памяти --shm-size 32g .

Серверное развёртывание подходит для внутреннего тестового endpoint, который не публикуется в интернете и используется только в изолированной инфраструктуре команды.

Квантованные версии и локальные приложения

Несмотря на наличие GGUF в названии, на основной странице репозитория главным артефактом указан 9B checkpoint в формате bf16. Для запуска через llama.cpp, Ollama, LM Studio и совместимые приложения авторы предлагают перейти в раздел Browse Quantizations .

Квантованные версии могут быть удобны для локальных экспериментов, когда не требуется загружать исходный bf16 checkpoint через Transformers. Такой вариант особенно полезен при работе с тестовыми данными, которые нежелательно отправлять во внешние сервисы.

Пользователям Mac авторы рекомендуют рассмотреть варианты MLX-8bit или GGUF-8bit из родственных публикаций. Выбор между GGUF, MLX и базовой bf16-версией зависит от операционной системы, доступной памяти, используемого приложения и сценария запуска.

В предоставленной информации не указан точный список доступных GGUF-файлов, их размеры, уровни квантования и требования к оперативной памяти. Авторы также отмечают, что упоминавшиеся ранее 4-битные и 6-битные варианты были удалены, поскольку соответствующие репозитории не публиковались.

Условия использования и меры предосторожности

Ornith-1.5-9B-uncensored следует рассматривать как исследовательский инструмент, а не как безопасную замену публичному чат-боту. Пониженный уровень встроенных отказов требует компенсировать риски внешними средствами: фильтрацией входных данных, проверкой результатов, журналированием и ограничением доступа.

Для практических экспериментов желательно запускать модель в закрытом контуре, разделять тестовые и продуктивные среды, не передавать чувствительные данные в непроверенные endpoint и заранее определять правила обработки потенциально рискованных ответов.

Если модель используется для проверки модерации, важно оценивать не только способность системы блокировать нежелательные ответы, но и число ложных срабатываний, устойчивость к перефразированию запросов и поведение в многошаговом диалоге.

Ornith-1.5-9B-uncensored-GGUF доступен в рамках бесплатного проекта.