Тернарные веса и локальный ИИ: что меняет Bonsai 2 27B

ИИ 10 мин чтения

---

Компания PrismML выпустила Bonsai 2 27B - тернарно-квантизированную версию Qwen3.8-27B. Модель умещается в 5,9 ГБ вместо 54 ГБ у оригинала. При этом она сохраняет 98,2% агрегированной производительности по 20 бенчмаркам. Это не эксперимент в академической среде: модель доступна на Hugging Face с инструкциями по запуску, лицензией Apache 2.0 и готовыми весами. Ниже - разбор того, как это работает, чем отличается от обычной квантизации и что из этого следует для тех, кто строит продукты на базе языковых моделей.

Почему 54 ГБ превратились в 5,9 ГБ - и это не магия

Обычная квантизация, которую применяют в большинстве open-source инструментов, сводится к округлению весов с 16-битного представления до 4, 3 или 2 бит. Это работает, но с потерями: типичные sub-4-bit схемы на Qwen3.8-27B дают около 84% от исходного качества. PrismML пошла другим путём.

Вместо округления в произвольный диапазон веса модели принимают только три значения: −1, 0 и +1. Это и есть тернарные, или троичные, веса. Каждый параметр хранится примерно в 1,72-1,76 бита, а не в 16. Чтобы при этом не потерять динамический диапазон, применяется групповое масштабирование: для каждой группы из 128 весов хранится один FP16-коэффициент, который восстанавливает амплитуду сигнала при инференсе.

Результат: языковой бэкбон модели с 27,36 млрд параметров занимает около 5,9 ГБ в формате PTQ1_0 (наиболее плотная упаковка, около 1,75-1,76 бит на вес) или около 7,2-7,3 ГБ в формате PQ2_0 (чуть менее плотный, зато быстрее распаковывается при инференсе). Для сравнения: FP16-версия занимает порядка 54 ГБ - это разница примерно в девять раз.

Важный нюанс: тернарные ядра нестандартны. Обычный llama.cpp такие файлы не запустит - нужен форк PrismML со специализированными низкоразрядными ядрами. Это не недостаток, а следствие архитектурного решения: стандартные ядра просто не умеют работать с тернарными весами напрямую, без разворачивания обратно в FP16.

Что показывают бенчмарки и где модель держится лучше всего

PrismML тестировала Bonsai 2 27B по 20 бенчмаркам в шести категориях: рассуждение, математика, программирование, следование инструкциям, мультимодальность и агентное использование инструментов. Агрегированный балл базовой Qwen3.8-27B составил около 85,4, у Bonsai 2 27B - около 83,9. Это и даёт 98,2% удержания качества.

Ещё один набор из 14 тестов на рассуждение показывает средний балл 84,78 у Bonsai 2 против 86,32 у оригинального FP16 - разрыв меньше двух пунктов. Для задач математики и кода результаты практически совпадают с полноточной моделью, что принципиально важно для практических применений.

Для сравнения с предыдущим поколением: первый Bonsai 27B (на базе Qwen3.6) удерживал около 95% качества. Переход с 95% до 98%+ - это не просто цифра: при работе с кодом или математическими задачами разница между «иногда ошибается» и «почти не ошибается» вполне ощутима в продакшне.

Отдельно стоит отметить мультимодальную составляющую. Визуальная башня (vision tower) хранится в 4-битном формате отдельно от языкового стека. Это позволяет сохранить качество работы с изображениями при разумном общем размере модели. Контекстное окно - 262 144 токена, что достаточно для обработки длинных документов, многошаговых диалогов и сложных агентных цепочек.

Как запустить модель: форматы, железо и инструменты

Bonsai 2 27B доступна в двух основных форматах весов:

• GGUF - для экосистемы llama.cpp (форк PrismML). Поддерживает CUDA (NVIDIA GPU), Metal (Mac, включая Apple Silicon) и CPU. Два варианта упаковки: PTQ1_0 (~5,9-6,0 ГБ, максимальная плотность) и PQ2_0 (~7,2-7,3 ГБ, удобнее при распаковке).
• MLX 2-bit - для Apple Silicon (Mac, потенциально iPhone и iPad). Занимает около 8-9 ГБ с учётом vision tower, оптимизирован под архитектуру чипов Apple.

Для запуска через GGUF нужно:

1. Скачать веса через huggingface_hub командой hf download из репозитория prism-ml/Ternary-Bonsai-2-27B-gguf.
2. Собрать форк llama.cpp от PrismML с нужными флагами (CUDA или Metal в зависимости от железа).
3. Запустить сервер - он поднимает OpenAI-совместимый API, который стыкуется с большинством существующих клиентов и пайплайнов.

Для MLX-варианта: скачать репозиторий prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, установить зависимости из requirements.txt и запустить через MLX-экосистему.

PrismML также предоставляет демо-репозиторий с quickstart-скриптом: он сам ставит инструменты сборки, скачивает веса и бинарники. Из предварительных условий - только git, curl и достаточный объём диска.

По железу: модель реально запускается на ноутбуке с 16 ГБ оперативной памяти или на одном потребительском GPU с 8-24 ГБ VRAM. Это делает 27B-класс доступным без облачной инфраструктуры.

Что такое PrismML и зачем им тернарные веса

PrismML - исследовательская компания, выросшая из разработок Caltech. Их позиция: гонка за числом параметров исчерпала себя, важнее добиться максимальной «плотности интеллекта» на единицу параметра. Тернарные веса - это не компромисс ради компактности, а целенаправленная инженерная стратегия.

Ключевая идея: если модель можно сжать в 9 раз при потере менее 2% качества, то стоимость инференса, энергопотребление и требования к железу меняются принципиально. Модель, которая раньше требовала сервер с несколькими A100, теперь работает на MacBook Pro или одном RTX 4090.

Это открывает сценарии, которые раньше были нереализуемы:

• Локальные ассистенты разработчика без отправки кода в облако.
• Офлайн-инструменты для анализа данных в изолированных контурах.
• Агентные системы, где данные не покидают устройство пользователя.
• Потенциальный запуск на мощных мобильных устройствах - смартфонах и планшетах.

Bonsai 2 27B распространяется под лицензией Apache 2.0, что означает свободное коммерческое использование без строгих ограничений. Для разработчиков, которым нужна юридически чистая альтернатива оригинальному Qwen с его лицензионными нюансами, это существенный аргумент.

Тернарная квантизация против обычной: в чём реальная разница

Чтобы понять, почему подход PrismML даёт более высокие показатели по бенчмаркам, чем стандартная агрессивная квантизация, нужно разобраться в механике.

Обычная квантизация (например, Q2_K или Q3_K в llama.cpp) работает постфактум: берёт уже обученную FP16-модель и округляет веса до меньшего числа бит. При этом распределение весов, которое формировалось при обучении в FP16, не оптимизировано под низкоразрядное представление. Отсюда потери качества, которые нарастают по мере снижения разрядности.

Тернарный подход PrismML предполагает, что модель обучается (или дообучается) с учётом ограничений на значения весов с самого начала. Веса «знают», что они будут тернарными, и распределение формируется под это ограничение. Групповые FP16-масштабы восстанавливают амплитуду, не увеличивая разрядность самих весов.

Практическое следствие: при сопоставимом размере файла тернарная модель демонстрирует заметно более высокое удержание качества по сравнению с обычной sub-4-bit квантизацией того же базового чекпойнта. По данным PrismML, типичные sub-4-bit схемы на Qwen3.8-27B дают около 84% от исходного качества, тогда как Bonsai 2 27B - 98,2%.

Есть и ограничения. Тернарные ядра требуют специализированной реализации в inferencing-библиотеке - стандартный llama.cpp не подойдёт. Это создаёт зависимость от форка PrismML и потенциальные сложности при интеграции в нестандартные стеки. Кроме того, бенчмарки отражают агрегированное качество: для специфических доменов (например, юридические или медицинские тексты) нужна отдельная валидация, прежде чем запускать модель в продакшн.

Локальный ИИ и приватность: почему это важно для продуктовых команд

Облачные LLM-сервисы удобны, но имеют ограничения, которые критичны для части сценариев. Данные уходят на сторонние серверы. Стоимость инференса при большом объёме запросов накапливается. Работа в офлайн-режиме или в изолированных контурах невозможна.

Bonsai 2 27B решает эти проблемы для 27B-класса моделей. Если раньше локальный запуск модели такого масштаба требовал дорогостоящего железа, то теперь достаточно обычного ноутбука с 16 ГБ RAM или одного потребительского GPU.

Для команд, которые строят продукты на маркетплейсах, это означает возможность обрабатывать чувствительные данные локально: отзывы покупателей, переписку с клиентами, аналитику по ассортименту - без передачи в облако. Инструменты, которые автоматизируют ответы на отзывы и аналитику отзывов маркетплейсов, работают с данными, которые бренды предпочитают держать под контролем. Локальные модели открывают дополнительный уровень контроля над этим процессом.

Важно понимать: локальный запуск - не замена облачным решениям для всех задач. Скорость инференса на потребительском железе ниже, чем на серверных GPU. Для высоконагруженных сценариев с тысячами запросов в день облачный инференс остаётся практичнее. Но для прототипирования, тестирования, работы с конфиденциальными данными или офлайн-сценариев тернарные модели меняют уравнение.

Как применить эту информацию на практике

Если вы разрабатываете инструменты на базе LLM или выбираете модель для продуктовой задачи, вот на что стоит обратить внимание.

Что делать прямо сейчас:

• Оцените, нужен ли вам локальный инференс. Если данные чувствительны или нужна офлайн-работа - тернарные модели стоит рассмотреть как реальную опцию, а не экзотику.
• Проверьте совместимость стека. Bonsai 2 27B требует форка llama.cpp от PrismML - стандартный бинарник не подойдёт. Убедитесь, что ваш пайплайн допускает замену inferencing-библиотеки.
• Выберите формат весов под задачу: PTQ1_0 (~5,9 ГБ) - если критичен размер и есть достаточно VRAM; PQ2_0 (~7,2 ГБ) - если важна скорость распаковки и у вас чуть больше памяти. Для Apple Silicon берите MLX 2-bit вариант.

На что смотреть при оценке качества:

• Не доверяйте агрегированным бенчмаркам слепо. 98,2% удержания - это среднее по 20 тестам. Для вашей конкретной задачи (например, генерация ответов на отзывы или анализ тональности) нужна отдельная проверка на реальных данных.
• Сравните с sub-4-bit квантизацией того же базового чекпойнта. Если у вас уже есть Q4_K_M версия Qwen3.8-27B в работе, прогоните оба варианта на своих задачах - разница может быть ощутимой именно там, где вам важно.
• Проверьте работу с длинным контекстом. 262K токенов - это заявленный лимит, но качество reasoning на длинных последовательностях стоит проверить отдельно, особенно если вы работаете с длинными документами или многошаговыми агентными цепочками.

Типичные ошибки при переходе на локальные модели:

• Недооценка требований к диску и памяти с учётом vision tower. Языковая часть - 5,9 ГБ, но мультимодальная башня добавляет объём. Итоговый footprint с vision tower и runtime - около 8-9 ГБ.
• Игнорирование задержки (latency). На CPU инференс значительно медленнее, чем на GPU. Если у вас нет дискретной видеокарты или Apple Silicon с достаточной унифицированной памятью, скорость может не устроить для интерактивных сценариев.
• Пропуск валидации на доменных данных. Модель обучена на общих данных. Для специализированных задач - юридические тексты, медицина, узкоотраслевая терминология - нужна проверка, а возможно, и дообучение.

Bonsai 2 27B - это практическое подтверждение того, что тернарная квантизация вышла из академических статей в продакшн-готовые инструменты. Для команд, которые строят продукты на базе LLM и ценят контроль над данными, это стоит проверить на реальных задачах - благо лицензия Apache 2.0 не создаёт препятствий ни для коммерческого использования, ни для интеграции в существующие пайплайны.