GigaChat 3.5 Ultra: как ИИ-модель Сбера меняет работу с клиентскими запросами

ИИ 5 мин чтения

Сбер запустил флагманскую модель GigaChat 3.5 Ultra. Она открывает возможности для автоматизации бизнес-процессов. Модель компактнее на 40% по сравнению с предыдущей версией. При этом GigaChat 3.5 Ultra лучше обрабатывает код, решает математические задачи и работает с документами.

Что изменилось в архитектуре модели

Основное нововведение - гибридное внимание. Разработчики объединили классические MLA-слои с линейными слоями GatedDeltaNet. Такой подход дал конкретные результаты:

Расход KV-кэша снизился в 4 раза на токен.
В ту же память помещается в 2,14 раза больше контекста.
Производительность выросла на 20% при работе с длинными текстами.
Скорость генерации увеличилась в 2,2 раза благодаря технологии MTP.

Модель содержит 432 млрд общих параметров. Однако она активирует только 28 млрд одновременно. Это позволяет экономить вычислительные ресурсы без потери качества.

Практические возможности для бизнеса

GigaChat 3.5 Ultra заметно улучшает задачи, которые критичны для работы с клиентами:

Анализ документов: модель быстрее обрабатывает объемные файлы и извлекает нужную информацию. Это полезно при работе с техническими описаниями товаров или инструкциями.
Агентные сценарии: поддержка многоэтапных задач позволяет автоматизировать сложные процессы. Например, модель может последовательно проанализировать отзыв, определить проблему и подготовить персонализированный ответ.
Программирование: улучшенная работа с кодом открывает возможности для создания точных интеграций с маркетплейсами и системами аналитики.

Доступность и интеграция

Модель доступна в двух форматах:

Готовый помощник: бесплатный доступ через интерфейс ГигаЧат для решения повседневных задач.
Open source: веса модели опубликованы под лицензией MIT на Hugging Face и GitVerse.

Открытый код позволяет разработчикам интегрировать модель в собственные системы. Это актуально для сервисов автоматизации ответов на отзывы. Здесь важна возможность тонкой настройки под специфику бренда.

Что это означает для селлеров

Появление эффективной отечественной модели расширяет возможности автоматизации работы с отзывами маркетплейсов. Улучшенная обработка контекста позволяет лучше анализировать длинные отзывы и формировать точные ответы.

Компании, которые используют ИИ для управления репутацией на маркетплейсах, получают доступ к технологии. Она может работать с российскими данными без ограничений зарубежных сервисов.

Технические особенности внедрения

При работе с открытыми весами модели учитывайте:

Требования к GPU остаются значительными, несмотря на оптимизацию.
Необходима настройка инфраструктуры для развертывания.
Линейное внимание особенно эффективно при работе с длинными контекстами.

Для большинства задач селлеров достаточно использовать готовый API. Но для специфических сценариев открытые веса дают больше контроля над процессом.

Перспективы развития

Выход GigaChat 3.5 Ultra в открытый доступ показывает тенденцию к демократизации ИИ-технологий. Это создает условия для появления новых сервисов для селлеров. Они смогут предложить точную аналитику отзывов маркетплейсов и качественные автоответы на отзывы.

Модель изначально обучена на русскоязычных данных и понимает специфику российского рынка электронной коммерции.