Looped transformer: архитектура Inkling 2 Mini для локального ИИ
← К списку новостей

Looped transformer: архитектура Inkling 2 Mini для локального ИИ


Компактная открытая модель с 26,4 млрд параметров умещается на ноутбуке с 32 ГБ памяти. При этом она опережает более крупных конкурентов в задачах агентного программирования. Например, набирает 48,2% на DeepSWE v1.1 против 42,2% у Qwen3.8-27B. Это не компромисс между качеством и размером, а результат конкретного архитектурного решения. Разбираем, как устроена Inkling 2 Mini от Thinking Machines Lab, почему её подход к вычислениям отличается от стандартного масштабирования и что это означает для тех, кто строит ИИ-инструменты для реальных задач.

Почему «больше параметров» не единственный путь к качеству

Традиционный способ сделать языковую модель умнее, добавить слои и параметры. Это работает, но цена очевидна: растёт размер весов, требования к памяти, стоимость инференса. Модели, которые реально конкурируют с облачными API по качеству рассуждений, обычно требуют серверного железа.

Inkling 2 Mini идёт другим путём. Её архитектура называется looped transformer. Из 24 слоёв модели первые шесть и последние шесть выполняются один раз для каждого токена. Центральные 12 слоёв выполняются трижды с повторным использованием одних и тех же весов. Всего каждый токен проходит через 48 применений слоёв, хотя параметров в модели столько же, сколько в 24-слойной архитектуре.

Это принципиальное отличие от простого увеличения глубины. Веса не дублируются: они переиспользуются. По замыслу авторов, модель буквально «думает над одним местом дольше», не становясь при этом тяжелее. Размер чекпойнта составляет около 20 ГБ благодаря преимущественно NVFP4-квантованным весам. Это делает локальный запуск реальным, а не теоретическим.

Как устроена модель внутри

Inkling 2 Mini это Mixture-of-Experts (MoE) архитектура. При обработке каждого токена активируются не все параметры, а только часть. Из 26,4 млрд общих параметров одновременно задействованы около 3,4 млрд. С учётом того, что центральные слои проходятся трижды, оценка активаций на токен составляет примерно 5,4 млрд.

Внутри каждого слоя токены направляются к 8 из 128 экспертов. Механизм внимания сочетает локальные и глобальные слои. Это позволяет модели работать с очень длинными контекстами, до 1 048 576 токенов. Впечатляющее сочетание: миллион токенов контекста при 20 ГБ веса встречается редко.

Модель также мультимодальная: принимает на вход текст и изображения (от 40 до 4096 пикселей по каждой стороне) и генерирует текст. Это открывает применение не только в чистом программировании, но и в задачах, где нужно анализировать скриншоты, схемы или визуальные данные.

Что даёт повторная обработка слоёв на практике

Логика looped transformer проявляется в конкретных измеримых эффектах. Авторы модели показали: при увеличении числа повторений центральных слоёв с одного до пяти средняя длина рассуждений сократилась с 3703 до 1661 токена без потери понятности ответов. Модель не «говорит меньше»: она приходит к ответу более прямым путём, потому что больше вычислений происходит внутри, а не в видимой цепочке рассуждений.

Для задач агентного программирования это важно по двум причинам. Во-первых, меньше промежуточных токенов: быстрее итерация агента. Во-вторых, более компактные рассуждения легче отлаживать и встраивать в пайплайны, где длинные цепочки мыслей создают шум.

По заявленным данным Thinking Machines Lab, на тесте DeepSWE v1.1 Inkling 2 Mini набрала 48,2% против 42,2% у Qwen3.8-27B: разрыв в 6 процентных пунктов в пользу более компактной модели. На SWE-bench Verified заявлен результат 79,2%, на SWE-bench Pro v2 Hard, 77,9%. В задачах поиска сложной информации модель показала 79,0% на BrowseComp и 85,3% на DeepSearchQA. Все эти цифры опубликованы самой Thinking Machines Lab и пока ожидают независимой проверки.

Локальный запуск: что нужно и что реально работает

Inkling 2 Mini разработана именно для автономной работы без облака. Минимальные требования для запуска через Ollama: Mac с 32 ГБ оперативной памяти. Модель также помещается на одну NVIDIA DGX Spark. Демонстрация включала офлайн-запуск на MacBook Pro с M5 Pro и 48 ГБ памяти, где модель за несколько минут создала работающий авиасимулятор.

Веса опубликованы на Hugging Face под лицензией Apache 2.0. Это означает свободное использование в коммерческих продуктах, дообучение и интеграцию без ограничений. Поддерживаемые инструменты развёртывания:

  • Ollama: для локального запуска на Mac (минимум 32 ГБ)
  • SGLang и vLLM: для серверного инференса
  • Unsloth: для дообучения на потребительском железе
  • NVIDIA Dynamo: для оптимизированного инференса
  • Tinker: платформа самой Thinking Machines для инференса и файнтюнинга

При 4-битном квантовании модель требует около 16 ГБ памяти. Это позволяет запускать её даже на Mac mini. Это подтверждает независимое тестирование на бенчмарке анализа данных: Inkling 2 Mini правильно ответила на 36 из 43 вопросов (84%) по хранилищу из 20 млн строк и 44 таблиц. Стоимость полного запуска составила 4,09 доллара, медианное время: 69 секунд на вопрос.

Где модель сильна, а где стоит быть осторожным

Inkling 2 Mini оптимизирована под конкретные сценарии. Она показывает сильные результаты в:

  • агентном программировании и автоматизации кода
  • поиске сложной информации и работе с инструментами
  • retrieval-augmented generation (RAG)
  • анализе данных с многошаговыми рассуждениями
  • задачах, где важна работа с длинным контекстом

При этом авторы честно указывают: модель не обязательно сильна в обычном фактическом воспроизведении знаний. Если задача, вспомнить энциклопедический факт или воспроизвести стандартный шаблон, looped transformer не даёт преимущества перед более простыми архитектурами. Показатели активных параметров также могут различаться в зависимости от методики подсчёта: 3,4 млрд или 5,4 млрд в зависимости от того, учитываются ли повторные активации.

Отдельный момент: в независимом тестировании один зависший процесс существенно увеличил итоговую стоимость запуска. Для продакшн-использования это сигнал: нужен мониторинг зависших агентских процессов, иначе стоимость инференса может неожиданно вырасти.

Что меняет looped transformer для тех, кто строит ИИ-инструменты

Главный практический вывод из архитектуры Inkling 2 Mini: разрыв между «локальным» и «облачным» качеством сужается не за счёт гонки параметров, а за счёт переосмысления того, как модель тратит вычисления. Повторная обработка промежуточных слоёв позволяет получить глубину рассуждений, сопоставимую с более крупными моделями, при значительно меньших требованиях к железу.

Для команд, которые строят автоматизированные рабочие процессы: от агентов для программирования до систем обработки обратной связи, это означает несколько вещей. Во-первых, локальный инференс без зависимости от внешних API становится реальным вариантом даже для небольших команд. Во-вторых, Apache 2.0 позволяет встраивать модель в собственные продукты без лицензионных ограничений. В-третьих, поддержка миллиона токенов контекста открывает сценарии, где нужно держать в памяти большой объём документов или истории взаимодействий.

Там, где ИИ-агенты работают с потоком структурированных данных, например, анализируют отзывы покупателей, классифицируют обращения или генерируют ответы с учётом контекста, компактные локальные модели с сильным рассуждением становятся практически применимой альтернативой облачным решениям. Сервисы, которые строят мультиагентные системы для аналитики отзывов маркетплейсов, работают именно в этом пространстве: где важна не только генерация текста, но и многошаговое рассуждение над контекстом конкретного товара и покупателя.

Как применить это знание прямо сейчас

Если вы оцениваете локальные модели для встройки в собственные продукты или автоматизации рабочих процессов, вот на что стоит обратить внимание на примере Inkling 2 Mini, и в целом при выборе подобных решений.

Проверяйте бенчмарки на своих задачах, а не только на публичных. Результаты 48,2% на DeepSWE или 79,2% на SWE-bench это агентное программирование. Если ваша задача, анализ отзывов или классификация обращений, запустите собственный тест на реальных данных. Публичные бенчмарки показывают потенциал, но не гарантируют перенос на конкретный домен.

Учитывайте стоимость зависших процессов. В независимом тестировании один зависший агент значительно увеличил итоговую стоимость. Любая агентная система требует таймаутов, мониторинга и механизма перезапуска. Это не опциональная часть архитектуры.

Оцените реальные требования к памяти под вашу нагрузку. 20 ГБ весов это минимум. При параллельной обработке нескольких запросов или длинных контекстах потребление растёт. Тестируйте на том железе, которое реально будет в продакшне, а не на демо-конфигурации.

Не переоценивайте фактическую базу знаний. Looped transformer хорош в рассуждениях, но авторы сами указывают на ограничения в воспроизведении фактов. Если ваш сценарий требует точных ответов на вопросы из закрытой базы знаний, добавляйте RAG-слой, не рассчитывайте на параметрическую память модели.

Используйте открытую лицензию осознанно. Apache 2.0 даёт право на коммерческое использование и дообучение. Это означает, что модель можно файнтюнить на отраслевых данных, например, на корпусе отзывов конкретной категории товаров, и получить специализированное решение без лицензионных рисков. Это реальное конкурентное преимущество перед закрытыми API, где такая возможность либо отсутствует, либо стоит отдельных денег.

Часто задаваемые вопросы

Как выбрать подходящую модель для локального запуска, если есть ограничения по памяти?

При выборе модели для локального запуска с ограниченной памятью важно обращать внимание на её архитектуру и размер весов. Некоторые модели, как Inkling 2 Mini, используют переиспользование весов и квантование, что позволяет им работать на устройствах с 16-32 ГБ оперативной памяти, предлагая при этом высокое качество рассуждений.

Чем отличается архитектура looped transformer от традиционного увеличения количества слоёв?

Архитектура looped transformer отличается тем, что центральные слои модели выполняются несколько раз с повторным использованием одних и тех же весов. Это позволяет модели "думать дольше" над каждым токеном, достигая глубины рассуждений, сопоставимой с более крупными моделями, но без увеличения общего количества параметров и требований к памяти.

Нужно ли дополнительно оптимизировать модель для работы с очень длинными контекстами?

Некоторые модели, такие как Inkling 2 Mini, уже имеют встроенные механизмы для работы с очень длинными контекстами, до миллиона токенов. Это достигается за счёт сочетания локальных и глобальных слоёв внимания. Однако, при параллельной обработке или очень интенсивной нагрузке всегда полезно тестировать реальные требования к памяти на вашем продакшн-железе.

На что обратить внимание при использовании мультимодальных моделей в задачах программирования?

При использовании мультимодальных моделей в задачах программирования важно учитывать их способность обрабатывать не только текст, но и изображения, например, скриншоты или схемы. Это открывает возможности для анализа визуальных данных, что может быть полезно для автоматизации задач, требующих понимания графического интерфейса или визуальных инструкций.

Почему важно тестировать модель на своих данных, а не только полагаться на публичные бенчмарки?

Публичные бенчмарки показывают общий потенциал модели, но не гарантируют её эффективность в специфических задачах. Важно проводить собственное тестирование на реальных данных, соответствующих вашему домену, чтобы убедиться, что модель справляется с конкретными сценариями, такими как анализ отзывов или классификация обращений, а не только с агентным программированием.

ДАВАЙТЕ ОБСУДИМ
ВАШУ ЗАДАЧУ