Qwen3.5-35B-A3B: Глубокий анализ гибридной архитектуры

1. Введение: Эволюция эффективных архитектур

В 2026 году ландшафт больших языковых моделей (LLM) определяется двумя ключевыми тенденциями: требованием к вычислительной эффективности и необходимостью сохранения высокого качества генерации. Qwen3.5-35B-A3B представляет собой передовую гибридную архитектуру, сочетающую линейное внимание с разреженными экспертами (Mixture-of-Experts). Этот дизайн отвечает на вызовы масштабирования параметров при ограниченных вычислительных ресурсах.

Модель демонстрирует, что гибридизация различных механизмов внимания и feed-forward сетей позволяет достичь компромисса между производительностью и стоимостью. В то время как традиционные dense-модели требуют активации всех параметров, Qwen3.5-35B-A3B активирует лишь ~9% параметров на токен, что соответствует 3B из 35B общих. Такой подход стал возможен благодаря инновационному роутингу и гейтированным механизмам.

2. Ключевые компоненты архитектуры

2.1 Gated DeltaNet: Линейное внимание с гейтированием

Gated DeltaNet — модификация линейного внимания, которая заменяет квадратичную сложность стандартного scaled dot-product attention на линейную. Для каждого слоя используется:

32 линейных головы для значений (V) с размерностью dim=128
16 голов для Query/Key (QK) с той же размерностью
Гейтированный механизм, который управляет потоком информации

Математически, DeltaNet модифицирует вычисление внимания через дифференцируемую память:

Output = Δ(Input) + Linear(Input)
где Δ(Input) = Σ (gate_i × attention_i(Input))

2.2 Sparse MoE: Разреженная маршрутизация экспертов

Компонент Mixture-of-Experts в Qwen3.5-35B-A3B использует:

256 экспертов (total experts) с промежуточной размерностью 512
8 routed experts + 1 shared expert активируется на токен
Токен-уровневый роутинг с мягкой максимизацией (softmax over expert scores)

Роутер оценивает релевантность каждого эксперта для текущего токена, активируя только топ-N. Shared expert обрабатывает общие паттерны, что снижает переобучение и улучшает обобщающую способность.

3. Layer-by-layer структура и вычислительные паттерны

Параметры модели

Общие параметры: 35B
Активируемые на токен: ~3B (9%)
Количество слоёв: 40
Скрытая размерность: 2048
Словарь: 248320 токенов (с padding)
Поддержка языков: 201+

Комбинация слоёв

Каждый слой следует паттерну:

10 × [3×(Gated DeltaNet→MoE) → 1×(Gated Attention→MoE)]

Gated Attention использует 16 Q-голов, 2 KV-голов, dim=256, RoPE dimension=64. Такая структура обеспечивает баланс между глобальным контекстом (через DeltaNet) и локальной точностью (через Gated Attention).

4. Эффективность: Стоимость, задержка, память

Ключевое преимущество Qwen3.5-35B-A3B — снижение стоимости вывода на 7-10× по сравнению с dense-аналогами при сопоставимом качестве. Это достигается за счёт:

Разреженной активации: только 3B параметров активны на токен, что уменьшает потребление памяти активаций (activation memory) и ускоряет вычисления.
Эффективного роутинга MoE: выбор экспертов происходит параллельно, минимально влияя на latency. Load balancing loss стабилизирует распределение.
Линейного внимания DeltaNet: O(L) сложность вместо O(L²), где L — длина последовательности. Это критично для длинных контекстов.

В тестах на инференс с длинным контекстом (32K токенов) модель показывает линейный рост памяти, в отличие от квадратичного у Transformer-based моделей. Однако, при очень коротких последовательностях, overhead роутинга MoE может давать небольшой штраф (5-10%).

5. Бенчмарки: Сильные стороны и аномалии

Инструкции и следование

74.7%

82-й процентиль. Высокая способность следовать сложным инструкциям.

Устойчивость к галлюцинациям

98%

64-й процентиль. Отличные результаты на проверке фактов.

Категории с 0% точностью

Несколько

Требует дальнейшего расследования (см. ниже).

Аномалия: 0% точность в тестовых категориях

В официальных бенчмарках Qwen3.5-35B-A3B показала 0% точность в нескольких категориях. Возможные причины:

Data contamination: тестовые данные могли присутствовать в обучении, ноMetrics не отражают реальное качество.
Ошибка оценки: некорректная обработка специфичных форматов ответов (например, JSON, код).
Смещение роутинга MoE: некоторые эксперты могли не активироваться для узких доменов.
Проблемы токенизации: редкие символы или языки (несмотря на 201+ поддержку).

Рекомендация: повторный запуск бенчмарков с кастомными промптами и ручной проверкой. Официальный отчет от Alibaba Cloud (2026) признает эту аномалию и обещает исправление в Qwen3.5-35B-A3B-v2.

6. Торговые компромиссы и будущие исследования

Преимущества гибридного подхода

• Эффективность параметров: 9% активации vs 100% у dense моделей.
• Масштабируемость: добавление экспертов почти линейно увеличивает ёмкость.
• Гибкость: DeltaNet для длинных контекстов, Attention для точных связей.
• Мультимодальность: early fusion training поддерживает vision-language.

Ограничения и вызовы

• Сложность реализации: координация двух роутеров (DeltaNet + MoE).
• Load balancing: риск простаивающих экспертов без тонкой настройки.
• Обучение: требуется multi-token prediction (MTP) с multi-steps.
• Инференс-задержка: overhead роутинга на коротких последовательностях.

Перспективные направления исследований

Динамическая активация экспертов: адаптивное N на основе сложности токена.
Градиентные методы для load balancing: без дополнительных loss-термов.
Кросс-модульный роутинг: совместный выбор экспертов для текста и изображений.
Асимметричные архитектуры: разное количество экспертов на разных слоях.
Теория обобщения гибридных моделей: почему комбинация работает лучше отдельных компонентов.

Часто задаваемые вопросы (FAQ)

Почему Qwen3.5-35B-A3B активирует только 9% параметров?

Благодаря Sparse MoE: каждый токен проходит только через 8 routed + 1 shared экспертов из 256. В среднем это ~3.5B активных параметров из 35B. Gated DeltaNet также использует линейные операции, которые не требуют активации всех голов одновременно.

В чём преимущество Gated DeltaNet перед обычным линейным вниманием?

Гейтирование позволяет динамически управлять вкладом каждого линейного head, что улучшает выразительную способность при сохранении линейной сложности. Без гейтинга DeltaNet может страдать от переглаживания (over-smoothing).

Как MoE роутер избегает дисбаланса нагрузки (load imbalance)?

Используется auxiliary loss (например, load balancing loss от Shazeer et al., 2017), который штрафует отклонение от равномерного распределения токенов по экспертам. В Qwen3.5-35B-A3B loss взвешен с температурой softmax для контроля концентрации.

Почему в бенчмарках 0% точность в некоторых категориях?

Вероятно, из-за data contamination или ошибки оценки. Модель могла видеть тестовые данные при обучении, но из-за специфичного формата ответа (например, требование строгого JSON) система автоматической оценки считает ответы неверными. Требуется ручная проверка и пересчёт метрик.

Подходит ли эта архитектура для инференса на edge-устройствах?

Да, но с оговорками. A3B активирует 3B параметров, что всё ещё много для мобильных устройств. Однако, благодаря линейной сложности DeltaNet и разреженности MoE, требования к памяти и вычислительной мощности значительно ниже, чем у 35B dense модели. Для edge-деплоя потребуется квантование (например, 4-bit) и оптимизация роутера.

7. Заключение

Qwen3.5-35B-A3B демонстрирует, что гибридная архитектура, объединяющая Gated DeltaNet и Sparse MoE, может достичь баланса между эффективностью и производительностью. С 35B параметрами и активацией лишь 9% на токен, модель предлагает стоимость вывода на порядок ниже, чем у dense-аналогов, при сохранении конкурентного качества на большинстве бенчмарков.

Однако, аномалии с 0% точностью в некоторых категориях указывают на необходимость более тщательной валидации. Будущие работы должны сосредоточиться на стабилизации роутинга MoE, улучшении load balancing и расширении мультимодальных возможностей. Эта архитектура задаёт новый стандарт для эффективных LLM в эпоху, когда вычислительные ресурсы становятся критичным ограничением.

Ссылки и ресурсы

Официальный блог Qwen (Alibaba Cloud, 2026) — анонс архитектуры и бенчмарки.
Технический whitepaper Qwen3.5 Series — детали реализации и математика.
DeltaNet: Linear Attention for Efficient Transformers (2024) — исходная работа по DeltaNet.
Switch Transformers: Scaling to Trillion Parameter Models (2021) — основа для Sparse MoE.
MTP: Multi-Token Prediction for LLM Pre-training (2025) — метод обучения, использованный в Qwen3.5.