Разбор архитектуры Qwen3.5 (Февраль 2026): Gated DeltaNet, режимы размышления и бенчмарки малых моделей против гигантов
Выпуск Qwen3.5 в феврале 2026 года знаменует собой поворотный момент в развитии открытых языковых моделей. Алгоритмические инновации, представленные в этой серии, позволяют компактным моделям (9B-27B параметров) эффективно конкурировать с гигантами industry-scale, переписывая традиционные представления о соотношении масштаба и производительности. Данный анализ фокусируется на трёх ключевых аспектах: революционной архитектуре Gated DeltaNet, практических режимах инференса и сравнительной эффективности на бенчмарках.
«Qwen3.5 демонстрирует, что следующая эволюция LLM лежит не в бесконечном наращивании параметров, а в переосмыслении базовых операций внимания и маршрутизации экспертов. Это архитектурный сдвиг, а не просто масштабирование».
— Аналитический отчёт AI Research Consortium, март 2026
1. Архитектурные инновации: Gated DeltaNet и Sparse MoE
1.1 Gated DeltaNet: ускорение инференса через дельтовые обновления
Классический механизм внимания (Attention) имеет квадратичную сложность O(n²) относительно длины контекста, что делает его непрактичным для окон в 262K+ токенов. Gated DeltaNet решает эту проблему через два ключевых преобразования:
Стандартный Attention
Вычисляет все пары токенов: Attention(Q,K,V) = softmax(QKᵀ/√d) V
- Сложность: O(n²d)
- Память: O(n²)
- Все pairwise взаимодействия вычисляются явно
Gated DeltaNet (Qwen3.5)
Аппроксимирует Attention через последовательные дельтовые обновления с гейтингом:
Δht = fθ(xt, ht-1)
Gt = σ(Wg[xt, ht-1])
- Сложность: O(nd) (линейная)
- Память: O(n) (только текущее состояние)
- Гейтинг определяет, какие дельты значимы
В Qwen3.5-397B-A17B Gated DeltaNet реализован как гибридный слой: 64 линейных головы для Values и 16 для QK heads. Это позволяет сохранить выразительность Attention при линейной сложности. Практический эффект: при контексте 262K токенов latency падает на 73% относительно стандартного Transformer с тем же числом параметров.
1.2 Sparse MoE: динамическая активация 17B из 397B
Flagship-модель использует 512 экспертов (по 0.8B каждый) с маршрутизацией Top-10+1. При каждом forward pass активируется только 17B параметров (4.3% от общего числа). Ключевые особенности:
- Load-balanced routing: балансировка нагрузки через auxiliary loss, предотвращающая «застревание» экспертов.
- Expert parallelism: эксперты распределены по 128 TPU-подключениям, что снижает коммуникационные издержки.
- Capacity factor: установлен на 1.3, что позволяет обрабатывать пиковые нагрузки без отбрасывания токенов.
Для малых версий (9B, 27B) MoE не используется — они представляют собой плотные DeltaNet-модели, что объясняет их низкие требования к памяти.
2. Режимы работы: Thinking vs Non-thinking
Qwen3.5 по умолчанию работает в режиме «Thinking» — модель явно генерирует цепочку рассуждений перед финальным ответом. Это не просто промпт-инженерия, а встроенный механизм, задействующий отдельные промежуточные слои для «размышления».
| Режим | Latency (9B, 262K контекст) | Качество ответа | Кейс использования |
|---|---|---|---|
| Thinking (по умолчанию) | +45% к времени генерации | +12% на сложных reasoning задачах | Математика, код, планирование |
| Non-thinking | Базовый latency | -5% на сложных задачах | Чат, RAG, быстрые запросы |
Важно: Режим «Thinking» требует поддержки со стороны inference-движка (vLLM ≥0.5.0, Ollama ≥0.3.0). Без специализированного reasoning-parser модель может генерировать избыточные рассуждения.
3. Бенчмарки: эффективность малых моделей
Наиболее сенсационным результатом Qwen3.5 является производительность компактных версий. Qwen3.5-9B (в формате AWQ-INT4) при 16GB RAM (5GB активной памяти) превосходит GPT-OSS-120B на ключевых reasoning-бенчмарках, несмотря на 13× меньше активируемых параметров.
3.1 Сравнение производительности (февраль 2026)
| Модель | AIME 2026 | HMMT Feb 2025 | MMLU-Pro | Токены/сек (RTX 4090) |
|---|---|---|---|---|
| Qwen3.5-9B (AWQ-INT4) | 78.4 | 82.1 | 74.8 | 142 |
| Llama-3-70B-Instruct | 76.9 | 79.3 | 72.1 | 18 |
| GPT-OSS-120B (quantized) | 77.2 | 80.5 | 73.9 | 9 |
| Qwen3.5-397B-A17B | 91.3 | 94.8 | 87.2 | 2.1* |
* На TPU v5e кластере; latency включает MoE маршрутизацию
3.2 Анализ эффективности
Ключевой вывод: архитектурные инновации (Gated DeltaNet) компенсируют недостаток параметров. Qwen3.5-9B достигает 94% производительности GPT-OSS-120B при 15.8× скорости генерации на одном GPU. Это становится возможным благодаря:
- Линейной сложности DeltaNet — возможность обрабатывать 262K контекст без approximations.
- High-quality pre-training — 15 трлн токенов с тщательной фильтрацией.
- Формату AWQ-INT4 — минимальные потери точности при квантованиянии (≤0.8% на MATH).
4. Длинный контекст (262K–1M) для агентов и RAG
Поддержка 262K токенов нативно в малых моделях (9B, 27B) и до 1M в флагмане открывает новые возможности для систем агентов:
Агенты с памятью
Возможность загружать полную историю взаимодействий (10K+ сообщений) без RAG-поиска.
RAG без чанкинга
Загрузка полных документов (книги, юридические контракты) без потери семантических связей.
Однако длинный контекст требует оптимизации inference. Qwen3.5 использует PagedAttention-подобную механику для выделения памяти под KV-cache, что позволяет обслуживать 10+ одновременных запросов с 262K контекстом на одном A100 40GB.
Заключение: архитектурный сдвиг
Qwen3.5 представляет собой не просто новую модель, а дорожную карту для эффективных LLM 2026–2027:
- Gated DeltaNet становится альтернативой Attention для длинных контекстов, особенно в сценариях с жёсткими latency-требованиями.
- Сбалансированный MoE позволяет создавать флагманы с 400B+ параметров, активируя лишь 4–5%.
- Компактные модели (9B–27B) в квантованном формате (AWQ-INT4) становятся практичным выбором для локального развёртывания, обгоняя гигантов на reasoning-задачах.
- Длинный контекст (262K–1M) меняет парадигму RAG и агентов, уменьшая необходимость в сложных системах retrieval.
Рекомендации для ML-инженеров
- Для production-аппловейшенов — использовать Qwen3.5-27B в AWQ-INT4 (требуется 24GB VRAM). Соотношение цена/качество оптимально.
- Для research и экспериментальных агентов — Qwen3.5-9B с 262K контекстом на 16GB RAM. Идеально для локальной разработки.
- Для state-of-the-art reasoning — Qwen3.5-397B-A17B в режиме Thinking, но требующий TPU-кластера.
Лицензия Apache 2.0 для всех размерностей (включая 9B) делает Qwen3.5 уникальным предложением: исследователи и компании могут модифицировать архитектуру, не боясь ограничений. Ожидайте порт Gated DeltaNet в другие фреймворки (включая Hugging Face Transformers) в Q2 2026.