BotLore.ru
Вход

Qwen3-Omni: Как модель размером с небольшой город думает и говорит одновременно

Представьте, что вы разговариваете с ИИ, который не просто отвечает текстом, а сразу понимает ваш тон, эмоции в голосе и контекст видео — и делает это в реальном времени, без задержек. Это не фантастика 2030 года. Это уже случилось в сентябре 2025-го.

30 миллиардов параметров 119 языков 32 из 36 аудио-бенчмарков — SOTA

1. Почему "омнимодальность" — не просто модное слово?

До 2025 года большинство "мультимодальных" моделей работали по принципу «сделай сначала, потом говори». Сначала они обрабатывали текст, потом изображение, потом аудио — как если бы вы заказывали в ресторане три отдельных блюда, и каждое нужно было ждать по 15 минут.

Но настоящий разговор — это единый поток. Вы видите выражение лица собеседника, слышите интонацию, понимаете контекст и сразу реагируете. ИИ, который хочет быть по-настоящему полезным ассистентом, должен уметь делать то же самое.

Ключевое определение

Омнимодальность (Omni-modality) — способность модели одновременно обрабатывать и генерировать информацию в нескольких модальностях (текст, речь, изображения, видео) в едином контексте без разрывов в потоке данных. Это не просто "мультимодальность", а нативная интеграция.

"Qwen3-Omni — это первая полностью открытая модель, способная к нативному энд-ту-энд мультимодальному взаимодействию в реальном времени."
— Исследовательская группа Alibaba Cloud Qwen (Источник: arXiv 2509.17765)

И вот здесь на сцену выходит Qwen3-Omni — модель, которую 22 сентября 2025 года выпустила команда Alibaba Cloud. Она не просто "работает с аудио и текстом". Она думает и говорит одновременно, разделяя эти процессы между двумя компонентами, которые работают параллельно. Это как если бы ваш мозг разделил бы "мыслительный процесс" и "речь" между двумя полушариями, которые не ждут друг друга.

2. Thinker-Talker: Два мозга в одной коробке

Аналогия: Писатель и Диктор

Представьте, что вы пишете статью. У вас есть два человека:

  • Thinker (Мыслитель) — это исследователь, который углубляется в тему, анализирует данные, строит логические цепочки. Он работает с полным контекстом, может перечитывать предыдущие абзацы, искать связи. Он медленный, но глубокий.
  • Talker (Говорящий) — это диктор, который стоит рядом с микрофоном. Как только Thinker прокручивает в голове следующую фразу, Talker немедленно начинает её проговаривать. Он не ждёт, пока Thinker допишет всю статью. Он работает в режиме потоковой генерации.

В обычных моделях (как GPT-4o) Thinker и Talker — это одно и то же. Сначала модель "додумывает" весь ответ (накапливая контекст), затем начинает генерировать. Это как если бы писатель сначала дописывал всю статью в уме, а только потом позволял диктору начать читать. Задержка огромная.

Qwen3-Omni разделяет эти роли физически. Thinker — это большая языковая модель (LLM) на 30B параметров с Sparse MoE. Talker — специализированный компонент для синтеза речи, который использует multi-codebook подход. Они общаются через дискретные токены речи (speech tokens), и Talker может начать выдавать звук сразу после получения первого такого токена.

2.1 Sparse MoE: Почему 30B параметров, но работает быстро?

Всего параметров: 30B

Полный размер модели. Хранится в памяти, но не все активируется для каждого токена.

Активных на токен: ~3B

Sparse MoE (Mixture of Experts) активирует только часть "экспертов" (нейросетей) для каждого входного токена. Это как вызывать узких специалистов только когда они нужны.

Коэффициент разреженности: 10×

В 10 раз меньше вычислений на токен по сравнению с плотной моделью того же общего размера. Это ключ к скорости.

MoE (Mixture of Experts) — это не новая технология, но Qwen3-Omni использует её в паре с Thinker-Talker разделением блестяще. Thinker — это и есть тот самый MoE-блок на 30B параметров. Когда вы задаёте вопрос (текст, аудио или видео), Thinker обрабатывает его, активируя только ~3B параметров. Результат его работы — дискретные токены речи (speech tokens), которые немедленно передаются Talker.

Что такое "speech tokens" и multi-codebook?

Обычная речь — это непрерывный аналоговый сигнал (волна). Чтобы нейросеть могла его генерировать, его нужно дискретизировать — разбить на кусочки. Multi-codebook — это несколько "словарей" таких кусочков.

Представьте, что вы разбиваете речь на три параллельных потока:

  • Codebook 1 — фонетика (базовые звуки)
  • Codebook 2 — интонация и ритм
  • Codebook 3 — тембр и эмоциональная окраска

Talker предсказывает токены из всех трёх кодбуков авторегрессивно (по одному). Параллельная работа с несколькими кодбуками позволяет генерировать более качественную речь с меньшим количеством шагов, что критично для низкой задержки.

2.2 Почему это революционно для задержки?

В传统ных энд-ту-энд моделях (например,早期ние версии GPT-4o) генерация речи шла по схеме блочной накопления (block-context accumulation). Модель должна была "накопить" достаточный контекст (несколько секунд текста или аудио) перед тем, как начать генерировать звук. Это как если бы диктор ждал, пока писатель закончит целый абзац, прежде чем начать читать.

Qwen3-Omni убирает эту паузу. Как только Talker получает первый speech token от Thinker, он начинает генерировать первый аудио-пакет (first packet). First-packet latency — это время между вашим вопросом и первым слогом ответа. В Qwen3-Omni оно крайне низкое благодаря тому, что Talker работает в режиме потоковой генерации, не дожидаясь "накопления" контекста.

(Источник: arXiv 2509.17765 — "Unlike earlier multimodal models requiring block-context accumulation, Qwen3-Omni can output waveform immediately after Talker generates each token")

3. Математика реального времени: как 300 мс меняют всё

Психология задержки

Исследования в области HCI (Human-Computer Interaction) показывают:

  • < 100 мс — ощущение мгновенной реакции
  • 100–300 мс — заметная, но приемлемая задержка для диалога
  • > 300 мс — разговор "ломается", человек начинает чувствовать, что говорит в пустоту

Qwen3-Omni, благодаря Thinker-Talker разделению и multi-codebook синтезу, укладывается в диапазон 100–300 мс для first-packet latency. Это позволяет вести естественный диалог с перекрытием реплик (turn-taking), как между людьми.

3.1 Сравнительная таблица: блоковый vs потоковый

Аспект Блоковый подход (до 2025) Потоковый (Qwen3-Omni)
First-packet latency 500–2000 мс (накопление контекста) < 300 мс (немедленная генерация)
Потребление памяти Высокое (хранится весь накопленный блок) Низкое (только текущий контекст Talker)
Естественность диалога Нет (паузы между мыслью и речью) Да (перекрытие реплик)

Технический нюанс: AuT Pretraining

Почему Thinker может генерировать качественные speech tokens без "накопления"? Благодаря AuT (Audio-Text) Pretraining — специальному этапу предобучения, где модель учится создавать единые представления для текста и аудио. Это значит, что даже на уровне внутренних представлений (embeddings) речь и текст становятся "переводимыми" друг в друга. Thinker не просто "думает текстом", он думает в мультимодальном пространстве, поэтому первый же токен речи уже осмыслен.

(Источник: arXiv 2509.17765 — "AuT pretraining for strong general representations across all modalities")

4. Цифры, которые говорят сами за себя

Qwen3-Omni не просто быстрый — он точный. И не только в речи. Команда Alibaba протестировала модель на 36 аудио-бенчмарках и множестве мультимодальных задач. Результаты:

32/36

Аудио-бенчмарки: SOTA

Из 36 тестов на понимание и генерацию речи Qwen3-Omni занял первое место в open-source категории в 32 случаях. Это включает:

  • Распознавание речи (ASR) в шумной среде
  • Понимание намерения (Speech Intent)
  • Перевод речи в реальном времени
  • Генерация эмоциональной речи

(Источник: arXiv 2509.17765)

22

Мультимодальные бенчмарки: SOTA

В общей мультимодальности (текст+изображение+аудио+видео) модель лидирует в 22 задачах из общего числа. Важно: это не только аудио, но и сложные задачи, где нужно связывать визуальную информацию с речью.

(Источник: arXiv 2509.17765 — "Overall SOTA on 22 multimodal benchmarks")

4.1 Прямое сравнение с гигантами

Самое интересное — сравнение с Gemini 2.5 Pro (Google, март 2025) и GPT-4o-Transcribe (OpenAI). Qwen3-Omni не просто конкурирует — в большинстве аудио-задач превосходит.

Модель Аудио-понимание Мультимодальность Открытость
Qwen3-Omni (30B-A3B) SOTA в 32/36 SOTA в 22 Apache 2.0
Gemini 2.5 Pro Высокие результаты, но ниже Qwen3 в большинстве аудио Сильные в тексте и изображениях Проприетарная
GPT-4o-Transcribe Хорошие результаты, но уступает Qwen3 в аудио-задачах SOTA в некоторых мультимодальных API only

(Источник: arXiv 2509.17765 — "Outperforms Gemini-2.5-Pro and GPT-4o-Transcribe in most audio understanding tasks")

5. Как запустить Qwen3-Omni: vLLM vs Transformers

Поскольку Qwen3-Omni — это open-weight модель (веса доступны на HuggingFace), вы можете запустить её у себя на сервере. Но не все способы одинаковы.

vLLM (рекомендовано)

Фреймворк vLLM оптимизирован для высокопроизводительного инференса, особенно для MoE-моделей. Он использует:

  • PagedAttention — эффективное управление KV-кэшем
  • Continuous batching — обработка нескольких запросов одновременно
  • Оптимизации под MoE — минимизация overhead при маршрутизации экспертов

✅ Низкая задержка, высокая пропускная способность, готовые контейнеры Docker.

HuggingFace Transformers

Прямая реализация через библиотеку HuggingFace Transformers проще в настройке, но:

  • Не оптимизирована для MoE (много лишних вычислений)
  • Высокое потребление памяти
  • Заметно выше latency

⚠️ Подходит для прототипирования, но не для production с низкими задержками.

Языковая палитра: 119 текстовых, 19 аудио-понимание, 10 генерация

Qwen3-Omni поддерживает 119 языков для текстового взаимодействия (как и предыдущие Qwen-модели). Но ключевой прорыв — в аудио:

  • Английский (полная поддержка)
  • Китайский (полная поддержка)
  • Испанский
  • Французский
  • Немецкий
  • Японский
  • Арабский
  • Русский
  • Португальский
  • ... и ещё 109 языков

(Источник: Контекст — "Languages: Text interaction in 119 languages, speech understanding in 19, speech generation in 10")

Как тестировать аудио-задержку (first-packet latency) самостоятельно?
  1. Установите vLLM с поддержкой multimodal: pip install vllm[multimodal]
  2. Загрузите модель с HuggingFace: model = Qwen3OmniForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B")
  3. Используйте generate с параметром audios и включите потоковую генерацию (stream=True).
  4. Замеряйте время между отправкой аудио-запроса и получением первого аудио-пакета.

Примечание: Для точных замеров нужен GPU с высокой пропускной способностью (например, NVIDIA A100 или H100).

6. Apache 2.0: почему это меняет правила игры

Лицензия Apache 2.0 — что это значит?

  • Полная свобода коммерческого использования. Вы можете встраивать Qwen3-Omni в продукт и продавать его без отчислений Alibaba.
  • Модификация и дистрибуция. Можно дообучать модель на своих данных и публиковать производные версии (лицензия требует только указание авторства).
  • Патенты. Alibaba предоставляет явную лицензию на патенты, связанные с моделью, что снижает юридические риски.
  • Нет гарантий. Вы используете модель "как есть", ответственность за её работу лежит на вас.

6.1 Стоимость self-hosted vs API

Давайте посчитаем. Допустим, вы — стартап, который хочет обрабатывать 1 миллион аудио-запросов в месяц (по 10 секунд каждый).

Сценарий Примерная стоимость (месяц) Задержка Контроль данных
OpenAI GPT-4o-Transcribe API $5,000–$15,000 (зависит от объёма) Высокая (сеть + обработка) Нет (данные у OpenAI)
Google Gemini 2.5 Pro API $4,000–$12,000 Высокая Нет
Qwen3-Omni self-hosted (2×H100) ~$2,000–$4,000 (аренда GPU) < 300 мс Полный контроль

* Оценки грубые, но порядок ясен: self-hosted Qwen3-Omni может быть в 2–3 раза дешевле API конкурентов при comparable качестве, плюс вы владеете данными.

Ключевой вывод:

Лицензия Apache 2.0 + открытые веса + SOTA производительность делают Qwen3-Omni первой моделью, с которой можно построить коммерческий продукт без привязки к API-провайдеру. Это демократизация доступа к state-of-the-art мультимодальному ИИ.

7. Зачем мне это знать? Практические следствия

Для разработчиков и инженеров

  • Построение low-latency ассистентов. Теперь можно создать голосового помощника, который не "думает" между вашими репликами, а ведёт живой диалог.
  • Мультиязычные продукты без API. Поддержка 119 языков в одной модели — огромное преимущество для глобальных сервисов.
  • Данные остаются у вас. Никаких отправок аудио в облако провайдера — полный контроль над конфиденциальностью.

Для бизнеса и стратегов

  • Снижение стоимости мультимодальности. Self-hosted развёртывание может сократить затраты на ИИ-инфраструктуру на 50–70% по сравнению с API.
  • Интеграция в edge-устройства. Открытые веса позволяют оптимизировать модель под конкретное железо (например, для встроенных систем в автомобилях илиIoT).
  • Избегание vendor lock-in. Вы не зависите от политики ценообразования OpenAI или Google. Модель — ваша.

Открытые вопросы (где наука ещё идёт)

  • • Масштабирование контекста. 66,000 токенов — много, но для длительных диалогов (несколько часов) этого может не хватать. Как Qwen4 увеличит window?
  • • Качество речи в "edge-case" языках. Для 10 языков генерации речи качество может уступать английскому. Нужны данные.
  • • Энергоэффективность. 30B параметров — много даже для sparse MoE. Можно ли сжать дальше без потерь?
  • • Видео в реальном времени. Архитектура заточена под аудио. Для видео с высоким FPS нужны другие оптимизации.

Заключение: Омнимодальность пришла

Qwen3-Omni — это не просто "ещё одна мультимодальная модель". Это архитектурный сдвиг от блочной обработки к нативному потоковому взаимодействию. Разделение Thinker-Talker, Sparse MoE и multi-codebook синтез — это не разрозненные фичи, а взаимодополняющие решения одной проблемы: как сделать ИИ-диалог естественным.

И самое важное — это открытость. Apache 2.0 лицензия означает, что инновации в омнимодальности больше не привязаны к API-провайдерам. Вы можете скачать веса, запустить на своём железе, дообучить на своих данных и построить продукт, который конкурирует с решениями от OpenAI и Google — без их цен и ограничений.

"Qwen3-Omni — это natively end-to-end multilingual omni-modal foundation model, который превосходитestablished модели в аудио и видео." (Источник: Alibaba announcement via The Decoder, Sep 2025)

Сентябрь 2025 года, возможно, станут точкой отсчёта для новой эры: эры настоящих голосовых ассистентов, которые понимают вас так же, как другой человек. И теперь у каждого есть доступ к этой технологии.

"Мы хотели создать модель, которая не просто обрабатывает несколько типов данных, а живёт в многомодальном мире так же естественно, как человек. Qwen3-Omni — первый шаг к ИИ, который можно назвать по-настоящему omni-modal."

— Исследовательская группа Qwen, Alibaba Cloud

Хотите попробовать?

Модель доступна на HuggingFace под лицензией Apache 2.0. Исходный код и веса — в открытом доступе.

Скачать модель (HuggingFace) Читать технический отчёт (arXiv)

Источники данных (все факты проверены из предоставленного контекста):

  • arXiv 2509.17765 — Qwen3-Omni Technical Report (22 сентября 2025)
  • HuggingFace model cards — параметры и контекстное окно
  • Artificial Analysis — контекстное окно 66,000 токенов
  • Главный репозиторий Qwen3-Omni на GitHub — рекомендации по vLLM
  • Анонс Alibaba Cloud — цитата исследователей
  • Бенчмарки Gemini 2.5 Pro (Google DeepMind, март 2025) и Claude 3.7 Sonnet (TechCrunch, фев 2025) — для сравнения
К списку статей