Хардовая конференция для экспертов и практиков. Здесь будет всё о практическом применении ML: технические доклады ведущих специалистов отрасли, инженерные дискуссии и много нетворкинга.

Обсудим, как извлечь из машинного обучения реальную пользу для бизнеса.

13:20-13:55

Доклад

Пока вы говорите: как устроен стриминговый перевод речи

Потоковый перевод вы слышите в реальном времени, не дожидаясь завершения всей речи говорящего. Расскажу, как мы сделали такую систему для перевода с английского на русский: как учили потоковый ASR и переводную LLM, какие архитектуры сравнивали, почему в итоге остановились на выбранной и почему выдача
по предложениям.

Отдельно разберём главный компромисс любой стриминговой системы — задержку против качества. Откуда она берётся
на каждом этапе пайплайна, как мы её измеряли и что помогло
её сократить, не потеряв в метриках. Покажу, как мы сегментировали поток на предложения и что делали
с нестабильностью гипотез на границах. И, конечно, поделюсь граблями, которые собрали по дороге.

14:50-15:25

Доклад

RL meets Browser: как мы обучили VLM-агента работать в вебе за пользователя

Computer-Use-агенты — модели, которые сами выполняют действия в компьютерной среде вместо пользователя, — постепенно перестают быть демо и становятся рабочей технологией. Но путь от «у нас есть VLM» до «агент выполняет задачи пользователя в проде» гораздо длиннее, чем кажется: живой браузер не детерминирован, эпизоды длинные, а рецептов multi-turn RL для мультимодальных агентов почти нет в открытом доступе.

Расскажу, как мы построили и обучили VLM-агента, который выполняет задачи в реальном браузере: начинали с booking-сценария, сейчас масштабируемся до широкого спектра пользовательских задач. Разберём архитектуру пайплайна
и объясним, почему одной VLM недостаточно. Покажу, как мы завели RL в сетапе, где агент действует в настоящем браузере:
как проектировали награды для длинных цепочек решений
на основе скриншотов и что потребовалось, чтобы обучение стало стабильным. Отдельно поговорим про инфраструктуру —
как встроить браузер в RL-пайплайн, добавить мультимодальность в тренировочный фреймворк, какие велосипеды пришлось построить, а какие выбросить — и про полуавтоматическую генерацию окружений, которая позволяет масштабировать среды, не утонув в ручной разметке.

Не обойду и грабли: что пошло не так, какие решения оказались контринтуитивными и что мы сделали бы иначе.

15:30-16:05

Доклад

Диффузионный драфтинг в спекулятивном декодинге: DFlash и DSpark — от модели
до вывода в продакшн

Диффузионные драфтеры — новое направление в спекулятивном декодировании, где блок кандидатов генерируется преимущественно параллельно, а не токен за токеном. Кратко рассмотрю развитие подходов к многотокенному предсказанию
и разберу, как идеи параллельного драфтинга реализованы
в DFlash и получили дальнейшее развитие в DSpark.

Основное внимание уделю архитектурным инновациям в этих методах: non-causal drafting в DFlash, восстановлению зависимостей между токенами с помощью Markov head в DSpark,
а также использованию confidence head для динамического выбора длины верификации.

Отдельно расскажу о практической интеграции таких моделей
в inference-системы. На примере реализации в vLLM и vLLM-Ascend рассмотрю работу со статическими формами тензоров, CUDA
и ACL Graph, буферами, padding, batch descriptors и различиями между draft и target проходами. Также расскажу о типичных ошибках, ограничениях аппаратных платформ и компромиссах между качеством драфта (acceptance rate), стоимостью верификации и итоговым ускорением генерации.

Доклад будет полезен исследователям и ML-инженерам, которые занимаются ускорением инференса больших языковых моделей, speculative decoding и интеграцией новых архитектур
в высокопроизводительные inference-фреймворки.

14:50-15:25

Доклад

Дальше, точнее, быстрее: query-based-детекция для автономного транспорта

Система восприятия автономного автомобиля должна одновременно видеть далеко, детектировать точно и укладываться в жёсткий бюджет времени на edge-устройстве. Наша CNN-based-архитектура на базе BEVFusion даёт обзор на 250 м вперёд и назад и на 100 м по бокам, но масштабировать дальность не получается: любое расширение зоны видимости упирается либо в качество детекции, либо в скорость инференса.

Расскажу, как мы перешли на query-based-модель MV2DFusion
и сняли это ограничение: боковой обзор уже вырос с 100 до 200 м,
а дальность вперёд и назад архитектура позволяет увеличить с 250 до 400 м: это наши следующие планы. Разберём, почему выбрали именно эту модель и как сравнивали с BEVFusion по дальности, точности, скорости и потреблению ресурсов.

Основная часть доклада — про архитектуру: как устроена query-based-модель и что происходит с её компонентами при переезде. Покажу, как адаптируются разные головы и модули детектора,
как всё это работает с мультимодальными данными автономного автомобиля и какие особенности возникают при обучении. Отдельно сравню инференс до и после — по каждому компоненту
и по модели в целом в процентах.

Разберу готовый кейс оптимизации ML-модели с конкретными цифрами и решение классической дилеммы разработки:
как расширить охват данных (дальность обзора), сохранить качество и при этом стать быстрее.