Machine Learning, проверенный практикой
|

19_09_26

в Москве и онлайн
Зарегистрироваться

Программа конференции

Ведущие

фото

Владислав Офицеров

Яндекс Поиск

Руководитель службы развития нейронных технологий

 


Руководит службой развития нейронных технологий. Отвечает за работу агентского чата в международном приложении Yandex AI.

КМС по русскому бильярду и активный игрок в падел.

фото

Василий Висков

Яндекс R&D

Руководитель команды мультимодального образования Фотоинпута Алисы

 


Выпускник ВМК МГУ и Сколтеха, аспирант Сколтеха. Четыре года делал разнообразный ML в поисковых системах: сначала в VK, затем в Мегамаркете и Самокате.

В Яндексе отвечает за образовательные сценарии в Alice AI VLM — от базового навыка решения STEM-задач до продуктовых проектов образовательной направленности.

Увлекается картингом и автоспортом в целом.

11:00-12:30

Сбор участников

12:30-12:40

Открытие конференции

12:40-13:15

Доклад Keynote

Alice AI Search: быстрые ответы Алисы на Поиске

Алиса на Поиске — один из самых массовых генеративных продуктов Яндекса, а для миллионов пользователей — и первая точка взаимодействия с Алисой.

За последнее полугодие мы существенно обновили технологии генеративного ответа на Поиске: от собственной претрейн-модели с encoder-decoder MoE-архитектурой до RLHF-обучения на реальных поведенческих сигналах пользователей.

В докладе мы впервые расскажем о том, что работает под капотом знакомого всем ответа на Поиске: какая LLM-архитектура используется, за счёт чего мы ускоряем наши ответы и какой алайнмент мы делаем, чтобы улучшать пользовательский опыт.

фото
NLP

Артур Петросян

Яндекс Поиск

CTO Alice AI Search

 


В Яндексе с 2017 года.

Руководил командами на разных стадиях разработки LLM: от сбора данных для претрейна до улучшения способностей ризонинга моделей Alice AI и YandexGPT.

Сейчас отвечает за LLM-модель Алисы на Поиске, чьи ответы каждый день видят миллионы пользователей Яндекса.

13:20-13:55

Доклад

От фактов до сложных рассуждений: как мы обучали претрейн Alice AI

От современной Алисы мы ждём не только точных ответов на вопросы, но и умения решать сложные задачи, рассуждать и пользоваться внешними инструментами. Основа этих способностей закладывается ещё на этапе претрейна.

В докладе расскажу, как мы обучали Alice AI на этом этапе. Поделюсь тем, какие привычные рецепты пришлось пересмотреть, что удивило нас в экспериментах и почему однажды нам понадобился целый месяц, чтобы поверить собственному результату.

фото
NLP

Екатерина Редина

Яндекс R&D

Руководитель группы исследования знаний в службе качества претрейна Alice AI

 


Окончила МФТИ и ШАД. Начала карьеру в Яндексе со стажировки в 2021 году: занималась RL-обучением модели в Переводчике, а затем перешла к работе над претрейном Alice AI. Сейчас исследует, как эффективнее обучать LLM: помогать моделям усваивать знания из данных, рассуждать и пользоваться инструментами на разных этапах претрейна.

14:10-14:45

Доклад Keynote

От рекомендательного стека к одной генеративной модели в Яндекс Музыке

End-to-end одностадийные генеративные рекомендательные модели — перспективная активно развивающаяся область. Несколько компаний уже заявили об успешной реализации этого подхода.

В своём докладе я расскажу, как нам удалось заменить весь стек рекомендательной системы Яндекс Музыки, состоящий из множества кандидат-генераторов, нескольких этапов ранжирования, сотен признаков, в том числе нейросетевых (включая Argus), на end-to-end генеративную нейросеть без ручного фича-инжиниринга.

Новая модель продемонстрировала значительный рост всех пользовательских метрик при полной замене старой системы. Поделюсь сложностями, с которыми мы столкнулись, расскажу,
как их удалось преодолеть. Покажу результаты офлайн-замеров
и онлайн-А/В-тестов.

фото
RecSys

Николай Савушкин

Яндекс R&D

Руководитель службы рекомендательных технологий

 


Закончил МГУ, последние четыре года занимается базовыми рекомендательными технологиями Яндекса. Увлекается бегом на длинные дистанции.

14:50-15:25

Доклад

Как мы развивали трансформерный item-энкодер в рекомендательной модели

Расскажу, как мы развивали item-энкодер в нашей модели: заменили DCN трансформерной архитектурой, стабилизировали обучение и оптимизировали производительность. Разберу проблемы, с которыми мы столкнулись при обучении и работе с torch.compile, причины отказа от gradient clipping и реализацию собственного self-attention на Triton. Также поделюсь результатами архитектурных и оптимизационных экспериментов и покажу, как новая модель проявила себя в A/B-тесте.

фото
Data Science, RecSys

Дмитрий Веснин

Авито

Старший ML-разработчик

 


Окончил магистратуру Университета ИТМО. Работал младшим научным сотрудником в СПб ФИЦ РАН, а затем ML-инженером в командах рекомендательных систем «Циана» и Ozon. Сейчас в «Авито» развивает рекомендательные модели на основе трансформеров.

15:30-16:05

Доклад

Agentic Vision: как научить VLM рассуждать и использовать инструменты

Современные VLM часто ошибаются в деталях, подсчёте объектов и пространственных отношениях. Один из способов повысить качество — дать модели возможность не отвечать сразу, а построить план, получить дополнительную визуальную информацию, вызвать внешние инструменты и скорректировать решение по результатам промежуточных шагов.

В докладе разберём Agentic Vision VLM модели: планирование, visual reasoning, работу с регионами изображения, вызов OCR, детекторов, поиска и исполняемого кода. Обсудим, как обучать модель выбирать инструменты и выстраивать траекторию решения, а также как оценивать качество таких систем.

фото
CV, NLP

Данил Кашин

Яндекс R&D

Руководитель команды претрейна VLM и Agentic Vision в Alice AI

 


Руководит командой предобучения VLM в Яндексе. До этого работал в Циане и VK. Окончил НИЯУ МИФИ, выступал приглашённым лектором в МИФИ, НИУ ВШЭ, МГТУ им. Н. Э. Баумана и онлайн-школе AI 360. Призёр двух хакатонов. Занимается компьютерным зрением, мультимодальными моделями и развитием их способности рассуждать.

16:10-17:10

Кофе-брейк

17:10-17:45

Доклад

Строим экономически эффективный инференс LLM для агентских (и не только) сценариев

Агентские сценарии заметно меняют профиль нагрузки на большие языковые модели. Контекст растёт от шага к шагу, значительная его часть повторно используется, между обращениями одной сессии возникают паузы, а несколько агентов могут одновременно создавать резкие всплески нагрузки. В результате эффективность инференса определяется не только скоростью вычислений, но и тем, где хранится KV-кеш, на какую реплику попадёт следующий запрос и как распределены ресурсы между prefill и decode.

В докладе разберём особенности агентского трафика на основе нескольких публичных трасс, агентских бенчмарков и опыта эксплуатации моделей в Yandex AI Studio. Затем зададим SLO, запустим базовую конфигурацию на опенсорс-движке инференса и посчитаем себестоимость обработки такого трафика.

После этого будем последовательно снижать стоимость инференса с помощью выбора подходящей схемы параллелизма, KV-aware-маршрутизации, спекулятивного декодирования, разделения prefill и decode и многоуровневого распределённого KV-кеша. Для каждой техники рассмотрим, какие особенности нагрузки требуют её применения, разберём принцип её работы, готовность опенсорсных реализаций и эффект в реальной системе.

На примерах из эксплуатации DeepSeek-V3.2, DeepSeek-V4-Flash и других больших моделей покажем, почему современный инференс — это не только модельный движок, но и сложная распределённая система. Также разберём несколько нетривиальных ошибок на границах её компонентов, с которыми мы сталкивались.

фото
MLOps

Владислав Носивской

Yandex Cloud

Руководитель группы инференса LLM в Yandex AI Studio

 


Занимается запуском, эксплуатацией и оптимизацией больших языковых моделей. Начал карьеру в Яндексе со стажировки, посвящённой исследованию сдвигов распределения в нейронных сетях. Развивает опенсорс-инструменты для LLM-инференса и является коллаборатором проекта Mooncake.

17:50-18:25

Доклад

Эффективный Online RL для больших MoE LLM

Online RL — одна из ключевых стадий посттренинга современных LLM. Именно здесь модель учится рассуждать, следовать сложным инструкциям и решать многошаговые задачи. Однако на практике наивная реализация RL-пайплайна приводит к простоям дорогих GPU и плохой утилизации кластера.

В докладе — о том, как мы масштабировали инфраструктуру Online RL для наших MoE-моделей: как переходили на асинхронный пайплайн и ускоряли синхронизацию весов, как внедряли FP8-обучение и почему ускорение инференса напрямую определяет скорость RL-цикла. Поделюсь реальными проблемами, с которыми мы столкнулись, и тем, как их решали.

Отдельно обсудим вызовы, которые возникают при переходе к большим MoE-моделям: как на масштабе 100B+ параметров ускорение пайплайна начинает конфликтовать со стабильностью обучения и что с этим делать.

фото
NLP

Никита Ермолаев

Сбер

Руководитель команды инфраструктуры обучения Text LLM в GigaChat

 


Окончил мехмат МГУ. Начинал карьеру в VK: занимался нейросетевым ранжированием в поиске, затем перешёл к обучению LLM.

В команде GigaChat занимается инфраструктурой и оптимизацией претрейна и RL-обучений больших языковых моделей.

Сейчас фокусируется на эффективном масштабировании претрейна и посттрейна MoE-моделей уровня 100B–1T параметров в large-scale-сценариях.

18:30-19:05

Доклад

Планировщик операций для LLM: ускорение обучения как алгоритмическая задача

Современные большие языковые модели обучаются на больших кластерах видеокарт. Эффективная организация параллельных вычислений и коммуникаций позволяет существенно ускорить процесс обучения, тем самым сэкономив огромное количество денег компании.

В своём докладе я расскажу, как устроено современное распределенное обучение LLM, с какими проблемами мы сталкиваемся и какие подходы помогают с ними справиться. Поговорим о методах паралеллизации вычислений модели на многие GPU, в особенности — пайплайн паралеллизме, и о том, как мы придумали обобщение этого подхода, рассмотрев его как задачу планирования с ограничениями.

Наш подход позволил существенно ускорить обучение больших языковых моделей. Я расскажу, в каких сценариях он оказался наиболее эффективным и какие инженерные трудности пришлось преодолеть при его реализации.

фото
NLP

Александр Пацация

Яндекс R&D

Старший разработчик инфраструктуры обучения LLM

 


Закончил ВМК МГУ, ФКН ВШЭ и ШАД. Последний год занимается разработкой и совершенствованием инфраструктуры обучения языковых моделей в Яндексе. Любит кататься на сноуборде и хорошо ладить с лыжниками.

19:10-20:00

Интеллектуальная игра «Слабое звено. ML Edition»

20:00-20:20

Итоги главного розыгрыша

В день конференции проведём розыгрыш для офлайн-участников. Подробности можно будет узнать в день мероприятия на стойке регистрации.

20:20-23:00

Афтерпати и нетворк

Ведущие

фото

Василиса Григорьева

Яндекс R&D

ML-разработчик в службе рекомендательных технологий

 


Начинала карьеру в бэкенд-команде VK, сейчас занимается обучением генеративных моделей для рекомендаций. Кандидат в мастера спорта по триатлону. Свое утро начинает с латте-арта.

фото

Арина Гертель

Яндекс R&D

Старший разработчик в службе компьютерного зрения

 


Окончила ННГУ и НИУ ВШЭ, стажировалась и работала в Intel, Huawei и Сбере.

Сейчас занимается претрейном мультимодальной модели Alice AI. Интересуется эффективным инференсом нейронных сетей, их сжатием и различными оптимизациями.

Недавно ездила на учёбу в Peking University и была частым гостем в Chagee.

11:00-12:30

Сбор участников

13:20-13:55

Доклад

Пока вы говорите: как устроен стриминговый перевод речи

Потоковый перевод вы слышите в реальном времени, не дожидаясь завершения всей речи говорящего. Расскажу, как мы сделали такую систему для перевода с английского на русский: как учили потоковый ASR и переводную LLM, какие архитектуры сравнивали, почему в итоге остановились на выбранной и почему выдача по предложениям.

Отдельно разберём главный компромисс любой стриминговой системы — задержку против качества. Откуда она берётся на каждом этапе пайплайна, как мы её измеряли и что помогло её сократить, не потеряв в метриках. Покажу, как мы сегментировали поток на предложения и что делали с нестабильностью гипотез на границах. И, конечно, поделюсь граблями, которые собрали по дороге.

фото
Speech, NLP

Вилиана Девбунова

Яндекс R&D

Research ML Engineer в команде ASR

 


Четыре года в Яндексе занимается речевыми технологиями: делала нейронный синтез для немецкого и арабского, синтез на self-supervised-токенизации речи. Недавно закончила работу над потоковым переводом речи en-ru. Сейчас учит Audio Language Model контекстному распознаванию и работает над инклюзивным ASR — распознаванием речи людей с речевыми нарушениями. Параллельно исследует управляемость и механистическую интерпретируемость больших языковых моделей: работа про evaluation awareness вышла на воркшопе ICBINB на ICLR 2026. Ездит на спортивном мотоцикле и убеждена, что это тоже задача про минимизацию задержки.

14:50-15:25

Доклад

RL meets Browser: как мы обучили VLM-агента работать в вебе за пользователя

Computer-Use-агенты — модели, которые сами выполняют действия в компьютерной среде вместо пользователя, — постепенно перестают быть демо и становятся рабочей технологией. Но путь от «у нас есть VLM» до «агент выполняет задачи пользователя в проде» гораздо длиннее, чем кажется: живой браузер не детерминирован, эпизоды длинные, а рецептов multi-turn RL для мультимодальных агентов почти нет в открытом доступе.

Расскажу, как мы построили и обучили VLM-агента, который выполняет задачи в реальном браузере: начинали с booking-сценария, сейчас масштабируемся до широкого спектра пользовательских задач. Разберём архитектуру пайплайна и объясним, почему одной VLM недостаточно. Покажу, как мы завели RL в сетапе, где агент действует в настоящем браузере: как проектировали награды для длинных цепочек решений на основе скриншотов и что потребовалось, чтобы обучение стало стабильным. Отдельно поговорим про инфраструктуру — как встроить браузер в RL-пайплайн, добавить мультимодальность в тренировочный фреймворк, какие велосипеды пришлось построить, а какие выбросить — и про полуавтоматическую генерацию окружений, которая позволяет масштабировать среды, не утонув в ручной разметке.

Не обойду и грабли: что пошло не так, какие решения оказались контринтуитивными и что мы сделали бы иначе.

фото
NLP

Артемий Голиков

Яндекс Алиса AI и Умные устройства

Руководитель бригады визуальных агентов в Алисе

 


Закончил ВМК МГУ. Более пяти лет занимается NLP. Сейчас в Яндексе руководит командой визуальных агентов в Алисе, учит Алису работать в Браузере. До этого занимался созданием арабского ассистента в Яндексе; начинал с работы в VK и Сбере. Любит чинить сломанные модельные тренировки, кататься на горных лыжах и путешествовать.

15:30-16:05

Доклад

Диффузионный драфтинг в спекулятивном декодинге: DFlash и DSpark — от модели до вывода в продакшн

Диффузионные драфтеры — новое направление в спекулятивном декодировании, где блок кандидатов генерируется преимущественно параллельно, а не токен за токеном. Кратко рассмотрю развитие подходов к многотокенному предсказанию и разберу, как идеи параллельного драфтинга реализованы в DFlash и получили дальнейшее развитие в DSpark.

Основное внимание уделю архитектурным инновациям в этих методах: non-causal drafting в DFlash, восстановлению зависимостей между токенами с помощью Markov head в DSpark, а также использованию confidence head для динамического выбора длины верификации.

Отдельно расскажу о практической интеграции таких моделей в inference-системы. На примере реализации в vLLM и vLLM-Ascend рассмотрю работу со статическими формами тензоров, CUDA и ACL Graph, буферами, padding, batch descriptors и различиями между draft и target проходами. Также расскажу о типичных ошибках, ограничениях аппаратных платформ и компромиссах между качеством драфта (acceptance rate), стоимостью верификации и итоговым ускорением генерации.

Доклад будет полезен исследователям и ML-инженерам, которые занимаются ускорением инференса больших языковых моделей, speculative decoding и интеграцией новых архитектур в высокопроизводительные inference-фреймворки.

фото
NLP

Станислав Илюшин

Huawei

Старший инженер

 


Закончил ФКН НИУ ВШЭ. Со второго курса бакалавриата работал в Ростелекоме над классическим NLP, а во время учёбы в магистратуре перешёл в Сбер, где занимался дообучением LLM. После окончания магистратуры перешёл в Huawei, где сейчас занимается ускорением инференса, пишет статьи и контрибьютит в опенсорс. Среди профессиональных интересов — методы оптимизации, среди непрофессиональных или житейских — Counter Strike и рестораны.

16:10-17:10

Кофе-брейк

17:10-17:45

Доклад

Развитие рекомендательной системы в РСЯ: от нейроранжирования до улучшения аукциона

Поговорим о том, что такое РСЯ и как в ней взаимодействуют пользователь, площадка и рекламодатель.

Разберём, как ранжируются объявления, и посмотрим на рекомендательную систему в рекламе. Отдельно обсудим раннее связывание и нейроранжирование, а также роль DeepRanker как нейросетевой модели ранжирования. Затем перейдём к рекламному аукциону и разберёмся, зачем собирать баннеры в блоки. Также расскажем о внедрении HIMERA — ML-кандидат-генератора блоков — и об отказе от эвристик.

А в завершение поговорим о развитии HIMERA, генеративных методах сбора блоков и о том, в каком направлении мы планируем развивать эти подходы, следуя тенденциям индустрии.

фото
RecSys

Маргарита Мишустина

Яндекс Рекламные технологии

Руководитель группы ранжирования в службе ИИ-рекомендаций

 


Училась в МГУ на факультете ВМК, кафедра ММП.

Работала несколько лет в МГУ над ML/DL-курсами для студентов.

В Яндексе начинала со стажировки в CV, в штат вышла в команду Рекламы и работает в ней уже больше пяти лет.

Любит рассказывать про то, какие в Яндексе технологии.

Помимо работы увлекается ЧГК, настолками, квизами. Любит играть в спортивную мафию, читать и смотреть детективы.

17:50-18:25

Доклад

Commodity LLM: как мы строим инфраструктуру и процессы для массового инференса LLM

Использование облачных LLM по API часто недоступно из-за работы с чувствительными данными, поэтому модели приходится разворачивать внутри корпоративного контура. Собственный массовый инференс LLM не только страхует риски регуляторной политики, но и позволяет управлять SLA и приобретать необходимый экспертный опыт, чтобы эксплуатировать свои собственные дообученные и опенсорс-модели, недоступные у внешних вендоров.

Однако у такого подхода есть жёсткое ограничение: затраты на собственный массовый LLM-инференс не должны превышать цену токенов у внешних провайдеров, иначе инхаус-решение становится экономически нецелесообразным.

На практике добиться этого сложно. Без постоянной работы над внутренней инфраструктурой и её оптимизации, а также без единого конвейера, связывающего подготовку, бенчмаркинг, оптимизацию и деплой, внедрение новых SOTA-моделей затягивается, а эксплуатация неоптимизированных моделей сжигает бюджет на железо.

В докладе — о том, как мы строим инфраструктуру для массового инференса LLM в компании и какие инфраструктурные оптимизации позволили нам за последние полгода снизить стоимость массового LLM-инференса в несколько раз. Также разберём, как мы выстраиваем единый пайплайн вывода LLM в продакшен и системы бенчмаркинга моделей по качеству и перформансу, которые позволяют нам разворачивать наиболее cost-эффективные SOTA-модели.

фото
NLP, MLOps

Александр Мисевич

Т-Банк

Руководитель Group Of Efficient Runtime & Inference в AI Platform & Copilot

 


В Т-Банке с 2022 года. До этого занимался разработкой современных CPU в компании Intel, затем работал в Huawei над оптимизациями обучения и инференса нейросетей под устройства компании.

Теперь руководит командой G.E.R.I., которая стала центром экспертного опыта в сфере инференса нейросетей в Т-Банке. Каждый день команда работает над тем, чтобы сделать LLM и другие сложные AI-модели технологически и экономически доступным стандартным инструментом для любых бизнес-задач.

18:30-19:05

Доклад

Как мы реализовали конструктор видеоаналитик

Luna Line — платформа компьютерного зрения, в которой пользователь может пройти весь путь создания CV-решения: от разметки данных под конкретную задачу до запуска видеоаналитики на RTSP-потоке. Обучение модели запускается одной кнопкой и работает с данными из разных предметных областей, начиная от 50 изображений.

В докладе я расскажу, как мы реализовали в среднем оптимальное обучение моделей классификации, детекции и сегментации, адаптирующееся под размер обучающей выборки. Сравню качество полученных моделей с решениями основных конкурентов и VLM. Также расскажу про конструктор видеоаналитик и разберу реальные кейсы, в которых уже применяются собранные с его помощью решения.

Женщина с длинными светло-каштановыми волосами, в чёрном наряде с молниями на плечах, с серьгами, на нейтральном фоне
CV

Анастасия Белозерова

VisionLabs, Центральный университет

Заместитель директора по исследованиям в VisionLabs, лид курса «Компьютерное зрение» в Центральном университете

 


Руководит командой исследований для платформы Luna Line, ранее — командой транспортной видеоаналитики в VisionLabs. Лид и лектор курса «Компьютерное зрение» в Центральном университете, автор курса Computer Vision в karpov.courses . Работала в Samsung R&D, Huawei Research, выступала приглашенным лектором на ФКН ВШЭ, преподавала DL в Ozon Masters. Окончила ФПМИ МФТИ и Skoltech.

20:20-23:00

Афтерпати и нетворк

Ведущий

фото

Дарья Фомина

Яндекс R&D

Разработчик в службе ML-инфраструктуры R&D

 


Выпускница бакалавриата факультета компьютерных наук НИУ ВШЭ.

Карьеру начала со стажировки в Яндексе, затем работала над платформой обработки данных в VK, а потом вернулась в Яндекс, чтобы делать бэкенд для супераппа в Турции. Сейчас работает в команде базовой ML-инфраструктуры Яндекса, где разрабатывает RL-инфраструктуру для обучения LLM. Интересуется низкоуровневыми оптимизациями для GPU.

В свободное время любит путешествовать.

12:00-12:40

ML News

Наши эксперты обсудят ключевые новости в области машинного обучения и искусственного интеллекта за последние несколько недель. Они расскажут о том, что привлекло их внимание, и поделятся своими личными мнениями.

13:20-13:55

Доклад

Ouroboros: что внутри агента, обошедшего Codex, Claude Code и Cursor

Может ли агент улучшать сам себя и не деградировать?

Ouroboros — действующий эксперимент: кодинг-агент с конституцией, памятью и правом коммитить в собственный репозиторий. На открытых бенчмарках он впереди Codex, Claude Code и Cursor. В докладе — об архитектуре, петле самоулучшения и граблях, на которые мы наступили: от агентов, подсматривающих ответы, до правок, чуть не убивших систему.

фото
NLP, Data Science

Антон Разжигаев

AIRI

Старший научный сотрудник FusionBrain Института AIRI, руководитель группы «Интерпретируемый ИИ»

 


PhD. Руководит группой «Интерпретируемый ИИ» лаборатории FusionBrain в Институте искусственного интеллекта AIRI.

Работает над интерпретируемостью нейросетей и агентными системами; вместе со своей группой изучает, на что опирается модель и как строить агентов, которым можно давать автономию.

Автор телеграм-канала AbstractDL .

14:50-15:25

Доклад

От градиентного бустинга к Deep Ranker: опыт перехода в ранжировании без слёз

Поговорим об архитектуре Deep Ranker: о том, почему она эффективна и как переносит сильные стороны градиентных бустингов в нейросетевой подход. Разберём практические сложности миграции на модели другой природы — смещение в обучении и офлайн-тестировании, а также способы сделать такой переход безопасным для бизнес-метрик.

фото
RecSys, Data Science

Андрей Белобородов

Яндекс Плюс Фантех

Руководитель группы рекомендаций Кинопоиска

 


Начинал свой профессиональный трек с прикладного программирования, увлекался биоинформатикой.

10 лет назад пришёл в ML после знакомства с курсом машинного обучения Эндрю Ына.

С 2019 года занимается RecSys и до сих пор считает его самым интересным доменом в ML.

Хобби — прогулки по лесу и парные танцы.

15:30-16:05

Доклад

NEEDLE: открытый бенчмарк движков для веб-поиска

Все существующие бенчмарки для поиска измеряют либо качество языковых моделей, либо качество поисковых моделей и алгоритмов. А вот качество самого поискового движка (финального API для поиска) никто нормально не измеряет.

Кроме того, существующие бенчмарки в основном статичны, то есть набор поисковых запросов в них фиксирован. Это очень плохо, потому что позволяет один раз найти, разметить и закешировать правильные документы, а также подогнать под них ранжирование.

Поэтому мы предлагаем онлайн-бенчмарк NEEDLE, в котором используются свежие запросы на основе новостей, статей, финансовых документов, судебных дел и логов агентов.

В докладе я подробно расскажу об этом и других бенчмарках, а также в целом о выборе поискового движка для ваших агентов.

фото
NLP

Илья Гусев

Keenable

Ведущий исследователь

 


Окончил МФТИ (ФИВТ/ФПМИ). Три года работал в ABBYY, четыре с половиной года в Яндекс Новостях и Поиске, три года в Booking.com. Побеждал в нескольких ML-конкурсах Telegram. Создал популярные модели суммаризации и русскоязычный файнтюн языковых моделей «Сайга». Сейчас работает в Keenable, стартапе, который занимается агентским веб-поиском.

17:10-17:45

Доклад

Evals для LLM-систем: от вайбчека к метрикам для агентов и LLM-продуктов

Оценить качество новой LLM-фичи сложно — особенно до того, как она попадёт к пользователям, а часто и после, если в команде нет развитой культуры A/B-тестов. В итоге правка улучшает один кейс и ломает три, а вопрос «выкатываем ли новый промпт и переходим ли на другую модель» решается на глаз.

В своём докладе я разберу, как выстроить систему evals для LLM-продуктов и сочетать простые детерминированные проверки, LLM-as-a-judge, собственные бенчмарки и A/B-тесты. Отдельно поговорим про специфику оценки агентов — там важен не только финальный результат, но и путь к нему — почти как у самурая.

Дальше перейду к конкретике: что болело у нас при попытках улучшить LLM-системы и как мы это решали. Обсудим, почему оценки судей могут вводить в заблуждение, чем неоткалиброванный LLM-as-a-judge опасен для продукта и что сделать, чтобы он приносил пользу. В финале резюмирую, какие evals внедрять первыми в зависимости от продукта и чего от них реально ждать при раскатке и улучшении LLM-систем.

фото
NLP

Алексей Степин

Just AI

Lead AI Engineer

 


Строит мультиагентные системы для продакшена и научных задач, разрабатывает внутренние харнесы для команды. Аспирант ИТМО, старший исследователь в группе ИТМО × Иннополис по AI-агентам для науки. Бегает, слушает аудиокниги, маму и хардкор.

17:50-18:25

Доклад

LLM-матрёшки: от исследовательского метода к рабочей технологии

Метод построения LLM-матрёшек позволяет за одно небольшое дообучение получить из одной большой модели семейство меньших.

Расскажу, как мы доработали исходный подход: адаптировали его к новым архитектурам, перешли от числа параметров к прямой оптимизации скорости работы модели и научились точно попадать в произвольные бюджеты.

Отдельно разберём кейсы применения полученных моделей — от ускорения исследовательских экспериментов до использования в сервисах.

фото
NLP, Data Science

Артём Федоров

Яндекс R&D

Разработчик в команде ускорения инференса LLM

 


Выпускник ФПМИ и ШАД.

Работал в Yandex Research и в ML Яндекс Плюса. Сейчас — в команде ускорения инференса LLM.

19:05-19:25

Итоги розыгрыша для зрителей трансляции

В этом году впервые проведём розыгрыш для онлайн-участников. Подробности опубликуем утром 19 сентября в канале конференции.

Ведущий

фото

Илья Мурзин

Яндекс R&D

ML-разработчик в службе рекомендательных технологий

 


Учится в магистратуре НИУ ВШЭ и ШАД, занимается генеративными моделями в рекомендациях, интересуется подходами SOTA LLM.

В свободное время играет в падел.

11:00-12:30

Сбор участников

13:20-13:55

Доклад

Yet Another Closed-loop Teleoperation

Расскажу, как мы обучили единую end-to-end-модель управления всем телом гуманоида. Она самостоятельно координирует движения и поддерживает равновесие робота — от ходьбы, приседаний и наклонов до поднятия предметов и взаимодействия с тяжёлыми объектами, охватывая широкий спектр необходимых нам сценариев.

фото
CV

Андрей Маношин

Yandex Robotics

ML-инженер

 


Учился в МИФИ на инженера-физика. На старших курсах университета пошёл в Data Science.

В конце 2021 года стал стажироваться в Yandex Research, улучшать Sample Efficiency в RL. В середине 2022 года перешёл в штат делать модели, управляющие роборуками, а после — роботами.

Сейчас работает над VLA-моделями для гуманоидов. Вместе с командой исследует новые возможности и модальности VLA-моделей.

14:50-15:25

Доклад

Дальше, точнее, быстрее: query-based-детекция для автономного транспорта

Система восприятия автономного автомобиля должна одновременно видеть далеко, детектировать точно и укладываться в жёсткий бюджет времени на edge-устройстве. Наша CNN-based-архитектура на базе BEVFusion даёт обзор на 250 м вперёд и назад и на 100 м по бокам, но масштабировать дальность не получается: любое расширение зоны видимости упирается либо в качество детекции, либо в скорость инференса.

Расскажу, как мы перешли на query-based-модель MV2DFusion и сняли это ограничение: боковой обзор уже вырос с 100 до 200 м, а дальность вперёд и назад архитектура позволяет увеличить с 250 до 400 м: это наши следующие планы. Разберём, почему выбрали именно эту модель и как сравнивали с BEVFusion по дальности, точности, скорости и потреблению ресурсов.

Основная часть доклада — про архитектуру: как устроена query-based-модель и что происходит с её компонентами при переезде. Покажу, как адаптируются разные головы и модули детектора, как всё это работает с мультимодальными данными автономного автомобиля и какие особенности возникают при обучении. Отдельно сравню инференс до и после — по каждому компоненту и по модели в целом в процентах.

Разберу готовый кейс оптимизации ML-модели с конкретными цифрами и решение классической дилеммы разработки: как расширить охват данных (дальность обзора), сохранить качество и при этом стать быстрее.

фото
CV

Иван Лунев

Яндекс Автономный транспорт и роботы

Руководитель команды ядра детекции службы восприятия сцены, ведущий разработчик

 


Отвечает за функциональность детектора в автономном автомобиле: команда добавляет в модель новые головы под задачи автономного транспорта, улучшает качество детекций и развивает архитектуру. Выпускник матмеха СПбГУ и ШАД. До Яндекса занимался ADAS. Помогает с преподаванием алгоритмов и машинного обучения в ШАД, читает лекции об автономном транспорте в вузах и студкемпах.

15:30-16:05

Доклад

Как мы научили GigaChat Audio ориентироваться во времени: temporal grounding для длинных аудиозаписей

В работе с аудио всё чаще важно не только распознавать речь, но и понимать длинную запись целиком: отвечать на вопросы, строить суммаризацию и находить нужный фрагмент. Для этого Audio LLM должна понимать не только, что произошло, но и когда именно. В докладе разберём temporal grounding для длинного аудио и покажем, что даже сильные модели могут давать верный смысловой ответ, но ошибаться в тайм-кодах на минуты.

Расскажем, как построили полный пайплайн time-aware Audio LLM и как контролировали качество данных: собрали и опубликовали синтетический датасет объёмом 13 тыс. часов и 1 млн семплов, адаптировали архитектуру модели и добавили inter-timings — временные якоря между аудиотокенами. На записях до 50 мин такой подход снизил ошибку до 3,5 с против 66 с — у модели без inter-timings и 290 с — у Qwen3-Omni-30B-A3B. Также обсудим, сколько данных нужно для обучения, как выбирать частоту временных меток и зачем смешивать аудио разной длины.

фото
NLP, Speech

Александр Куцаков

Сбер

Staff Research Engineer

 


Занимается моделями GigaAM и GigaChat Audio в Сбере уже два года. Закончил ПМИ ВШЭ и ШАД. Любит совмещать интересный research и пользу для продукта.

16:10-17:00

Кофе-брейк

17:00-19:35

Дискуссия и награждение Yandex ML Prize

20:20-23:00

Афтерпати и нетворк

*Запись выступления будет доступна для участников после конференции
**В день конференции зал будет доступен только для офлайн-участников. Но записи всех докладов будут доступны после конференции
Скачать программу конференции в PDF-формате можно по ссылке .