MLечный путь 2024. Ежегодный митап MLOps и ML-инженеров от Selectel. Офлайн участие

Обсуждаем инфраструктуру для ML, разбираем сложности, тренды и инструменты построения production ML-систем. Особое внимание уделим актуальному тренду — LLM. Поговорим про оптимизацию моделей, безопасность LLM и сокращение расходов на их инференс.

ИТ и интернет 18+

Формат участия

  • офлайн — СПБ, Цветочная, 19
  • онлайн-трансляция

 Основные темы 

  • Тенденции развития генеративного ИИ
  • Оптимизация LLM и инфраструктурные векторы атак на них
  • Текущие перспективы Feast в качестве Feature store
  • Деплой ML-сервисов и сокращение затрат их работу

Кому будет интересно на митапе: 

  • MLOps и DevOps в ML-проектах
  • DevOps-инженерам и Data scientists
  • Менеджерам ML-проектов 
  • Техническим руководителям и CTO

Программа 

17:30 – 18:00 
Регистрация участников и экскурсия по дата-центру

18:00 – 18:10 
Приветственное слово от ведущего 

18:10 – 18:35
Юрий Классен, Руководитель группы MLOps, СберМаркет

Актуальный опыт внедрения feature store в командах МегаМаркет. Feast уже можно внедрять или ждём версию 1.0?

Одним из важных компонентов ML-платформы является хранилище фичей. Поделимся опытом использования одного из самых популярных, расскажем про его подводные камни, дадим рекомендации и обозначим ожидания от будущих релизов.

СберМаркет — онлайн-площадка с миллионами товаров и покупателей. Внутренние команды уже давно используют ML для решения большого количества задач. Для этого они построили собственную платформу и активно развивают ее с применением актуальных технологий и облачных ресурсов.

18:35 – 19:00 
Антон Алексеев, DevOps-инженер, Selectel
Ефим Головин, MLOps-инженер, Selectel

Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.

Расскажем, как сократить расходы на самый дорогой ресурс в ML-системах. Поговорим о выборе конфигураций серверов, запуске на одной GPU нескольких небольших ML-задач и объединении карт для выполнения одной большой задачи.

Selectel — крупнейший независимый провайдер IT-инфраструктуры в России. Широкий выбор профессиональных GPU-карт, 15-летний опыт работы с серверным оборудованием, 1 место в рейтинге провайдеров GPU Cloud 2023.  

19:00 – 19:35
Сергей Мезенцев, Individual contributor, Dstack 

Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps. 

Расскажем про open source инструмент, позволяющий без знаний инфраструктурных инструментов и особенностей провайдеров деплоить в них свои ML-сервисы.

Dstack — платформа с открытым исходным кодом, которая помогает ML-командам получать инфраструктуру для разработки, обучения и инференса ML-моделей во множестве облачных провайдеров.

19:35 – 20:00
Перерыв на кофе и неформальное общение со спикерами 

20:00 – 20:25
Василий Крикунов, Руководитель проектов в области ИИ, Axenix

Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.

Расскажем про тренды в области Generative AI: как они влияют на стратегию развития компании Axenix и почему привели к разработке собственной платформы для LLM-ботов.

Axenix (ex. Accenture) — консалтинговая компания с 30-летним опытом в полномасштабных end‑to‑end проектах: создании бизнес- и ИТ‑стратегий с полноценным внедрением, разработке технологических решений и ПО, аутсорсинге. 

20:25 – 20:50 
Алексей Гончаров, CEO и founder, MIL Team

Быстрый и экономичный инференс LLM в прикладных задачах.

LLM-модели требуют большого количества вычислительных ресурсов и для обучения, и для inference. Разберем опыт уменьшения размеров LLM под одну GPU без потери качества.

MIL Team – российская команда разработки и поставки решений в области AI. Помогает компаниям проводить исследования и разрабатывать уникальные технологии в различных направлениях: NLP, CV, Sensors, DL Models Compression, RL, etc.

20:50 – 21:15 
Евгений Кокуйкин, Руководитель AI продуктов, Raft 

Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет. 

Обсуждаем архитектуру LLM приложений, разберем угрозы связанные с инфраструктурными элементами приложений. Поговорим  про безопасность LLM, supply chain, техники защиты и роль CISO при внедрении генеративного ИИ

Raft AI Labs — подразделение компании Raft, которое специализируется на разработке и интеграции решений с использованием новейших AI-технологий.

 

21:15 – 22:00 
Общение и ответы на вопросы

А ещё: Стенды с GPU-картами, розыгрыш мерча, знакомства, пицца и пиво после окончания докладов.
 

Регистрируйтесь! 

Поделиться:

59 дней назад
18 апреля 17:30–22:00

Санкт-Петербург
ул. Цветочная, 19
Показать на карте

Уже есть билет
Восстановить

Поделиться:

Связь с организатором

Напоминаем, что для того чтобы восстановить билет организатору можно не писать.

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Восстановление билета

Введите адрес электронной почты, указанный при регистрации на событие

Обращаем внимание на то, что билеты должны были прийти к вам на почту сразу после покупки.

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов