Формат участия

• офлайн — СПБ, Цветочная, 19
• онлайн-трансляция

 Основные темы 

• Тенденции развития генеративного ИИ
• Оптимизация LLM и инфраструктурные векторы атак на них
• Текущие перспективы Feast в качестве Feature store
• Деплой ML-сервисов и сокращение затрат их работу

Кому будет интересно на митапе: 

• MLOps и DevOps в ML-проектах
• DevOps-инженерам и Data scientists
• Менеджерам ML-проектов 
• Техническим руководителям и CTO

Программа 

17:30 – 18:00 
Регистрация участников и экскурсия по дата-центру

18:00 – 18:10 
Приветственное слово от ведущего 

18:10 – 18:35
Юрий Классен, Руководитель группы MLOps, СберМаркет

Актуальный опыт внедрения feature store в командах МегаМаркет. Feast уже можно внедрять или ждём версию 1.0?

Одним из важных компонентов ML-платформы является хранилище фичей. Поделимся опытом использования одного из самых популярных, расскажем про его подводные камни, дадим рекомендации и обозначим ожидания от будущих релизов.

СберМаркет — онлайн-площадка с миллионами товаров и покупателей. Внутренние команды уже давно используют ML для решения большого количества задач. Для этого они построили собственную платформу и активно развивают ее с применением актуальных технологий и облачных ресурсов.

18:35 – 19:00 
Антон Алексеев, DevOps-инженер, Selectel
Ефим Головин, MLOps-инженер, Selectel

Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.

Расскажем, как сократить расходы на самый дорогой ресурс в ML-системах. Поговорим о выборе конфигураций серверов, запуске на одной GPU нескольких небольших ML-задач и объединении карт для выполнения одной большой задачи.

Selectel — крупнейший независимый провайдер IT-инфраструктуры в России. Широкий выбор профессиональных GPU-карт, 15-летний опыт работы с серверным оборудованием, 1 место в рейтинге провайдеров GPU Cloud 2023.  

19:00 – 19:35
Сергей Мезенцев, Individual contributor, Dstack 

Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps. 

Расскажем про open source инструмент, позволяющий без знаний инфраструктурных инструментов и особенностей провайдеров деплоить в них свои ML-сервисы.

Dstack — платформа с открытым исходным кодом, которая помогает ML-командам получать инфраструктуру для разработки, обучения и инференса ML-моделей во множестве облачных провайдеров.

19:35 – 20:00
Перерыв на кофе и неформальное общение со спикерами 

20:00 – 20:25
Василий Крикунов, Руководитель проектов в области ИИ, Axenix

Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.

Расскажем про тренды в области Generative AI: как они влияют на стратегию развития компании Axenix и почему привели к разработке собственной платформы для LLM-ботов.

Axenix (ex. Accenture) — консалтинговая компания с 30-летним опытом в полномасштабных end‑to‑end проектах: создании бизнес- и ИТ‑стратегий с полноценным внедрением, разработке технологических решений и ПО, аутсорсинге. 

20:25 – 20:50 
Алексей Гончаров, CEO и founder, MIL Team

Быстрый и экономичный инференс LLM в прикладных задачах.

LLM-модели требуют большого количества вычислительных ресурсов и для обучения, и для inference. Разберем опыт уменьшения размеров LLM под одну GPU без потери качества.

MIL Team – российская команда разработки и поставки решений в области AI. Помогает компаниям проводить исследования и разрабатывать уникальные технологии в различных направлениях: NLP, CV, Sensors, DL Models Compression, RL, etc.

20:50 – 21:15 
Евгений Кокуйкин, Руководитель AI продуктов, Raft 

Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет. 

Обсуждаем архитектуру LLM приложений, разберем угрозы связанные с инфраструктурными элементами приложений. Поговорим  про безопасность LLM, supply chain, техники защиты и роль CISO при внедрении генеративного ИИ

Raft AI Labs — подразделение компании Raft, которое специализируется на разработке и интеграции решений с использованием новейших AI-технологий.

21:15 – 22:00 
Общение и ответы на вопросы

А ещё: Стенды с GPU-картами, розыгрыш мерча, знакомства, пицца и пиво после окончания докладов.
 

Регистрируйтесь!