Поток стартовал — но можете успеть до старта занятий

Первое занятие было вводным. Получите к нему доступ, посмотрите и решите — войти в текущую группу можно до воскресенья, 28 июня.

Получить доступ к вводному Оплатить сейчас

1. Какая польза от курса

AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества

ПроблемаНепонятно, что считать «хорошим результатом», нет процесса оценки, нет данных для тестов, решения принимаются на глаз.

РешениеСистема оценки качества, работа без разметки и инструменты улучшения через анализ ошибок — на реальных прод-кейсах.

2. Программа

Пять сессий — пять симуляций реальных кейсов

Сессия 1

Интро и философия эвалов

Кейс — QnA-поиск по справке: весь путь от продуктовой постановки до первого работающего эвала, когда живых данных ещё нет.

Сессия 2

Error analysis

Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy.

Сессия 3

Мультимодальность

Тот же инструментарий на генерации изображений: рубрики безопасности и VLM-as-a-judge для визуального результата.

Сессия 4

Оценка чат-продуктов end-to-end

Кейс text2sql-ассистента: multi-turn-оценка, симуляция пользователя через LLM и метрики сверх pass rate.

Сессия 5

Итоги и рецепты для продакшна

Как внедрить эвалы в команду: технические рецепты плюс продуктовая и организационная сторона.

Автор курса

Андрей Киселёв — Head of Product, который строил, ломал и чинил AI-продукты

Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день. Работал в Revolut и Yandex, где отвечал за внедрение AI-фич. Каждая сессия — симуляция реального прод-кейса из опыта.

3. Вводное занятие — бесплатно

Что внутри вводного занятия

знакомство с курсом: как устроены занятия, практика и домашние задания;
разбор того, зачем нужны evals и почему «кажется, стало лучше» — плохой способ оценивать AI-систему;
несколько реальных кейсов: как искать ошибки в ответах модели и превращать их в понятные критерии качества.

Получить доступ к вводному

4. Запись на курс

Полный цикл оценки AI-систем — это больше, чем курс.

5 live-сессий с разбором в прямом эфире
5 реальных кейсов: от QnA до мультимодальности
4 проекта в портфолио
Ревью твоих решений в чате между сессиями
Доступ к записям и материалам навсегда

13 333 ₽ × 6 мес 79 999 ₽ при полной оплате

Записаться на курс →

Старт 18 июня 2026 · 5 недель

КОНТАКТЫ

Режим и график работы организации: понедельник - пятница: с 8.00 до 20.00

Электронная почта: shvm.xyz@yandex.ru

Реквизиты:
Общество с ограниченной ответственностью «ШКОЛА ВЫСШЕЙ МАТЕМАТИКИ»
ИНН: 9728100991
КПП: 772801001
ОГРН: 1237700481622

Юридический адрес:
117342, Г.Москва, ВН.ТЕР.Г. МУНИЦИПАЛЬНЫЙ ОКРУГ КОНЬКОВО, УЛ БУТЛЕРОВА, Д. 17, ПОМЕЩ. 95/3

Сведения об образовательной организации

Публичная оферта

Лицензия на осуществление образовательной деятельности