Оценка AI-агентов — курс по evals
СТАРТ 18 ИЮНЯ — набор открыт
00дней
00часов
00минут
00секунд

Хватит оценивать AI на глаз. За 5 недель соберите eval-процесс на реальных прод-кейсах ex-Revolut

1. Барьеры при масштабировании AI-продуктов

AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки.

2. Автор

Андрей Киселёв — Head of Product, который строил, ломал и чинил AI продукты.

Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день. Работал в Revolut и Yandex, где отвечал за внедрение AI-фич.

Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками.

3. Результаты после курса

Курс не только про эвалы, но и про навыки разработки AI в продакшне.

сейчас

Данных нет, а оценивать систему нужно уже сейчас

после курса

Строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять

сейчас

Pass rate «вроде нормальный», но непонятно, что именно чинить

после курса

Читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым

сейчас

Каждый новый формат — снова с нуля думаешь, как его оценивать

после курса

Один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь

сейчас

Стейкхолдеры не доверяют метрикам, продакты не понимают эвалы

после курса

Встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений

4. Программа

Пять сессий — пять симуляций реальных кейсов из Revolut

05 сессий · 7.5 ч разговора
СЕССИЯ 01
Интро и философия эвалов на простом кейсе
Кейс — QnA-поиск по справке Revolut. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет.
СЕССИЯ 02
Error analysis и почему eval-driven development — фантазия
Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy.
СЕССИЯ 03
Мультимодальность: тот же инструментарий на генерации изображений
Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата.
СЕССИЯ 04
Оценка чат-продуктов end-to-end
Кейс — Revolut AIR: text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate.
СЕССИЯ 05
Подведение итогов и рецепты для продакшна
Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны.
5. Для кого

AI / ML и Backend-инженерам

Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде.

Product-менеджерам AI-продуктов

Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ.

Tech Lead'ам и руководителям

Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений.

6. Отзывы

Что говорят выпускники наших курсов

7. Нам доверяют

Команды, которые уже проходили обучение у нас

8. Запись на курс

Полный цикл оценки AI-систем — это больше, чем курс.

  • 5 live-сессий с разбором в прямом эфире
  • 5 реальных кейсов: от QnA до мультимодальности
  • 4 проекта в портфолио
  • Ревью твоих решений в чате между сессиями
  • Доступ к записям и материалам навсегда
13 333 ₽ × 6 мес 79 999 ₽ при полной оплате
Записаться на курс →
Старт 18 июня 2026 · 5 недель

Учитесь выгодно

Не подойдёт — вернём оплату
Если за две недели курс вам не подойдёт, вернём полную стоимость. Позже — за вычетом пройденных уроков
Налоговый вычет
Можно вернуть до 13% от стоимости обучения
Повышайте квалификацию за счёт компании
Развивайте профессиональные навыки за счёт работодателя — инвестируйте в свой карьерный рост без лишних затрат
Оставить заявку →
9. FAQ

Частые вопросы

Нужно ли уметь программировать для прохождения курса?

Да, базовое знание Python и понимание принципов работы с API LLM (например, OpenAI) необходимы для выполнения практических заданий и интеграции фреймворков.

Сколько времени занимает курс?

Около 4–6 часов в неделю на протяжении 5 недель — это совместимо с full-time работой. Занятия живые, но все записи остаются у вас.

Подходит ли курс, если мы используем open-source модели (LLaMA, Mistral) или другие API (Anthropic)?

Да. Все принципы применимы к open-source-моделям (LLaMA, Mistral) и к другим API, включая Anthropic.

Будут ли записи занятий?

Да, все живые занятия записываются — можно смотреть асинхронно в удобном часовом поясе. Доступ к записям и материалам остаётся бессрочно.

Можно ли получить налоговый вычет или оплату от компании?

Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Компания может частично или полностью оплатить участие сотрудника — пишите на почту, поможем с документами.

А если курс мне не подойдёт?

Действует гарантия возврата средств. Если после старта поймёте, что курс не для вас — вернём деньги.

КОНТАКТЫ
Режим и график работы организации: понедельник - пятница: с 8.00 до 20.00

Электронная почта: shvm.xyz@yandex.ru


Реквизиты:
Общество с ограниченной ответственностью «ШКОЛА ВЫСШЕЙ МАТЕМАТИКИ»
ИНН: 9728100991
КПП: 772801001
ОГРН: 1237700481622

Юридический адрес:
117342, Г.Москва, ВН.ТЕР.Г. МУНИЦИПАЛЬНЫЙ ОКРУГ КОНЬКОВО, УЛ БУТЛЕРОВА, Д. 17, ПОМЕЩ. 95/3