НАБОР ОТКРЫТ Поток 02 — старт 18 июня 2026

Эвалы — то, как ваш AI становится лучше.

Курс о том, как измерять и улучшать качество AI-агентов до продакшена — из окопов, а не из whitepaper'ов. Метрики, датасеты, LLM-as-a-judge, error analysis и multi-turn evals на реальных кейсах.

Старт 18.06.2026 Длительность 5 недель Формат 5 live-сессий
// 00. Премиса

Большинство команд относятся к эвалам как к зубной нити — знают, что надо, иногда делают, но не понимают, работает ли. А потом в проде случается регрессия, пользователь ловит галлюцинацию, и команда сидит над ноутбуком, пытаясь вспомнить, что вообще считалось «хорошо» в прошлом месяце.

Этот курс — набор конкретных кейсов из реальных систем: RAG-пайплайны, агентные циклы, мультимодальная генерация, оценка чат-продуктов end-to-end — и практики оценки, которые выдержали нагрузку. Не фреймворки. Не бенчмарки. Истории с цифрами, ошибками и версией, которая в итоге поехала в прод.

// 01. Программа

Пять сессий — от философии эвалов до рецептов для продакшна.

05 сессий · 5 недель
СЕССИЯ_01.LOG
Интро и философия эвалов на простом кейсе
Заземляем разговор об эвалах в реальный продуктовый кейс, а не в абстрактные метрики в вакууме. Симулируем ситуацию ранней стадии, когда систему уже надо оценивать, а размеченных данных ещё нет.
неделя 1 →
СЕССИЯ_02.LOG
Error analysis, и почему eval-driven development — это фантазия
Глубокий разбор трейсов и логов. Строим taxonomy ошибок, приоритизируем failure cases и превращаем их в понятные гипотезы улучшения продукта — системно, а не «на глаз».
неделя 2 →
СЕССИЯ_03.LOG
Мультимодальность: тот же инструментарий на генерации изображений
Переносим подходы к оценке на генерацию изображений и показываем, что инструментарий эвалов не привязан к тексту — он работает на любой модальности.
неделя 3 →
СЕССИЯ_04.LOG
Оценка чат-продуктов end-to-end
Multi-turn evals: оцениваем сложные многошаговые диалоги, агентов и RAG-пайплайны с маршрутизацией. Где проходят швы — и как не дать тест-сьюту самому превратиться в ML-модель.
неделя 4 →
СЕССИЯ_05.LOG
Подведение итогов и рецепты для продакшна
Собираем всё в работающий процесс: от сбора логов и набора метрик до LLM-as-a-judge и непрерывно обновляемого тест-бенча на проде. Что измерять, когда останавливать тюнинг и как продать процесс команде.
неделя 5 →
// 02. Автор
Об авторе

Курс ведёт человек, который это запускал, ломал и чинил заново.

Андрей Киселёв — AI Product Owner, ex-Revolut, ex-Яндекс. Несколько лет строит AI-продукты в проде: от первых RAG в небольших командах до систем с миллионами агентных вызовов в день. Кейсы на курсе — те самые, которые он пересказывает на ужинах и оффсайтах, только в длинном виде и с цифрами.

200K+ прочтений статей на Habr · 4.9 / 5 средняя оценка студентов · делаем образовательные продукты больше 6 лет.

// 03. Отзывы студентов

Что говорят после курсов по AI-агентам.

03 из отзывов

Мы сами пишем агентов, поэтому я шёл за нюансами. И нашёл их — мелкие production-детали по RAG, неочевидные ссылки на проекты, разбор методов обучения агентов. Видно, что преподаватели — практики.

Антон Шелин
курс «AI-агенты»

Самым ценным было то, что я смог напрямую спросить преподавателя про свою архитектуру и получить подтверждение, что подход правильный. Это сэкономило мне недели экспериментов.

Александр Ярцев
курс «AI-агенты»

До курса агенты были тёмным лесом. За курс разобрался, как всё устроено под капотом, и на праздниках собрал свой первый RAG по внутренней документации проекта.

Павел Разуваев
курс «AI-агенты»
// 04. Запись на курс

Полный цикл оценки AI-систем — это больше, чем курс.

  • 5 live-сессий с разбором в прямом эфире
  • 5 реальных кейсов: от QnA до мультимодальности
  • 4 проекта в портфолио
  • Ревью твоих решений в чате между сессиями
  • Доступ к записям и материалам навсегда
79 999 ₽
13 333 ₽ × 6 мес в Сплит
Вернём деньги, если курс не подойдёт
Старт 18 июня 2026 · 5 недель