Мы сами пишем агентов, поэтому я шёл за нюансами. И нашёл их — мелкие production-детали по RAG, неочевидные ссылки на проекты, разбор методов обучения агентов. Видно, что преподаватели — практики.
Курс о том, как измерять и улучшать качество AI-агентов до продакшена — из окопов, а не из whitepaper'ов. Метрики, датасеты, LLM-as-a-judge, error analysis и multi-turn evals на реальных кейсах.
Большинство команд относятся к эвалам как к зубной нити — знают, что надо, иногда делают, но не понимают, работает ли. А потом в проде случается регрессия, пользователь ловит галлюцинацию, и команда сидит над ноутбуком, пытаясь вспомнить, что вообще считалось «хорошо» в прошлом месяце.
Этот курс — набор конкретных кейсов из реальных систем: RAG-пайплайны, агентные циклы, мультимодальная генерация, оценка чат-продуктов end-to-end — и практики оценки, которые выдержали нагрузку. Не фреймворки. Не бенчмарки. Истории с цифрами, ошибками и версией, которая в итоге поехала в прод.
Андрей Киселёв — AI Product Owner, ex-Revolut, ex-Яндекс. Несколько лет строит AI-продукты в проде: от первых RAG в небольших командах до систем с миллионами агентных вызовов в день. Кейсы на курсе — те самые, которые он пересказывает на ужинах и оффсайтах, только в длинном виде и с цифрами.
200K+ прочтений статей на Habr · 4.9 / 5 средняя оценка студентов · делаем образовательные продукты больше 6 лет.
Мы сами пишем агентов, поэтому я шёл за нюансами. И нашёл их — мелкие production-детали по RAG, неочевидные ссылки на проекты, разбор методов обучения агентов. Видно, что преподаватели — практики.
Самым ценным было то, что я смог напрямую спросить преподавателя про свою архитектуру и получить подтверждение, что подход правильный. Это сэкономило мне недели экспериментов.
До курса агенты были тёмным лесом. За курс разобрался, как всё устроено под капотом, и на праздниках собрал свой первый RAG по внутренней документации проекта.