В этом курсе слушатели подробно разберутся в устройстве больших языковых моделей (Large Language Models, LLM), а именно, начнут с пререквизитов к теме, а затем углубятся в особенности архитектур. В результате курса слушатели не только овладеют всей необходимой для понимания ChatGPT и других LLM теорией, но и получат большое количества практики.
В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).
В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).
Построй свой ChatGPT
с нуля
с нуля
старт: октябрь 2024
Большие языковые модели
Большие языковые модели
В этом курсе слушатели подробно разберутся в устройстве больших языковых моделей (Large Language Models, LLM), а именно, начнут с пререквизитов к теме, а затем углубятся в особенности архитектур. В результате курса слушатели не только овладеют всей необходимой для понимания ChatGPT и других LLM теорией, но и получат большое количества практики.
В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).
В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).
Полноценная система обучения, это больше чем курс
Самое главное для нас − ваши успехи. Мотивируем к учебе и следим за вашими результатами.
Можно совмещать с работой
Мы оптимизировали курс таким образом, чтобы вы могли совмещать его с работой или учебой. Нагрузка на курсе, потребует от студента уделять 15−20 часов в неделю.
Принципы обучения
Мы построим свой ChatGPT
Это главное. В процессе обучения Вы на практике познакомитесь с созданием языковой модели, что поможет фундаментально понять принципы работы современных AI-технологий.
С нуля
Будем двигаться от базовых концепций к более продвинутым техникам, закрепляя всё на практике.
Команда преподавателей
Наша команда преподавателей — это уникальное сочетание экспертов мирового уровня из ведущих университетов и топовых компаний.
- Елена КантонистоваРуководитель программыКандидат физико-математических наук, академический руководитель магистратуры "Искусственный интеллект" ФКН НИУ ВШЭ, доцент департамента больших данных и информационного поиска ФКН НИУ ВШЭ, выпускница ШАД Яндекс (средний балл 5/5).
Google Scholar
- Анатолий БардуковSenior ML engineer в Wildberries
ex-Yandex, ex-Revolut. Опыт в разработке и работе с данными 8 лет, из них 4 связаны с ML. Опыт преподавания 5 лет - ВШЭ, МФТИ, Яндекс Практикум, Skillbox, YSDA (ШАД).
- Мурат ХажгериевML consultant, The Paige
MSc Прикладная математика и информатика.
Приглашенный преподаватель на программе Искусственный интелект ФКН НИУ ВШЭ.
- Марк БлуменауСотрудник научно-исследовательских институтов ФИАН, ИЗМИРАН, ИФТТ
Преподаватель ФКН и ФФ НИУ ВШЭ, автор курса ФФ ВШЭ «От автоматизации эксперимента к решению уравнений (Python и Wolfram Mathematica)».
- Илья НикитинСотрудник научно-исследовательских институтов ИТФ им.Ландау и ИЗМИРАН
Преподаватель ФКН и ФФ НИУ ВШЭ, автор курса ФФ ВШЭ «От автоматизации эксперимента к решению уравнений (Python и Wolfram Mathematica)».
Программа
Введение в Deep Learning
multi-layer perceptron, matmul, gelu
Micrograd
machine learning, backpropagation
До трансформеров...
Probabilistic models and RNN
Attention is all you need
attention, softmax, positional encoder
Трансформеры
transformer, residual, layernorm, GPT-2
Токенизация
minBPE, byte pair encoding
Оптимизация
initialization, optimization, AdamW
Ускорение AI. Часть 1
device, CPU, GPU, ...
Ускорение AI. Часть 2
mixed precision training, fp16, bf16, fp8, ...
Ускорение AI. Часть 2.5
quantization, distillation. pruning
Ускорение AI. Часть 3
distributed optimization, DDP, ZeRO
Датасеты
datasets, data loading, synthetic data generation
Инференс. Часть 1
kv-cache
Файнтюнинг. Часть 1 SFT
supervised finetuning SFT, PEFT, LoRA, chat
Файнтюнинг. Часть 2 RL
reinforcement learning, RLHF, PPO, DPO
Мультимодальность
VQVAE, diffusion transformer
Деплой 0
API, web app
Деплой 1
ssh/linux, AWS
Деплой 2
provision/containers, docker, k8s
Деплой 3
model runtime optimization: triton, torchscript,...
Пример решения задач
старт: октябрь 2024
Я хочу построить ChatGPT
ранний доступ закроется через
Дней
Часов
Минут
Секунд
Ранний доступ на курс
Ранний доступ предоставит вам уникальную возможность записаться на курс со скидкой.
Нажимая на кнопку отправить, вы принимаете условия обработки персональных данных.
Этот курс может оплатить ваш работодатель
Если знания курса пригодятся вам на текущем месте работы, поговорите с руководителем о частичной или полной оплате учёбы. Оставьте заявку на отдельной странице для бизнеса или напишите нам на почту b2b@shadhelper.com. Менеджер свяжется с вами и сориентирует по дальнейшим действиям.
еще у нас есть чат бот
shvm ai
Бот не просто выдаёт готовые ответы, но и обучает студентов умению анализировать и решать математические задачи самостоятельно. Он обладает удивительной способностью превращать сложные идеи в простые объяснения, делая изучение математики доступным и простым для каждого.
