Курс "Глубинное обучение (ГО) 1 / Введение в ГО" на ФКН ВШЭ

Версии курса прошлых лет

• 2021-2022

Полезные ссылки

• Вики-страничка
• Таблица с оценками
• Плейлист с записями занятий

Лекции

1. Автоматическое дифференцирование, полносвязные нейронные сети: запись
2. Оптимизация нейронных сетей, SGD, Adam/AdamW. Dropout и Batch-нормализация: запись
3. Разбор дифференцирования из МДЗ 1, операция свертки: запись
4. Архитектуры сверточных нейронных сетей: запись
5. Задачи компьютерного зрения, сегментация и детекция: запись
6. Токенизация текстов, эмбеддинги слов, TextCNN: запись
7. Рекуррентные нейронные сети, языковые модели: запись
8. Архитектура трансформера: запись
9. Self-supervised learning, BERT, SimCLR: запись
10. Трансформеры для компьютерного зрения: запись
11. Оценка неопределенности, дистилляция, прунинг, квантизация: запись
12. Соревновательные атаки, генеративно-состязательные сети (GAN): запись
13. Автокодировщик, вариационный автокодировщик: запись
14. Loss landscape, mode connectivity: запись

Семинары

1. Введение в библиотеку PyTorch. Автоматическое дифференцирование: запись (группа 202)
2. Полносвязные нейронные сети. Общая схема пайплайна обучения на PyTorch: запись (группа 202)
3. Свертки в PyTorch, реализация архитектуры LeNet: запись (группа 202)
4. Обучение моделей из torchvision, аугментации и fine-tuning: запись (группа 202)
5. Семантическая сегментация и детекция: запись (группа 202)
6. Word2Vec, Fasttext и TextCNN: запись (группа 202)
7. Генерация последовательностей, image captioning: запись (группа 202)
8. Архитектура трансформера: запись (группа 202)
9. Дообучение модели BERT: запись (группа 202)
10. Семинар не проводился
11. Дистилляция, прунинг, квантизация: запись (группа 202)
12. Соревновательные атаки, генеративно-состязательные сети (GAN): запись (группа 202)
13. Автокодировщик, вариационный автокодировщик: запись (группа 202)
14. Семинар не проводился

Маленькие домашние задания

1. Автоматическое дифференцирование и полносвязные нейронные сети: ссылка
2. Сверточный классификатор: ссылка
3. RNN и языковые модели: ссылка

Теоретические домашние задания

Теоретические ДЗ не сдаются и предлагаются студентам для самостоятельного решения и ознакомления

1. Полносвязные нейронные сети: ссылка
2. Сверточные нейронные сети: ссылка