Изучаем самые актуальные продвинутые методы работы с LLM и трансформерными моделями
Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.
LLM — один из самых востребованных вариантов применения генеративного ИИ, поэтому на курсе мы делаем фокус на самые актуальные технологии работы с большими языковыми моделями. Студенты на практике научатся работать с самыми передовыми моделями и фреймворками, которые сегодня являются state-of-the-art в области NLP.
Для кого этот курс
- Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.
- Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;
- Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;
- ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.
Необходимые знания
- Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;
- Методы классического ML, умение работать с классическими ML моделями;
- Основы Deep Learning, базовое представление о pytorch;
- Программирование на Python для машинного обучения.
Что даст вам этот курс
Вы научитесь
- Работать с LLM (большими языковыми моделями) на высоком уровне;
- Самым передовым методам работы с LLM и трансформерными моделями;
- Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;
- Дообучать языковые модели под свои задачи;
- Поднимать модели в телеграм-боте.
Программа
Базовые понятия трансформерных моделей
В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.
Тема 1: Задача языкового моделирования и понятие языковой модели
Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ
Тема 3: BERT и другие трансформерные энкодеры // ДЗ
Тема 4: GPT и другие декодерные модели для генерации текста
Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ
Тема 6: Методы за ChatGPT + Q&A сессия
Новая эра LLM: базовые методы
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб
Продвинутые методы работы с LLM
В этом модуле вы изучите углубленные подходы к работе с трансформерами.
Тема 1: Sentence-transformers // ДЗ
Тема 2: Эффективные трансформеры
Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ
Тема 4: LangChain
Тема 5: RAG - генерация на основе базы знаний
Доп. главы работы с LLM
В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.
Тема 1: Оценка LLM
Тема 2: Распределенное обучение
Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ
Тема 4: Q&A сессия и дискуссионный клуб
Трансформеры для других модальностей
В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.
Тема 1: Мультимодальные и Vision трансформеры
Тема 2: Практическое занятие по работе с мультимодальными моделями
Тема 3: Введение в AI агентов // ДЗ
Тема 4: Трансформеры для временных рядов
Тема 5: Трансформеры для табличных данных
Тема 6: Q&A сессия и дискуссионный клуб
Проектная работа
Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.
Преподаватели
- Андрей Носов. AI Architect, Raft. PhD Communication Science, Tampere University (Finland)
- Никита Овчинников. Lead of Research And Development Peech
- Алексей Клочков. Data Science Team Lead Kept
- Анна Козлова
- Раиль Сулейманов. Machine Learning Engineer Garage IT
- Мария Тихонова. Лидер Research кластера Сбер, ВШЭ
- Дмитрий Гайнуллин. Machine Learning Engineer AIC
ИСТОЧНИК
СКАЧАТЬ
