Stepik / Вячеслав Колосков - Разработка LLM с нуля
Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры.
Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста.
Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.
Чему вы научитесь:
- Научитесь читать схемы архитектур основанных на Трансформерах.
- Изучите принципы проектирования современных LLM.
- Понимать алгоритм токенизации текста.
- Реализовывать ключевые компоненты GPT.
- Управлять креативностью модели.
- Собирать и подготавливать данные для обучения.
- Настраивать Pre-train цикл обучения LLM.
Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).
Начальные требования:
Базовые знания Python, минимальный ООП (классы, функции).
Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.
Преподаватель: Вячеслав Колосков:
Machine Learning Engineer (в телекоме)
В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.).
В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.
Программа курса:
Введение
- Инструкция
- Что такое LLM?
- Архитектура LLM
- Byte-Pair Encoding
- Эмбединги
- «Внимание»
- Feed-Forward Network
- Decoder
- Собираем GPT
- Сэмплирование
- Датасет
- Train/Eval
- Применение
- GPT-2
- LLama
- Mistral
- Mixtral
- Gemma
Скачать:
Перед покупкой на Sklads
Проверьте выбранную версию «Stepik / Вячеслав Колосков - Разработка LLM с нуля» и состав материала. Автор: Вячеслав Колосков. Описание и скриншоты помогут понять, подходит ли курс для вашей задачи.
Вопросы о содержимом можно уточнить у поддержки. Покупки и доступные заявки на обновление находятся в личном кабинете.
Сравнение вариантов материала «Stepik / Вячеслав Колосков - Разработка LLM с нуля»
В каталоге SKLADS.NET этот материал находится в рубрике «Бизнес, менеджмент, продажи / Программирование / Нейросети / ChatGPT и Midjourney / Data Science и аналитика». При выборе ориентируйтесь на состав программы и конкретный тариф, а не только на название. В карточке указан автор: Вячеслав Колосков. Период или дата выпуска: 2025.
Сведения о другой версии здесь не заданы. Для сравнения с похожим предложением проверьте программу, тариф и условия доступа.
В характеристиках выбран доступ через Облако Mail. Уточните формат нужных файлов, если для вас важен определённый способ просмотра.
Стоимость выбранной версии на Sklads смотрите в блоке покупки.
Есть вопрос о курсе?
Поможем разобраться с версией и составом материала
Написать в поддержкуПомощь и отзывы
💬 Помощь перед покупкой
Хотите проверить материал?
Отправим дополнительные скриншоты, пример видео или запись содержимого курса.
💰 Нашли дешевле?
Пришлите ссылку на предложение — постараемся сделать цену ещё выгоднее.
⭐ Отзывы покупателей
Читать отзывы на сайте
Читать отзывы в Telegram
💬 Связаться с поддержкой
Написать в Telegram
admin@sklads.net