SLM Engineering — практический курс по созданию
малых языковых моделей (Small Language Models, SLM) корпоративного уровня. За четыре недели вы пройдете полный цикл разработки: от подготовки данных и обучения токенизатора до предварительного обучения (Pretraining), Fine-Tuning, RLHF, реализации RAG, оптимизации инференса и развертывания модели в локальной инфраструктуре предприятия. Курс ориентирован на разработчиков и ML-инженеров, желающих самостоятельно создавать, обучать и внедрять современные AI-системы без зависимости от облачных сервисов.
Для кого предназначен курс
- Разработчиков, переходящих в сферу LLM Engineering, NLP и Enterprise AI.
- Инженеров, создающих чат-ботов, интеллектуальный поиск и системы анализа документов.
- Специалистов, которые хотят научиться самостоятельно обучать языковые модели, а не только использовать готовые API.
- Исследователей, которым необходимы практические навыки промышленной разработки AI.
Чему вы научитесь
Архитектура Transformer
Подробно изучите внутреннее устройство современных языковых моделей: механизм внимания (Attention), Feed Forward-блоки, RMSNorm, Rotary Positional Encoding, эмбеддинги и взаимодействие всех компонентов архитектуры Transformer.
Подготовка данных и обучение токенизатора
Научитесь собирать, очищать и дедуплицировать датасеты, формировать корпуса данных, обучать собственные токенизаторы на основе BPE и SentencePiece, а также готовить данные для предварительного обучения и последующей настройки моделей.
Предварительное обучение (Pretraining)
Построите полноценный цикл обучения языковой модели с нуля, познакомитесь с законами масштабирования (Scaling Laws), научитесь анализировать функции потерь и оценивать эффективность процесса обучения.
Fine-Tuning с LoRA и QLoRA
Освоите современные методы параметроэффективной настройки моделей, включая LoRA, QLoRA, Supervised Fine-Tuning и 4-битную квантизацию. Узнаете, в каких случаях лучше использовать дообучение модели, а когда предпочтительнее применять RAG или инженерный подход к проектированию промптов.
Выравнивание моделей и безопасность
Изучите методы Reward Modeling, DPO и RLHF, научитесь реализовывать защиту от Prompt Injection, механизмы безопасных отказов, модерацию ответов и другие элементы безопасной эксплуатации языковых моделей.
RAG и оценка качества моделей
Создадите полноценную систему Retrieval-Augmented Generation с гибридным поиском, ранжированием результатов, ссылками на источники и использованием подходов LLM-as-a-Judge и Golden Sets для оценки качества моделей.
Инференс и оптимизация производительности
Разберетесь с особенностями работы этапов Prefill и Decode, использованием KV Cache, квантизацией моделей, Continuous Batching, Paged Attention и развертыванием высокопроизводительных серверов инференса на базе vLLM и llama.cpp.
Развертывание в продакшене
Научитесь создавать API для языковых моделей, организовывать потоковую обработку запросов, внедрять мониторинг, отслеживание деградации качества моделей, Canary-развертывания и автоматический цикл повторного обучения.
Полный цикл разработки SLM
Во время обучения вы реализуете полный производственный конвейер создания корпоративной языковой модели:
- сбор и подготовка данных;
- обучение токенизатора;
- создание эмбеддингов;
- обучение Transformer-модели;
- предварительное обучение;
- Fine-Tuning и RLHF;
- реализация RAG;
- оптимизация инференса;
- развертывание модели в корпоративной инфраструктуре.
Практический итоговый проект
Финальной работой станет разработка корпоративного помощника для анализа юридических договоров. Вы создадите собственную малую языковую модель, которая сможет автоматически извлекать и классифицировать положения договоров, обнаруживать персональные данные и конфиденциальную информацию, выполнять поиск по документам с точными ссылками на соответствующие разделы и работать полностью локально без передачи данных в облачные сервисы.
Результаты обучения
После завершения курса вы сможете самостоятельно проектировать, обучать, оптимизировать и внедрять Small Language Models (SLM) корпоративного уровня. Вы получите практический опыт работы с Transformer, LoRA, QLoRA, RLHF, RAG, vLLM, llama.cpp, промышленными AI-конвейерами и современными инструментами разработки LLM, а также пополните портфолио полноценным проектом, готовым к использованию в реальных корпоративных сценариях.
Язык Английский
ИСТОЧНИК
СКАЧАТЬ
