0Корзина Закладки0
OTUS - Игорь Стурейко, Андрей Канашов → Reinforcement Learning
Облако Mail
179,00 ₽

Пришлите ссылку — проверим предложение и ответим на почту.

Артикул: 14084
Подробности о материале
Артикул: 14084 В наличии Автор курса: OTUS Категория: Инвестиции, Трейдинг, Криптовалюта / Программирование / Алгоритмическая торговля / Data Science и аналитика Дата выхода: 2023 Продажник от автора: Перейти
Для кого этот курс?
  • Для ML-инженеров, которые хотят научиться внедрять RL в продакшн: оптимизация систем, алгоритмический трейдинг, управление ресурсами. А также стремятся к эффективному развертыванию и масштабированию RL-моделей
  • Для специалистов по Data Science, которые используют RL для задач, где классический ML неэффективен — адаптивные системы, динамические среды. А также интересуются комбинацией RL с NLP, рекомендательными системами
  • Для Fullstack-разработчиков, которые хотят освоить RL для создания интеллектуальных приложений — от игровых AI до автоматизации процессов или перейти в ML-направление
  • Для системных аналитиков, которые изучают RL, чтобы проектировать AI-решения для бизнеса: автоматизация процессов, логистика, финансы. А также хотят понимать возможности и ограничения RL для принятия решений
  • Для Deep Learning инженеров, которые работают с Deep RL в сложных доменах — робототехника, игровые AI, компьютерное зрение, и нацелены на research и передовые гибридные архитектуры
Необходимые знания:
  • базовое знакомство с Python
  • базовые знания линейной алгебры (матрицы, векторы, градиентный спуск)
  • базовые навыки работы с ML (pandas, sklearn, линейная регрессия, логистическая регрессия)
Что такое Reinforcement Learning?
Reinforcement Learning — это одна из трех основных парадигм машинного обучения, в котором агент учится взаимодействовать с окружающей средой методом проб и ошибок.
Reinforcement Learning можно использовать в разных областях:
  • В играх, чтобы создавать ботов, которые могут победить даже лучших игроков.
  • В робототехнике, чтобы роботы могли учиться и улучшать свои навыки без постоянного программирования.
  • В финансах, чтобы создавать алгоритмы, которые могут сами покупать и продавать активы и приносить прибыль.
  • В электронной коммерции, чтобы создавать системы, которые предлагают товары, которые нравятся покупателям.
  • В промышленности, чтобы оптимизировать работу заводов и снизить расход энергии.
Вы научитесь:
  • Понимать, как работает обучение с подкреплением, и применять классические алгоритмы типа Q-learning, SARSA и Monte Carlo.
  • Создавать модели окружения и обучать агентов RL для решения задач в ваших условиях.
  • Использовать нейронные сети в RL и применять алгоритмы Deep RL, от самых простых, таких как DeepQ-Network (DQN) до самых сложных, таких как Proximal policy optimization (PPO).
  • Использовать продвинутые методы RL, такие как оптимальное управление, обучение со скользящим горизонтом и Model-based RL, для сложных задач.
  • Решать конкретные задачи с помощью RL и понимать, как это работает на практике.
Вы сможете:
  • Создавать ботов и NPC для игр, которые будут обучаться и подстраиваться под игрока, делая игру интереснее и неожиданнее.
  • Делать роботов, которые смогут сами ориентироваться в пространстве, двигать предметы и выполнять задачи в разных условиях.
  • Создавать алгоритмы, которые будут автоматически торговать на финансовых рынках, анализируя данные и принимая решения о покупке и продаже, чтобы заработать побольше и не рисковать.
  • Делать персонализированные рекомендации, которые будут учитывать вкусы пользователей и предлагать им подходящие товары, услуги или контент.
  • Решать разные задачи по оптимизации и управлению в разных сферах: от производства до энергопотребления. RL поможет автоматизировать процессы и сделать их эффективнее.
Программа

Введение в Reinforcement Learning
Модуль начинается с общего введения, охватывает ключевые особенности обучения с подкреплением, основные алгоритмы. Вы рассмотрите, как построить модель окружения и агента, и примените свои знания на простых сценариях.
Тема 1: Знакомство с Reinforcement Learning
Тема 2: Ключевые понятия RL: агент, среда, награда, политика. Построение среды
Тема 3: Основные алгоритмы RL: Value based
Тема 4: Основные алгоритмы RL: Policy based

Deep Reinforcement Learning
В этом модуле вы рассмотрите введение в глубокое обучение с подкреплением, которое объясняет значимость глубоких Q-сетей, представляет алгоритмы на основе политик. Затем объединяет методы на основе политик и значений с использованием алгоритма Actor-Critic. И, наконец, охватывает то, как нейронные сети могут использоваться для аппроксимации функций вознаграждения и политик.
Тема 1: Введение в Deep Reinforcement Learning
Тема 2: Deep Q-Network (DQN) алгоритм
Тема 3: Deep Policy Gradient (PG) алгоритм
Тема 4: Actor-Critic алгоритм
Тема 5: TRPO -> PPO
Тема 6: DDPG -> TD3 -> LSTM-TD3

Advanced Reinforcement Learning
Модуль содержит более сложные темы и глубже раскрывает пройденный материал. Здесь рассматривается применение алгоритмов к более сложным ситуациям, например наличие фиксированных правил (model-based) или взаимодействие нескольких агентов между собой для достижения общей темы.
Тема 1: Обучение с использованием модели среды (model-based rl)
Тема 2: Model-based, часть 2
Тема 3: Иерархическое обучение с подкреплением
Тема 4: Выбор темы и организация проектной работы
Тема 5: Многоагентное обучение и кооперация агентов
Тема 6: Трансформеры в RL: decision transformers и action transformers

Применение RL в реальных задачах
Модуль посвящен обзору практических примеров применения RL. Вы познакомитесь с игровой индустрией и рассмотрите какие задачи здесь можно решать с помощью RL. Поговорите о робототехнике, поймете какое применение RL находит в рекомендательных системах и более подробно рассмотрите финансовые модели на примере задачи балансировки портфеля активов и задачи кредитного скоринга.
Тема 1: Применение RL в игровой индустрии
Тема 2: Применение RL в робототехнике
Тема 3: RL в рекомендательных системах
Тема 4: RL в задаче скоринга
Тема 5: Применение RL в управлении финансовым портфелем

Проектная работа
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, над чем интересно поработать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Консультация по проектам и домашним заданиям
Тема 2: Предзащита
Тема 3: Защита проектных работ. Подведение итогов курса

Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Игорь Стурейко. (к.ф.-м.н.) Teamlead, главный инженер. FinTech
Андрей Канашов. Senior Data Scientist. Самолет
Сергей Доронин. Ведущий инженер-программист. ЗАО Астраханские Цифровые Технологии
Анастасия Капралова. CEO и соотнователь IT компании
Анатолий Чудаков. Team Lead. Онлайн-кинотеатр Wink

ИСТОЧНИК

СКАЧАТЬ

Перед покупкой на Sklads

Проверьте выбранную версию «OTUS - Игорь Стурейко, Андрей Канашов → Reinforcement Learning» и состав материала. Автор: OTUS. Описание и скриншоты помогут понять, подходит ли курс для вашей задачи.

Вопросы о содержимом можно уточнить у поддержки. Покупки и доступные заявки на обновление находятся в личном кабинете.

Сравнение вариантов материала «OTUS - Игорь Стурейко, Андрей Канашов → Reinforcement Learning»

В каталоге SKLADS.NET этот материал находится в рубрике «Инвестиции, Трейдинг, Криптовалюта / Программирование / Алгоритмическая торговля / Data Science и аналитика / OTUS». При выборе ориентируйтесь на состав программы и конкретный тариф, а не только на название. В карточке указан автор: OTUS. Период или дата выпуска: 2023.

Сведения о другой версии здесь не заданы. Для сравнения с похожим предложением проверьте программу, тариф и условия доступа.

В характеристиках выбран доступ через Облако Mail. Уточните формат нужных файлов, если для вас важен определённый способ просмотра.

Стоимость выбранной версии на Sklads смотрите в блоке покупки.

Есть вопрос о курсе?

Поможем разобраться с версией и составом материала

Написать в поддержку
Помощь и отзывы

💬 Помощь перед покупкой

Хотите проверить материал?
Отправим дополнительные скриншоты, пример видео или запись содержимого курса.

💰 Нашли дешевле?
Пришлите ссылку на предложение — постараемся сделать цену ещё выгоднее.

⭐ Отзывы покупателей
Читать отзывы на сайте
Читать отзывы в Telegram

💬 Связаться с поддержкой
Написать в Telegram
admin@sklads.net

ПОКУПКА И ДОСТУП

Вопросы и ответы

Как выбрать материал и получить доступ после оплаты

Как купить курс на Sklads?

Добавьте материал в корзину или нажмите «Купить». Укажите действующий e-mail и выберите доступный способ оплаты. После подтверждения платежа на эту почту придёт информация о заказе и доступе.

В одном заказе можно купить несколько материалов.

Что входит в курс и есть ли обратная связь?

Состав, версия и формат доступа указаны в карточке. Обычно это запись курса и сопутствующие файлы для самостоятельного обучения. Обратная связь автора не входит, если в описании не указано иное.

Если хотите уточнить содержимое до покупки, напишите в поддержку.

Где смотреть материалы и можно ли их скачать?

В этой карточке указан формат доступа: Облако Mail.

Ссылка или инструкция придёт после оплаты. Возможность просмотра онлайн и скачивания зависит от хранилища и формата файлов. Рекомендуем сохранить доступные материалы себе.

Оплата прошла, а письмо не пришло. Что делать?

Проверьте папки «Спам» и «Промоакции», а также адрес, указанный при покупке. Для авторизованного аккаунта проверьте раздел «Мои заказы».

Если доступа нет, отправьте в поддержку номер заказа, e-mail и подтверждение платежа — поможем найти покупку.

Как использовать бонусы?

Бонусы доступны в аккаунте. Размер начисления за этот курс указан рядом с покупкой. При оформлении заказа можно применить доступный бонусный баланс: 1 бонус соответствует 1 рублю.

Итоговую сумму и списание проверьте в корзине перед оплатой.

Как получить цену ниже?

Нажмите «Нашли дешевле?» рядом с ценой курса, пришлите ссылку, цену и e-mail. Мы сравним предложения и сообщим решение на почту. Если заявку одобрят, в письме будет персональная цена и срок её действия.

При покупке по персональной цене используйте почту из заявки.

Что делать, если ссылка на материал перестала работать?

Откройте покупку в разделе «Мои заказы». Если для неё доступен запрос обновления, отправьте его. Либо свяжитесь с поддержкой, указав номер заказа и название курса.

Где посмотреть условия возврата?

Условия описаны на странице «Условия возврата». Если возникла проблема с оплаченной покупкой, напишите в поддержку с номером заказа и описанием ситуации.

Главная » Инвестиции, Трейдинг, Криптовалюта » OTUS - Игорь Стурейко, Андрей Канашов → Reinforcement Learning