Stepik / Павел Хошев - Парсинг API на Python
Мы сделали курс максимально практическим. Теория здесь нужна не для галочки, а чтобы вы не тыкались в API вслепую. Квизы тоже будут, но без фанатизма: ровно столько, чтобы закрепить важные идеи и не дать теории улететь из головы сразу после прочтения.
Дальше в каждой теме вас ждёт несколько подводящих задач перед боевой практикой. Мы старались делать их не сухими "получите поле name из JSON", а разными по механике, сюжету и настроению. Где-то будет простая разминка, где-то мини-детектив, где-то задача в контексте популярных вселенных - чтобы обучение не превращалось в бесконечную таблицу с endpoint’ами.
А вишенка на торте - рейд-боссы курса: реальные практические задачи на парсинг stepstat.ru. Там уже всё по-взрослому: живые данные, настоящие ответы API, пагинация, фильтры, авторизация, обработка ошибок и ощущение, что ваш скрипт наконец-то делает что-то полезное, а не просто печатает "Hello, JSON".
В курсе есть:
- вводный модуль про API, REST и документацию;
- модуль по requests: установка, первый запрос, Response, коды ответов, заголовки, cookies;
- большой модуль по JSON: вложенные структуры, даты, деньги, ошибки .json(), нормализация, JSON/CSV, flatten;
- модуль про точную настройку запроса: query/path-параметры, пагинация, batch, rate limiting, сессии и адаптеры;
- модуль про авторизацию API: API Key, Bearer/JWT, Basic Auth, cookies, OAuth и хранение токенов;
- модуль про сжатие HTTP-ответов;
- модуль про прокси и ротацию(в разработке).
- уверенно читать документацию API и понимать, какие эндпоинты, параметры и форматы ответов вам нужны;
- отправлять GET и POST запросы через requests, передавать params, headers, cookies и таймауты;
- работать с объектом Response: проверять статус-коды, заголовки, тело ответа и Content-Type;
- разбирать JSON-ответы, ходить по вложенным структурам и не падать на null, пустых списках и неожиданных типах;
- приводить данные API к нормальному виду: даты, цены, рейтинги, списки, вложенные поля;
- сохранять результат в JSON и CSV так, чтобы его можно было использовать дальше;
- строить запросы с query- и path-параметрами, проходить пагинацию, делать batch-запросы и учитывать rate limiting;
- использовать Session, ретраи и HTTP-адаптеры для более устойчивого парсинга;
- работать с API Key, Bearer Token, JWT, Basic Auth и cookie-сессиями;
- понимать, как работает сжатие HTTP-ответов: gzip, deflate, br, zstd;
- подключать прокси к requests, проверять их и понимать базовые стратегии ротации.
Введение
- Введение
- Содержание
- Что такое API
- Как работает современный API
- Что такое RESTful API и чем он нам полезен
- Изучение документации /docs
- API на пальцах: что это и зачем
- Установка и импорт
- Сигнатура метода GET и POST
- Объект Response
- Коды ответов HTTP
- Точка входа в API
- Фильтруем выдачу
- Договариваемся с сервером
- Предъяви своё печенье
- Введение
- Синтаксис JSON и маппинг типов
- Навигация по структуре JSON
- Типы данных API: даты, цены, числа и null
- response.json() и ошибки
- Нормализация ответа
- Сохраняем результат в JSON
- Сохраняем результат в CSV
- Flatten: расплющиваем вложенные структуры
- Query-параметры
- Path-параметры
- Комбинированные запросы
- Пагинация в API
- Batch-запросы
- Rate limiting - ограничение на количество запросов
- Работа с сессиями
- HTTP Адаптеры
- Введение в авторизацию API
- Bearer, API key, Basic Auth
- API Key
- Bearer Token и JWT
- Basic Auth
- Cookie и сессии
- OAuth 2.0
- Сжатие HTTP-ответов.
- Введение: зачем сжатие и когда оно важно
- Зачем использовать сжатие?
- deflate базовый алгоритм
- gzip проверенная классика
- br современный выбор
- zstd новейший алгоритм
- Обратная сторона: CPU vs сеть
- Сравнение алгоритмов: когда что выбрать
- Введение 2.0
- Введение
- Proxies
- Используем прокси
- Серверные прокси
- Резидентские прокси
- Мобильные прокси
- Стратегии ротации прокси
- Куда дальше?
Перед покупкой на Sklads
Проверьте выбранную версию «Stepik / Павел Хошев - Парсинг API на Python» и состав материала. Автор: Павел Хошев. Описание и скриншоты помогут понять, подходит ли курс для вашей задачи.
Вопросы о содержимом можно уточнить у поддержки. Покупки и доступные заявки на обновление находятся в личном кабинете.
Сравнение вариантов материала «Stepik / Павел Хошев - Парсинг API на Python»
В каталоге SKLADS.NET этот материал находится в рубрике «Программирование». При выборе ориентируйтесь на состав программы и конкретный тариф, а не только на название. В карточке указан автор: Павел Хошев.
Вариант отмечен как материал без водяных знаков и относится к «Лучшему качеству». Эта характеристика не заменяет проверку названия тарифа и состава файлов.
Стоимость выбранной версии на Sklads смотрите в блоке покупки.
Есть вопрос о курсе?
Поможем разобраться с версией и составом материала
Написать в поддержкуПомощь и отзывы
💬 Помощь перед покупкой
Хотите проверить материал?
Отправим дополнительные скриншоты, пример видео или запись содержимого курса.
💰 Нашли дешевле?
Пришлите ссылку на предложение — постараемся сделать цену ещё выгоднее.
⭐ Отзывы покупателей
Читать отзывы на сайте
Читать отзывы в Telegram
💬 Связаться с поддержкой
Написать в Telegram
admin@sklads.net