PEP Parser — Парсер документов PEP на базе BeautifulSoup.

Автор - Халин Вадим

---

Оглавление

• Описание
• Основные технологии
• Запуск проекта
• Аргументы командной строки

---

Описание

Парсер документов PEP (Python Enhancement Proposals) с сайта PEP на базе фреймворка BeautifulSoup.

Проект собирает данные о всех PEP, извлекает их статусы, сравнивает фактические статусы с ожидаемыми и формирует статистику. В результате работы режима pep создаётся CSV-файл со сводкой по статусам:

• количество PEP в каждом статусе;
• общее количество PEP;
• логируются несовпадения ожидаемого и фактического статуса.

---

Основные технологии

• Python
• Requests / Requests-Cache
• BeautifulSoup4
• tqdm

---

Запуск проекта

1. Клонируем репозиторий:

git@github.com:GohubSilently/bs4_parser_pep.git
cd bs4_parser_pep

2. Запускаем проект локально.

python3 -m venv venv && source venv/bin/activate
pip install --upgrade pip && pip install -r requirements.txt

3. Запускаем парсер.

• Справка

python3 main.py --help

или

python3 main.py -h

---

Аргументы командной строки

• Позиционные аргументы (Режимы работы):
  • whats-new (Выводит ссылки на все доступные версии Python (Заголовок, Редактор, Автор))
  • latest-versions (Выводит ссылки на документацию, версию, статус)
  • download (Создает папку и сохраняет последнюю доступную версии Python (zip архив))
  • pep (Выводит статусы с отдельных карточек, их количество, общее количество и несовпадающие статусы)

python3 main.py whats-new
python3 main.py latest-versions
python3 main.py download
python3 main.py pep

• Опциональные аргументы:
  • -c, --clear-cache (Очистка кеша)
  • -o {pretty, file}, --output {pretty, file} (Дополнительные способы вывода)

python3 main.py whats-new -c
python3 main.py whats-new --clear-cache
python3 main.py whats-new -o pretty
python3 main.py whats-new -output file

---