Установка и разработка

Данная инструкция описывает процесс установки и разработки парсеров, входящих в состав проекта. Каждый парсер является независимым Python-пакетом и может использоваться как отдельно, так и совместно с другими парсерами. Это позволяет подключать только необходимые модули, снижая зависимость и упрощая поддержку.

Библиотеки

Проект включает следующие Python-библиотеки, устанавливаемые как отдельные pip-пакеты:

novikovtv-parser-yandex
novikovtv-parser-fns
novikovtv-parser-tenchat
novikovtv-parser-vk

Набор доступных парсеров можно представить в виде множества: parser_set = {yandex, fns, tenchat, vk}, где parser_name ∈ parser_set — это конкретный парсер.

Установка

Установка через pip

Для установки одного из парсеров выполните:

pip install novikovtv-parser-<parser_name>

Например, установка парсера TenChat:

pip install novikovtv-parser-tenchat

Локальная установка и разработка

Для локальной разработки можно клонировать репозиторий:

git clone https://github.com/asianetsievskaya/parser-<parser_name>
cd parser-<parser_name>
pip install -r requirements.txt

После этого вы можете редактировать исходный код, запускать локальные тесты и отлаживать парсер в своей среде.

Публикация в PyPI

Если вы вносите изменения и хотите опубликовать новую версию парсера в PyPI, выполните следующие шаги из корня проекта:

Удалите предыдущие сборки (если есть):

rm -r dist/

Соберите проект:

python -m build

Загрузите на PyPI:

python -m twine upload --verbose --repository pypi dist/*

Перед публикацией убедитесь, что установлены зависимости:

pip install build twine

Также не забудьте обновить версию пакета в pyproject.toml перед публикацией новой версии.

12 April 2025