Проект обработки отзывов

Описание

Этот проект предназначен для обработки отзывов клиентов. Отзывы загружаются с сайта, классифицируются и сохраняются в базу данных MongoDB для последующего анализа. В проекте используются два основных скрипта: parsing.py и changing_comments.py, а также main.py для отображения данных в дашборде.

Установка

1. Убедитесь, что у вас установлен Python версии 3.10 или выше.
2. окружение в папке

Файлы

1. parsing.py

Этот файл отвечает за сбор отзывов с сайта. Запустите его, чтобы начать постоянный сбор данных. Собранные данные сохраняются в формате JSON для дальнейшей обработки.

2. changing_comments.py

Этот файл выполняет классификацию отзывов с использованием модели Yandex GPT и добавляет дополнительные поля, такие как категория, важность, краткое описание и т.д. Обработанные отзывы записываются в базу данных MongoDB.

3. main.py

Этот файл отображает дашборд с данными из MongoDB. Дашборд предоставляет удобный интерфейс для анализа собранных и обработанных отзывов.

Использование

Сбор данных

Для начала сбора отзывов запустите parsing.py:

python parsing.py

Обработка отзывов

После того как данные будут собраны, запустите changing_comments.py для их обработки:

python changing_comments.py

Дашборд

Для просмотра обработанных отзывов в дашборде запустите main.py:

python main.py

Зависимости

• Python 3.10+
• MongoDB
• Yandex Cloud ML SDK

Все зависимости указаны в файле requirements.txt. Установите их с помощью команды:

pip install -r requirements.txt

Структура базы данных

База данных MongoDB включает коллекцию comments_database со следующими полями:

• text_comment: текст отзыва
• date: дата отзыва
• name: имя клиента
• Дополнительные поля, сгенерированные моделью, такие как категория, важность и т.д.

Примечания

1. Убедитесь, что MongoDB запущен локально на localhost:27017.
2. Перед запуском дашборда убедитесь, что база данных содержит данные.