Это приложение знакомств позволяет пользователям просматривать анкеты друг друга и ставить лайки или дизлайки. Если два пользователя ставят друг другу лайк, это называется "мэтч", и у них появляется возможность познакомиться.
В рамках проекта был разработан новый алгоритм для поиска наиболее подходящих анкет. Для проверки его эффективности был проведен A/B-тест, в котором пользователи были разделены на две группы:
- Группа 0: пользователи, использующие старый алгоритм.
- Группа 1: пользователи, использующие новый алгоритм.
Ваша задача заключается в оценке эффективности нового алгоритма. Для этого необходимо выбрать метрики, которые отражают качество сервиса, и провести статистическое сравнение этих метрик между двумя группами.
Данные представляют собой выгрузку логов взаимодействия пользователей, содержащую следующие столбцы:
user_id_1: ID первого пользователяuser_id_2: ID второго пользователяgroup: группа A/B-теста (0 или 1)is_match: бинарная переменная, указывающая, произошел ли мэтч (1) или нет (0)
Анализ включает в себя:
- Импорт данных и предварительная обработка.
- Вычисление общего числа кликов для каждого пользователя.
- Определение среднего числа мэтчей на пользователя (конверсия в мэтч).
- Проведение статистических тестов (тест Хи-квадрат и t-тест) для сравнения метрик между группами.
- Проверка результатов с использованием метода Монте-Карло.
В результате проведенных тестов было установлено, что:
- Количество кликов у пользователей, использующих новый алгоритм, значительно выше.
- Количество мэтчей и конверсия в мэтч также увеличились.
Все тесты показали значимое отличие между группами, что подтверждает эффективность нового алгоритма.
Новый алгоритм улучшает качество сервиса, и его можно внедрить для всех пользователей. В среднем, изменения увеличивают количество кликов на 9.57 - 10.29, число мэтчей на 5.73 - 6.21 и конверсию в мэтч на 0.19 - 0.22%.
Для запуска приложения вам потребуется установить необходимые библиотеки:
pip install pandas seaborn statsmodels scipy pingouin matplotlib- Импортируйте данные из CSV-файла.
- Запустите анализ, используя предоставленный код.
- Интерпретируйте результаты и делайте выводы о целесообразности внедрения нового алгоритма.