multiple-tokens support implemented

Author: PeeachPie

README.md

@@ -24,25 +24,28 @@ docker run -v $(pwd)/output:/app/output checking_repo [--invites] [--commites] [
 ## Запуск приложения:
 1. Логирование commits
 ```commandline
-python3 main.py [-c, --commits] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
+python3 main.py [-c, --commits] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
 ```
 2. Логирование issues
 ```commandline
-python3 main.py [-i, --issues] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-i, --issues] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 3. Логирование pull requests
 ```commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
 ```
 4. Логирование непринятых приглашений в репо
 ```commandline
-python3 main.py --invites [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py --invites (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 5. Логирование вики-репозиториев
 ```commandline
-python3 main.py [-w, --wikis] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-w, --wikis] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+```
+6. Логирование контрибьюторов
+```commandline
+python3 main.py --contributors (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
-
 
 
 ##  Получение токена для работы с Google таблицей:
@@ -60,10 +63,15 @@ python3 main.py [-w, --wikis] [-t, --token] token (github токен вмест
 ## Экспорт таблицы в Google Sheets:
 
 ``` commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
 ```
 
 ## Файл со списком репозиториев:
 
 Репозитории хранятся в txt файле. Каждый репозиторий записывается в отдельную строку.
 Должно быть указано полное имя репозитория. (Название организации/название репозитория)
+
+## Файл со списком токенов:
+
+Каждый токен записывается в отдельную строку.
+Токены должны быть привзязаны к разным github аккаунтам. Токены, привязанные к одному аккаунту имеют общий rate_limit.

commits_parser.py

@@ -59,12 +59,10 @@ def log_repository_commits(repository: Repository, csv_name, start, finish, bran
                 sleep(TIMEDELTA)
 
 
-def log_commits(
-    client: Github, working_repos, csv_name, start, finish, branch, fork_flag
-):
+def log_commits(working_repos, csv_name, start, finish, branch, fork_flag):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
             log_repository_commits(repo, csv_name, start, finish, branch)

contributors_parser.py

@@ -72,12 +72,10 @@ def get_contributors_stats(repository: Repository) -> dict:
     return contributors_stats
 
 
-def log_contributors(
-    client: Github, working_repos: Generator, csv_name: str, fork_flag: bool
-):
+def log_contributors(working_repos: Generator, csv_name: str, fork_flag: bool):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
             log_repository_contributors(repo, csv_name)

git_logger.py

@@ -57,7 +57,7 @@ def get_next_client(self) -> Github:
             raise Exception("No github-clients available")
 
         self.cur_client = client
-        return client["client"]
+        return client
 
 
 def get_next_repo(clients: GithubClients, repositories):
@@ -67,13 +67,14 @@ def get_next_repo(clients: GithubClients, repositories):
     for repo_name in list_repos:
         try:
             cur_client = clients.get_next_client()
-            repo = cur_client.get_repo(repo_name)
+            repo = cur_client['client'].get_repo(repo_name)
         except GithubException as err:
             print(f'Github: Connect: error {err.data}')
             print(f'Github: Connect: failed to load repository "{repo_name}"')
             exit(1)
         else:
-            yield repo
+            print(cur_client['token'])
+            yield repo, cur_client['token']
 
 
 def get_assignee_story(github_object):

invites_parser.py

@@ -36,10 +36,10 @@ def log_repository_invitations(repository: Repository, csv_name):
         sleep(TIMEDELTA)
 
 
-def log_invitations(client: Github, working_repos, csv_name):
+def log_invitations(working_repos, csv_name):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         logger.log_title(repo.full_name)
         try:
             log_repository_invitations(repo, csv_name)

issues_parser.py

@@ -172,24 +172,20 @@ def log_repository_issues(repository: Repository, csv_name, token, start, finish
         sleep(TIMEDELTA)
 
 
-def log_issues(
-    clients: GithubClients, working_repo, csv_name, start, finish, fork_flag
-):
+def log_issues(working_repo, csv_name, start, finish, fork_flag):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repo:
+    for repo, token in working_repo:
         try:
             logger.log_title(repo.full_name)
-            log_repository_issues(
-                repo, csv_name, clients.cur_client["token"], start, finish
-            )
+            log_repository_issues(repo, csv_name, token, start, finish)
             if fork_flag:
                 for forked_repo in repo.get_forks():
                     logger.log_title("FORKED:", forked_repo.full_name)
                     log_repository_issues(
                         forked_repo,
                         csv_name,
-                        clients.cur_client["token"],
+                        token,
                         start,
                         finish,
                     )

main.py

@@ -151,11 +151,10 @@ def main():
 
         if args.commits:
             commits_parser.log_commits(
-                clients, working_repos, csv_name, start, finish, args.branch, fork_flag
+                working_repos, csv_name, start, finish, args.branch, fork_flag
             )
         if args.pull_requests:
             pull_requests_parser.log_pull_requests(
-                clients,
                 working_repos,
                 csv_name,
                 start,
@@ -164,17 +163,13 @@ def main():
                 log_pr_comments,
             )
         if args.issues:
-            issues_parser.log_issues(
-                clients, working_repos, csv_name, start, finish, fork_flag
-            )
+            issues_parser.log_issues(working_repos, csv_name, start, finish, fork_flag)
         if args.invites:
-            invites_parser.log_invitations(clients, working_repos, csv_name)
+            invites_parser.log_invitations(working_repos, csv_name)
         if args.wikis:
             wikipars.wikiparser(clients, repositories, path_drepo, csv_name)
         if args.contributors:
-            contributors_parser.log_contributors(
-                clients, working_repos, csv_name, fork_flag
-            )
+            contributors_parser.log_contributors(working_repos, csv_name, fork_flag)
         if args.export_google_sheets:
             export_sheets.write_data_to_table(
                 csv_name, args.google_token, args.table_id, args.sheet_id

pull_requests_parser.py

@@ -161,7 +161,6 @@ def log_repositories_pr(
 
 
 def log_pull_requests(
-    clients: GithubClients,
     working_repos,
     csv_name,
     start,
@@ -171,19 +170,17 @@ def log_pull_requests(
 ):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
-            log_repositories_pr(
-                repo, csv_name, clients.cur_client["token"], start, finish
-            )
+            log_repositories_pr(repo, csv_name, token, start, finish)
             if fork_flag:
                 for forked_repo in repo.get_forks():
                     logger.log_title("FORKED:", forked_repo.full_name)
                     log_repositories_pr(
                         forked_repo,
                         csv_name,
-                        clients.cur_client["token"],
+                        token,
                         start,
                         finish,
                         log_comments,