multiple-tokens support implemented (#89)

Author: PeeachPie

README.md

@@ -24,25 +24,28 @@ docker run -v $(pwd)/output:/app/output checking_repo [--invites] [--commites] [
 ## Запуск приложения:
 1. Логирование commits
 ```commandline
-python3 main.py [-c, --commits] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
+python3 main.py [-c, --commits] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
 ```
 2. Логирование issues
 ```commandline
-python3 main.py [-i, --issues] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-i, --issues] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 3. Логирование pull requests
 ```commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
 ```
 4. Логирование непринятых приглашений в репо
 ```commandline
-python3 main.py --invites [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py --invites (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 5. Логирование вики-репозиториев
 ```commandline
-python3 main.py [-w, --wikis] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-w, --wikis] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+```
+6. Логирование контрибьюторов
+```commandline
+python3 main.py --contributors (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
-
 
 
 ##  Получение токена для работы с Google таблицей:
@@ -60,10 +63,15 @@ python3 main.py [-w, --wikis] [-t, --token] token (github токен вмест
 ## Экспорт таблицы в Google Sheets:
 
 ``` commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
 ```
 
 ## Файл со списком репозиториев:
 
 Репозитории хранятся в txt файле. Каждый репозиторий записывается в отдельную строку.
 Должно быть указано полное имя репозитория. (Название организации/название репозитория)
+
+## Файл со списком токенов:
+
+Каждый токен записывается в отдельную строку.
+Токены должны быть привзязаны к разным github аккаунтам. Токены, привязанные к одному аккаунту имеют общий rate_limit.

commits_parser.py

@@ -59,12 +59,10 @@ def log_repository_commits(repository: Repository, csv_name, start, finish, bran
                 sleep(TIMEDELTA)
 
 
-def log_commits(
-    client: Github, working_repos, csv_name, start, finish, branch, fork_flag
-):
+def log_commits(working_repos, csv_name, start, finish, branch, fork_flag):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
             log_repository_commits(repo, csv_name, start, finish, branch)

contributors_parser.py

@@ -72,12 +72,10 @@ def get_contributors_stats(repository: Repository) -> dict:
     return contributors_stats
 
 
-def log_contributors(
-    client: Github, working_repos: Generator, csv_name: str, fork_flag: bool
-):
+def log_contributors(working_repos: Generator, csv_name: str, fork_flag: bool):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
             log_repository_contributors(repo, csv_name)

git_logger.py

@@ -18,19 +18,63 @@ def login(token):
         return client
 
 
-def get_next_repo(client: Github, repositories):
+def get_tokens_from_file(tokens_path: str) -> list[str]:
+    with open(tokens_path, 'r') as file:
+        tokens = [token for token in file.read().split('\n') if token]
+
+    return tokens
+
+
+class GithubClients:
+    def __init__(self, tokens: list[str]):
+        self.clients = self._init_clients(tokens)
+        self.cur_client = None
+
+    def _init_clients(self, tokens: list[str]) -> list[dict]:
+        clients = [{"client": login(token), "token": token} for token in tokens]
+        # нужно ли нам рейзить ошибку в случае 403, или просто временно пропускать эти токены?
+
+        return clients
+
+    def get_next_client(self) -> Github:
+        client = None
+        max_remaining_limit = -1
+
+        for client_tmp in self.clients:
+            remaining_limit, limit = client_tmp["client"].rate_limiting
+
+            # можно добавить вывод износа токена
+            # можно дополнительно проверять на 403 и временно пропускать эти токены,
+            # либо завести константу "минимальный коэффициент износа" и не трогать "изношенные" токены
+
+            if remaining_limit > max_remaining_limit:
+                client = client_tmp
+                max_remaining_limit = remaining_limit
+
+            sleep(TIMEDELTA)
+
+        if client is None:
+            raise Exception("No github-clients available")
+
+        self.cur_client = client
+        return client
+
+
+def get_next_repo(clients: GithubClients, repositories):
     with open(repositories, 'r') as file:
         list_repos = [x for x in file.read().split('\n') if x]
     print(list_repos)
     for repo_name in list_repos:
         try:
-            repo = client.get_repo(repo_name)
+            cur_client = clients.get_next_client()
+            repo = cur_client['client'].get_repo(repo_name)
         except GithubException as err:
             print(f'Github: Connect: error {err.data}')
             print(f'Github: Connect: failed to load repository "{repo_name}"')
             exit(1)
         else:
-            yield repo
+            print(cur_client['token'])
+            yield repo, cur_client['token']
 
 
 def get_assignee_story(github_object):

invites_parser.py

@@ -36,10 +36,10 @@ def log_repository_invitations(repository: Repository, csv_name):
         sleep(TIMEDELTA)
 
 
-def log_invitations(client: Github, working_repos, csv_name):
+def log_invitations(working_repos, csv_name):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         logger.log_title(repo.full_name)
         try:
             log_repository_invitations(repo, csv_name)

issues_parser.py

@@ -3,7 +3,7 @@
 import requests
 import json
 from time import sleep
-from git_logger import get_assignee_story
+from git_logger import get_assignee_story, GithubClients
 from github import Github, Repository, GithubException, PullRequest
 
 EMPTY_FIELD = 'Empty field'
@@ -172,17 +172,23 @@ def log_repository_issues(repository: Repository, csv_name, token, start, finish
         sleep(TIMEDELTA)
 
 
-def log_issues(client: Github, working_repo, csv_name, token, start, finish, fork_flag):
+def log_issues(working_repo, csv_name, start, finish, fork_flag):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repo:
+    for repo, token in working_repo:
         try:
             logger.log_title(repo.full_name)
             log_repository_issues(repo, csv_name, token, start, finish)
             if fork_flag:
                 for forked_repo in repo.get_forks():
                     logger.log_title("FORKED:", forked_repo.full_name)
-                    log_repository_issues(forked_repo, csv_name, token, start, finish)
+                    log_repository_issues(
+                        forked_repo,
+                        csv_name,
+                        token,
+                        start,
+                        finish,
+                    )
                     sleep(TIMEDELTA)
             sleep(TIMEDELTA)
         except Exception as e:

main.py

@@ -31,9 +31,11 @@ def parse_args():
         help="export table to google sheets",
         action="store_true",
     )
-    parser.add_argument(
-        '-t', '--token', type=str, required=True, help='token github account'
-    )
+
+    token = parser.add_mutually_exclusive_group(required=True)
+    token.add_argument('-t', '--token', type=str, help='token github account')
+    token.add_argument('--tokens', type=str, help='path to your tokens')
+
     parser.add_argument(
         '-l',
         '--list',
@@ -126,49 +128,48 @@ def parse_time(datetime_str):
 
 def main():
     args = parse_args()
-    token = args.token
+
+    if args.token:
+        tokens = [args.token]
+    else:
+        tokens = git_logger.get_tokens_from_file(args.tokens)
+
     repositories = args.list
     csv_name = args.out
     path_drepo = args.download_repos
     fork_flag = args.forks_include
     log_pr_comments = args.pr_comments
 
     try:
-        client = git_logger.login(token=token)
+        clients = git_logger.GithubClients(tokens)
     except Exception as e:
         print(e)
     else:
-        working_repos = git_logger.get_next_repo(client, repositories)
+        working_repos = git_logger.get_next_repo(clients, repositories)
         start = parse_time(args.start.split('-'))
         finish = parse_time(args.finish.split('-'))
 
         if args.commits:
             commits_parser.log_commits(
-                client, working_repos, csv_name, start, finish, args.branch, fork_flag
+                working_repos, csv_name, start, finish, args.branch, fork_flag
             )
         if args.pull_requests:
             pull_requests_parser.log_pull_requests(
-                client,
                 working_repos,
                 csv_name,
-                token,
                 start,
                 finish,
                 fork_flag,
                 log_pr_comments,
             )
         if args.issues:
-            issues_parser.log_issues(
-                client, working_repos, csv_name, token, start, finish, fork_flag
-            )
+            issues_parser.log_issues(working_repos, csv_name, start, finish, fork_flag)
         if args.invites:
-            invites_parser.log_invitations(client, working_repos, csv_name)
+            invites_parser.log_invitations(working_repos, csv_name)
         if args.wikis:
-            wikipars.wikiparser(client, repositories, path_drepo, csv_name)
+            wikipars.wikiparser(clients, repositories, path_drepo, csv_name)
         if args.contributors:
-            contributors_parser.log_contributors(
-                client, working_repos, csv_name, fork_flag
-            )
+            contributors_parser.log_contributors(working_repos, csv_name, fork_flag)
         if args.export_google_sheets:
             export_sheets.write_data_to_table(
                 csv_name, args.google_token, args.table_id, args.sheet_id

pull_requests_parser.py

@@ -3,7 +3,7 @@
 import requests
 import json
 from time import sleep
-from git_logger import get_assignee_story
+from git_logger import get_assignee_story, GithubClients
 from github import Github, Repository, GithubException, PullRequest
 
 EMPTY_FIELD = 'Empty field'
@@ -161,26 +161,29 @@ def log_repositories_pr(
 
 
 def log_pull_requests(
-    client: Github,
     working_repos,
     csv_name,
-    token,
     start,
     finish,
     fork_flag,
     log_comments=False,
 ):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
             logger.log_title(repo.full_name)
             log_repositories_pr(repo, csv_name, token, start, finish)
             if fork_flag:
                 for forked_repo in repo.get_forks():
                     logger.log_title("FORKED:", forked_repo.full_name)
                     log_repositories_pr(
-                        forked_repo, csv_name, token, start, finish, log_comments
+                        forked_repo,
+                        csv_name,
+                        token,
+                        start,
+                        finish,
+                        log_comments,
                     )
                     sleep(TIMEDELTA)
             sleep(TIMEDELTA)