Gitwiki (#28)

---------

Co-authored-by: SaveliyBorivets <[email protected]>
Co-authored-by: Dmitry Ivanov <[email protected]>

Author: 3 people

.idea/.gitignore

@@ -12,21 +12,24 @@ pip install -r requirements.txt
 ## Запуск приложения:
 1. Логирование commits
 ```commandline
-python3 main.py [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
+python3 main.py [-c, --commits] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
 ```
 2. Логирование issues
 ```commandline
-python3 main.py -i [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-i, --issues] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 3. Логирование pull requests
 ```commandline
-python3 main.py -p [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 4. Логирование непринятых приглашений в репо
 ```commandline
 python3 main.py --invites [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
-
+5. Логирование вики-репозиториев
+```commandline
+python3 main.py [-w, --wikis] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+```
 
 
 ##  Получение токена для работы с Google таблицей:
@@ -44,7 +47,7 @@ python3 main.py --invites [-t, --token] token (github токен вместо to
 ## Экспорт таблицы в Google Sheets:
 
 ``` commandline
-python3 main.py -p [-t, --token] token (github токен вместо token) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
+python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
 ```
 
 ## Файл со списком репозиториев:

README.md

@@ -20,7 +20,7 @@ def write_data_to_table(csv_path, google_token, table_id, sheet_id):
     wk_content = sh.worksheet_by_title(sheet_id)
 
     if csv_path:
-        df = pd.read_csv(csv_path, delimiter=',', encoding='cp1251')
+        df = pd.read_csv(csv_path, delimiter=',', encoding='utf-8')
     else:
         df = pd.DataFrame(INT_MASS)
 

export_sheets.py

@@ -86,7 +86,8 @@ def log_repository_commits(repository: Repository, csv_name, start, finish, bran
 
     for branch in branches:
         print(f'Processing branch {branch}')
-        for commit in repository.get_commits():
+        # TODO add support of since and until in https://pygithub.readthedocs.io/en/stable/github_objects/Repository.html#github.Repository.Repository.get_commits
+        for commit in repository.get_commits(sha=branch):
             if commit.commit.author.date.astimezone(
                     pytz.timezone(timezone)) < start or commit.commit.author.date.astimezone(
                     pytz.timezone(timezone)) > finish:

git_logger.py

@@ -4,15 +4,19 @@
 
 import git_logger
 import export_sheets
+import wikipars
 
 def parse_args():
     parser = argparse.ArgumentParser()
     parser.add_argument("--invites", help="print pending invites", action="store_true")
-    parser.add_argument("-p", help="log pull requests", action="store_true")
-    parser.add_argument("-i", help="log issues", action="store_true")
-    parser.add_argument("-e", help="export table to google sheets", action="store_true")
+    parser.add_argument("-c", "--commits", help="log commits", action="store_true")
+    parser.add_argument("-p", "--pull_requests", help="log pull requests", action="store_true")
+    parser.add_argument("-i", "--issues", help="log issues", action="store_true")
+    parser.add_argument("-w", "--wikis", help="log wikis", action="store_true")
+    parser.add_argument("-e", "--export_google_sheets", help="export table to google sheets", action="store_true")
     parser.add_argument('-t', '--token', type=str, required=True, help='token github account')
     parser.add_argument('-l', '--list', type=str, required=True, help='repos names file')
+    parser.add_argument("--download_repos", type=str, help="path to downloaded repositories", default='./')
     parser.add_argument('-o', '--out', type=str, required=True, help='output filename')
     parser.add_argument('-s', '--start', type=str, required=False, help='start time', default='2000/01/01-00:00:00')
     parser.add_argument('-f', '--finish', type=str, required=False, help='finish time', default='2400/01/01-00:00:00')
@@ -24,7 +28,7 @@ def parse_args():
                         help='Specify title for a sheet in a document in which data will be printed')
     args = parser.parse_args()
 
-    if args.e:
+    if args.export_google_sheets:
         for action in parser._actions:
             if action.dest == 'google_token':
                 action.required = True
@@ -49,6 +53,7 @@ def main():
     token = args.token
     repositories = args.list
     csv_name = args.out
+    path_drepo = args.download_repos
 
     try:
         client = git_logger.login(token=token)
@@ -59,20 +64,18 @@ def main():
             start = parse_time(args.start.split('-'))
         if args.finish:
             finish = parse_time(args.finish.split('-'))
-        if not args.p and not args.i and not args.invites:
+        if args.commits:
             git_logger.log_commits(client, repositories, csv_name, start, finish, args.branch)
-            if (args.e):
-                export_sheets.write_data_to_table(csv_name, args.google_token, args.table_id, args.sheet_id)
-        if args.p:
+        if args.pull_requests:
             git_logger.log_pull_requests(client, repositories, csv_name, token, start, finish)
-            if (args.e):
-                export_sheets.write_data_to_table(csv_name, args.google_token, args.table_id, args.sheet_id)
-        if args.i:
+        if args.issues:
             git_logger.log_issues(client, repositories, csv_name, token, start, finish)
-            if (args.e):
-                export_sheets.write_data_to_table(csv_name, args.google_token, args.table_id, args.sheet_id)
         if args.invites:
             git_logger.log_invitations(client, repositories, csv_name)
+        if args.wikis:
+            wikipars.wikiparser(client, repositories, path_drepo, csv_name)
+        if args.export_google_sheets:
+            export_sheets.write_data_to_table(csv_name, args.google_token, args.table_id, args.sheet_id)
 
 
 if __name__ == '__main__':

main.py

@@ -1,6 +1,6 @@
+GitPython==3.1.41
 PyGithub~=1.55
 pygsheets==2.0.5
 pandas==1.4.3
 pytz~=2023.3
 requests~=2.31.0
-

requirements.txt

@@ -0,0 +1,88 @@
+from git import Repo, exc
+import os
+import time
+import csv
+
+WIKI_FIELDNAMES = ['repository name', 'author name', 'author login', 'datetime', 'page', 'action', 'revision id', 'added lines', 'deleted lines']
+
+def log_wiki_to_csv(info, csv_name):
+    with open(csv_name, 'a', newline='') as file:
+        writer = csv.DictWriter(file, fieldnames=WIKI_FIELDNAMES)
+        writer.writerow(info)
+
+def wikiparser(client, repositories, path_drepo, csv_name):
+    with open(csv_name, 'w', newline='') as file:
+        writer = csv.writer(file)
+        writer.writerow(WIKI_FIELDNAMES)
+
+
+    #Создаем список репозиториев из файла
+    with open(repositories, 'r') as file:
+        list_repos = [x for x in file.read().split('\n') if x]
+    error_repos = []
+
+    data_changes = []
+    for name_rep in list_repos:
+        #Проверяем, есть ли репозиторий в папке
+        dir_path = path_drepo + "/" + name_rep
+        if os.path.exists(dir_path):
+            #Обновляем репозиторий
+            if len(os.listdir(dir_path)) > 0:
+                repo = Repo(dir_path)
+                repo.remotes.origin.pull()
+            else:
+                os.rmdir(dir_path)
+                error_repos.append(name_rep)
+                continue
+        else:
+            #Клонируем репозиторий в папку
+            dir_path = path_drepo + "/" + name_rep
+            os.makedirs(dir_path, exist_ok=True)
+            repo_url = f"[email protected]:{name_rep}.wiki.git"
+            try:
+                repo = Repo.clone_from(repo_url, dir_path)
+            except exc.GitCommandError:
+                os.rmdir(dir_path)
+                error_repos.append(name_rep)
+                continue
+
+        print("=" * 20, name_rep, "=" * 20)
+        #Вывод изменений
+        EMPTY_TREE_SHA = "4b825dc642cb6eb9a060e54bf8d69288fbee4904" #Хэш пустого дерева для сравнения с первым коммитом. Способ был найден здесь: https://stackoverflow.com/questions/33916648/get-the-diff-details-of-first-commit-in-gitpython
+        wiki_commits = repo.iter_commits(all=True)
+        activity = {"A" : "Страница добавлена", "M" : "Страница изменена", "D" : "Страница удалена", "R":"Страница переименована"}
+        #eng_activity = {"A" : "Page added", "M" : "Page modified", "D" : "Page deleted", "R": "Page renamed"}
+        for commit in wiki_commits:
+            data_commit = dict()
+            parent = commit.parents
+            data_commit["repository name"] = name_rep
+            data_commit["author name"] = commit.author
+            if commit.author.email and len(commit.author.email.split('+')) > 1:
+                data_commit["author login"] = commit.author.email.split('+')[1].split('@users')[0]
+            else:
+                data_commit["author login"] = "empty login"
+            data_commit["datetime"] = time.strftime("%Y-%m-%d %H:%M:%S%z", time.gmtime(commit.committed_date))
+            if parent:
+                data_commit["page"] = ';'.join([diff.b_path for diff in parent[0].diff(commit)])
+                data_commit["action"] = ';'.join([activity[diff.change_type] for diff in parent[0].diff(commit)])
+            else:
+                #Первый коммит
+                data_commit["page"] = ';'.join([diff.b_path for diff in commit.diff(EMPTY_TREE_SHA)])
+                data_commit["action"] = ';'.join([activity["A"]])
+            data_commit["revision id"] = commit
+            data_commit["added lines"] = commit.stats.total["insertions"]
+            data_commit["deleted lines"] = commit.stats.total["deletions"]
+            for fieldname in data_commit:
+                print(fieldname, data_commit[fieldname], sep=': ')
+            print("-" * 40)
+            log_wiki_to_csv(data_commit, csv_name)
+            data_changes.append(data_commit)
+
+    #Вывод репозиториев, с которыми возникли ошибки
+    if error_repos:
+        print("!=====Проблемные репозитории=====!")
+        for rep in error_repos:
+            print(rep)
+
+
+    return data_changes