Merge branch 'master' into 79-Calls-changed

Author: cyberc001

.DS_Store

@@ -0,0 +1,22 @@
+# Инструкция по разворачиванию Forgejo с использованием Docker
+Чтобы запустить в Docker контейнере Forgejo необходимо выполнить команду:
+```docker-compose up -d```
+
+На localhost:3000 открывается Forgejo, необходимо пройти регистрацию и создать репозиторий.
+
+Для подключения простейшего клиента к данному localhost необходимо передать ему ссылку на репозиторий и API токен.
+
+Получить токен можно через "Settings" -> "Generate Token":
+![](forgejo0.png)
+![](forgejo1.png)
+
+
+Далее необходимо отредактировать файл `pyforgejo/.env`, и изменить `API_TOKEN`, `BASE_URL`, `REPO_OWNER` и `REPO_NAME`.
+
+Например:
+```
+API_TOKEN=b3b55b3a469171bfe2105863332e23d89523d8af
+BASE_URL=http://localhost:3000
+REPO_OWNER=cyb3rc001
+REPO_NAME=test123
+```

75-CreatedDocker/README.md

@@ -0,0 +1,15 @@
+version: '3'
+
+services:
+  forgejo:
+    image: codeberg.org/forgejo/forgejo:1.18
+    container_name: forgejo
+    environment:
+      - USER_UID=1000
+      - USER_GID=1000
+    volumes:
+      - ./forgejo-data:/data
+    ports:
+      - "3000:3000"
+      - "2222:22"
+    restart: unless-stopped

75-CreatedDocker/docker-compose.yml

@@ -10,20 +10,20 @@
     IRepositoryAPI,
     User,
     Comment,
-    Invite
+    Invite,
 )
 from github import Github
 
 
 class GitHubRepoAPI(IRepositoryAPI):
 
     def __init__(self, client):
-        self.client = Github(client)
+        self.client = client
 
     def get_repository(self, id: str) -> Repository | None:
         try:
             repo = self.client.get_repo(id)
-            return Repository(_id=repo.full_name, name=repo.name, url=repo.html_url, default_branch=Branch(name=repo.default_branch, last_commit=None), owner=User(login=repo.owner.login,username=repo.owner.name,email=repo.owner.email))
+            return Repository(_id=repo.full_name, name=repo.name, url=repo.html_url)
         except Exception as e:
             logging.error(f"Failed to get repository {id} from GitHub: {e}")
             return None
@@ -42,10 +42,6 @@ def get_commits(self, repo: Repository) -> list[Commit]:
                         login=c.author.login,username=c.author.name,email=c.author.email
                     ),
                     date=c.commit.author.date,
-                    files=[
-                        f.filename
-                            for f in c.files
-                    ]
                 )
                 for c in commits
             ]
@@ -72,17 +68,8 @@ def get_issues(self, repo: Repository) -> list[Issue]:
                 Issue(
                     _id=i.number,
                     title=i.title,
+                    author=Contributor(i.user.login, i.user.email or ""),
                     state=i.state,
-                    created_at=i.created_at,
-                    closed_at=i.closed_at,
-                    closed_by=User(login=i.closed_by.login,username=i.closed_by.name,email=i.closed_by.email) if i.closed_by else None,
-                    body=i.body,
-                    user=User(login=i.user.login,username=i.user.name,email=i.user.email),
-                    labels= [
-                        l.name
-                        for l in i.labels
-                    ],
-                    milestone=i.milestone.title if i.milestone else None
                 )
                 for i in issues
             ]
@@ -97,24 +84,8 @@ def get_pull_requests(self, repo: Repository) -> list[PullRequest]:
                 PullRequest(
                     _id=p.number,
                     title=p.title,
-                    author=User(login=p.user.login, username=p.user.name, email=p.user.email),
+                    author=Contributor(p.user.login, p.user.email or ""),
                     state=p.state,
-                    created_at=p.created_at,
-                    head_label=p.head.label,
-                    base_label=p.base.label,
-                    head_ref=p.head.ref,
-                    base_ref=p.base.ref,
-                    merged_by=User(login=p.merged_by.login, username=p.merged_by.name, email=p.merged_by.email) if p.merged_by else None,
-                    files=[
-                        f.filename
-                            for f in p.get_files()
-                    ],
-                    issue_url=p.issue_url,
-                    labels= [
-                        l.name
-                        for l in p.labels
-                    ],
-                    milestone=p.milestone.title if p.milestone else None
                 )
                 for p in pulls
             ]
@@ -157,39 +128,7 @@ def get_branches(self, repo: Repository) -> list[Branch]:
             return []
 
     def get_wiki_pages(self, repo: Repository) -> list[WikiPage]:
-        return
-
-    def get_forks(self, repo: Repository) -> list[Repository]:
-        repo_client = self.client.get_repo(repo._id)
-        result = []
-        for r in repo_client.get_forks():
-            result.append(Repository(_id=repo.full_name, name=repo.name, url=repo.html_url))
-        return result
-
-    def get_comments(self, repo, obj) -> list[Comment]:
-        result = []
-        if type(obj) == Issue:
-            # TODO оптимизировать
-            issues = self.client.get_repo(repo._id).get_issues(state='all')
-            issue = None
-            for i in issues:
-                if i.number == obj._id:
-                    issue = i
-                    break
-            for c in issue.get_comments():
-                result.append(Comment(body=c.body,created_at=c.created_at,author=User(login=c.user.login,username=c.user.name,email=c.user.email)))
-        elif type(obj) == PullRequest:
-            # TODO оптимизировать
-            pulls = self.client.get_repo(repo._id).get_pulls(state='all')
-            pull = None
-            for p in pulls:
-                if p.number == obj._id:
-                    pull = p
-                    break
-            for c in pull.get_comments():
-                result.append(Comment(body=c.body,created_at=c.created_at,author=User(login=c.user.login,username=c.user.name,email=c.user.email)))
-
-        return result
+        pass
 
     def get_invites(self, repo: Repository) -> list[Invite]:
         try:

75-CreatedDocker/forgejo0.png

@@ -24,25 +24,28 @@ docker run -v $(pwd)/output:/app/output checking_repo [--invites] [--commites] [
 ## Запуск приложения:
 1. Логирование commits
 ```commandline
-python3 main.py [-c, --commits] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
+python3 main.py [-c, --commits] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [-b, --branch] branch (branch - название конкретной ветки, откуда брать коммиты или all - логгировать все коммиты изо всех веток)
 ```
 2. Логирование issues
 ```commandline
-python3 main.py [-i, --issues] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-i, --issues] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 3. Логирование pull requests
 ```commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--pr_comments] (если установлен - также выгружаются комментарии к PR)
 ```
 4. Логирование непринятых приглашений в репо
 ```commandline
-python3 main.py --invites [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py --invites (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
 5. Логирование вики-репозиториев
 ```commandline
-python3 main.py [-w, --wikis] [-t, --token] token (github токен вместо token) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+python3 main.py [-w, --wikis] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
+```
+6. Логирование контрибьюторов
+```commandline
+python3 main.py --contributors (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l, --list]  list (list - строка пути к txt файлу со списком репозиториев)  --dowland_repos path_drepo (path_drepo - строка пути к директории, где сохраняются вики-репозитории) [-o, --out] out (out - название csv файла, в который будут помещены все логи)
 ```
-
 
 
 ##  Получение токена для работы с Google таблицей:
@@ -60,10 +63,15 @@ python3 main.py [-w, --wikis] [-t, --token] token (github токен вмест
 ## Экспорт таблицы в Google Sheets:
 
 ``` commandline
-python3 main.py [-p, --pull_requests] [-t, --token] token (github токен вместо token) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
+python3 main.py [-p, --pull_requests] (-t token (github токен вместо token) | --tokens tokens (путь до файла с токенами вместо tokens)) [-l,--list] list (list - строка пути к txt файлу со списком репозиториев) [-o, --out] out (out - название csv файла, в который будут помещены все логи) [--google_token] token.json (файл с google токеном) [--table_id] table_id (id таблицы, указанной в url пути до таблицы) [--sheet_id] sheet_id (id конкретного листа в таблице google)
 ```
 
 ## Файл со списком репозиториев:
 
 Репозитории хранятся в txt файле. Каждый репозиторий записывается в отдельную строку.
 Должно быть указано полное имя репозитория. (Название организации/название репозитория)
+
+## Файл со списком токенов:
+
+Каждый токен записывается в отдельную строку.
+Токены должны быть привзязаны к разным github аккаунтам. Токены, привязанные к одному аккаунту имеют общий rate_limit.

75-CreatedDocker/forgejo1.png

@@ -1,7 +1,7 @@
 from utils import logger
 import pytz
 from time import sleep
-from interface_wrapper import IRepositoryAPI
+from github import Github, Repository, GithubException, PullRequest
 
 EMPTY_FIELD = 'Empty field'
 TIMEDELTA = 0.05
@@ -17,12 +17,12 @@
     'branch',
 )
 
-def log_repository_commits(client: IRepositoryAPI, repository, csv_name, start, finish, branch):
+
+def log_repository_commits(repository: Repository, csv_name, start, finish, branch):
     branches = []
     match branch:
         case 'all':
-            branches = client.get_branches(repository)
-            for branch in branches:
+            for branch in repository.get_branches():
                 branches.append(branch.name)
         case None:
             branches.append(repository.default_branch)
@@ -31,44 +31,44 @@ def log_repository_commits(client: IRepositoryAPI, repository, csv_name, start,
 
     for branch in branches:
         print(f'Processing branch {branch}')
-        # Используем обёртку для получения коммитов
-        commits = client.get_commits(repository)
-        for commit in commits:
+        # TODO add support of since and until in https://pygithub.readthedocs.io/en/stable/github_objects/Repository.html#github.Repository.Repository.get_commits
+        for commit in repository.get_commits(sha=branch):
             if (
-                commit.date.astimezone(pytz.timezone(TIMEZONE)) < start
-                or commit.date.astimezone(pytz.timezone(TIMEZONE)) > finish
+                commit.commit.author.date.astimezone(pytz.timezone(TIMEZONE)) < start
+                or commit.commit.author.date.astimezone(pytz.timezone(TIMEZONE))
+                > finish
             ):
                 continue
-            commit_data = [
-                repository.name,
-                commit.author.username,
-                commit.author.email or EMPTY_FIELD,
-                commit.date,
-                '; '.join([file for file in commit.files]),
-                commit._id,
-                branch,
-            ]
-            info = dict(zip(FIELDNAMES, commit_data))
+            if commit.commit is not None:
+                nvl = lambda val: val or EMPTY_FIELD
+                commit_data = [
+                    repository.full_name,
+                    commit.commit.author.name,
+                    nvl(commit.author.login if commit.author else None),
+                    nvl(commit.commit.author.email),
+                    commit.commit.author.date,
+                    '; '.join([file.filename for file in commit.files]),
+                    commit.commit.sha,
+                    branch,
+                ]
+                info = dict(zip(FIELDNAMES, commit_data))
 
-            logger.log_to_csv(csv_name, FIELDNAMES, info)
-            logger.log_to_stdout(info)
+                logger.log_to_csv(csv_name, FIELDNAMES, info)
+                logger.log_to_stdout(info)
+
+                sleep(TIMEDELTA)
 
-            sleep(TIMEDELTA)
 
-def log_commits(
-        client: IRepositoryAPI, working_repos, csv_name, start, finish, branch, fork_flag
-):
+def log_commits(working_repos, csv_name, start, finish, branch, fork_flag):
     logger.log_to_csv(csv_name, FIELDNAMES)
 
-    for repo in working_repos:
+    for repo, token in working_repos:
         try:
-            logger.log_title(repo.name)
-            log_repository_commits(client, repo, csv_name, start, finish, branch)
+            logger.log_title(repo.full_name)
+            log_repository_commits(repo, csv_name, start, finish, branch)
             if fork_flag:
-                # TODO
-                forked_repos = client.get_forks(repo)
-                for forked_repo in forked_repos:
-                    logger.log_title("FORKED:", forked_repo.name)
+                for forked_repo in repo.get_forks():
+                    logger.log_title("FORKED:", forked_repo.full_name)
                     log_repository_commits(forked_repo, csv_name, start, finish, branch)
                     sleep(TIMEDELTA)
             sleep(TIMEDELTA)