Merge pull request #1 from online-judge-tools/master

Following online-judge-tools repository

Author: kjnh10

.github/workflows/format.yml

@@ -15,10 +15,17 @@ jobs:
     - name: Install dependencies
       run: pip3 install .[dev]
 
-    - name: Run tests
-      run: |
-        oj-verify -h
-        pylint --disable=all --enable=unused-import onlinejudge_verify onlinejudge_bundle tests setup.py
-        isort --check-only --diff onlinejudge_verify onlinejudge_bundle tests setup.py
-        yapf --diff --recursive onlinejudge_verify onlinejudge_bundle tests setup.py | tee yapf.patch && test ! -s yapf.patch
-        mypy onlinejudge_verify onlinejudge_bundle setup.py
+    - name: Run --help
+      run: oj-verify -h
+
+    - name: Run pylint
+      run: pylint --disable=all --enable=unused-import onlinejudge_verify onlinejudge_bundle tests setup.py
+
+    - name: Run isort
+      run: isort --check-only --diff onlinejudge_verify onlinejudge_bundle tests setup.py
+
+    - name: Run yapf
+      run: yapf --diff --recursive onlinejudge_verify onlinejudge_bundle tests setup.py
+
+    - name: Run mypy
+      run: mypy onlinejudge_verify onlinejudge_bundle setup.py

CONTRIBUTING.md

@@ -17,3 +17,27 @@ Do the following steps:
 1.  Register your language at `onlinejudge_verify/languages/list.py`
 1.  Add tests to `tests/` dir if possible
 1.  Update documents `.verify-helper/docs/static/document.md` (or `.verify-helper/docs/static/document.ja.md`)
+
+
+## CI to check format
+
+[.github/workflows/format.yml](https://github.com/online-judge-tools/verification-helper/blob/master/.github/workflows/format.yml) defines the format checking.
+
+You can run the format checking with the following commands. You can automatically run this with copying this script into your `.git/hooks/pre-commit`.
+
+``` sh
+#!/bin/bash
+set -e
+
+mypy onlinejudge_verify onlinejudge_bundle tests setup.py
+pylint --disable=all --enable=unused-import onlinejudge_verify onlinejudge_bundle tests setup.py
+isort --check-only --diff onlinejudge_verify onlinejudge_bundle tests setup.py
+yapf --diff --recursive onlinejudge_verify onlinejudge_bundle tests setup.py
+```
+
+You can automatically fix some errors with the following commands.
+
+``` sh
+isort onlinejudge_verify onlinejudge_bundle tests setup.py
+yapf --in-place --recursive onlinejudge_verify onlinejudge_bundle tests setup.py
+```

DESIGN.md

@@ -61,6 +61,8 @@ link: [DESIGN.md](https://github.com/online-judge-tools/.github/blob/master/DESI
 -   言語個別の処理は [models.py](https://github.com/online-judge-tools/verification-helper/blob/master/onlinejudge_verify/languages/models.py) にある `Language` class と `LanguageEnvironment` class の sub-class として実装される。`Language` class と `LanguageEnvironment` class の区別は、ひとつの言語 (例: C++) が複数の環境 (例: G++, Clang, MSVC++ など) と関連付けられることから来る区別である。
 -   競技プログラミングの文脈では end-to-end tests や integration tests と unit tests の区別が比較的曖昧である。
     通常の文脈では end-to-end tests などは unit tests と比べて「実際と似た環境で動かせる」という利点と「遅い」「不安定」「失敗の原因が分かりにくい」という欠点がある ([参考](https://testing.googleblog.com/2015/04/just-say-no-to-more-end-to-end-tests.html))。しかしこれは通常の end-to-end tests が「GUI の操作」「ネットワーク通信」「ファイル書き込み」などの複雑で非純粋な要素を含むからである。競技プログラミングにおいてはそのような要素はないのでテストの結果は常に「安定」しており、またファイルの依存関係が疎であることを利用して最適に差分のみテストをすることで十分に「速い」テストが可能である。このため競技プログラミングにおいては end-to-end tests の欠点とされていた特徴の多くは隠れ、unit tests との差も曖昧となる。
+-   `oj-bundle` コマンドは `#include "..."` の形の include のみを展開し `#include <...>` の形の include は展開しない。この仕様は、`#include <...>` が「システムの標準のヘッダ」に使われることが意図されており、また `#include "..."` が「カレントディレクトリなどにある自作のヘッダ」に使われことが意図されている、という事情による。参考として、プリプロセッサの挙動についての説明は <https://gcc.gnu.org/onlinedocs/cpp/Search-Path.html> にある。
+-   `oj-bundle` コマンドが [online-judge-tools/verification-helper](https://github.com/online-judge-tools/verification-helper) リポジトリにあるのは便宜上のものである。対応言語が増えるようなら他の新しいリポジトリに移されるだろう。
 
 
 ## Security Considerations

onlinejudge_bundle/main.py

@@ -22,12 +22,12 @@ def main(args: Optional[List[str]] = None) -> None:
     # parse command-line arguments
     parser = argparse.ArgumentParser()
     parser.add_argument('path', type=pathlib.Path)
-    parser.add_argument('-I', metavar='dir', type=pathlib.Path, dest='iquote', default=pathlib.Path.cwd(), help='add the directory dir to the list of directories to be searched for header files during preprocessing (default: ".")')
+    parser.add_argument('-I', metavar='dir', action='append', type=pathlib.Path, dest='iquote', default=[pathlib.Path.cwd()], help='add the directory dir to the list of directories to be searched for header files during preprocessing (default: ".")')
     parsed = parser.parse_args(args)
 
     language = onlinejudge_verify.languages.list.get(parsed.path)
     assert language is not None
-    sys.stdout.buffer.write(language.bundle(parsed.path, basedir=parsed.iquote))
+    sys.stdout.buffer.write(language.bundle(parsed.path, basedir=parsed.iquote[0], options={'include_paths': parsed.iquote}))
 
 
 if __name__ == "__main__":

onlinejudge_verify/documentation/build.py

@@ -68,7 +68,7 @@ def _render_source_code_stat(stat: SourceCodeStat, *, basedir: pathlib.Path) ->
     try:
         language = onlinejudge_verify.languages.list.get(stat.path)
         assert language is not None
-        bundled_code = language.bundle(stat.path, basedir=basedir).decode()
+        bundled_code = language.bundle(stat.path, basedir=basedir, options={'include_paths': [basedir]}).decode()
     except Exception:
         logger.warning("failed to bundle: %s", str(stat.path))
         bundled_code = traceback.format_exc()

onlinejudge_verify/languages/cplusplus.py

@@ -186,8 +186,10 @@ def list_dependencies(self, path: pathlib.Path, *, basedir: pathlib.Path) -> Lis
         joined_CXXFLAGS = ' '.join(map(shlex.quote, [*env.CXXFLAGS, '-I', str(basedir)]))
         return _cplusplus_list_depending_files(path.resolve(), CXX=env.CXX, joined_CXXFLAGS=joined_CXXFLAGS)
 
-    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bytes:
-        bundler = Bundler(iquotes=[basedir])
+    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path = pathlib.Path.cwd(), options: Dict[str, Any]) -> bytes:
+        include_paths: List[pathlib.Path] = options['include_paths']
+        assert isinstance(include_paths, list)
+        bundler = Bundler(iquotes=include_paths)
         bundler.update(path)
         return bundler.get()
 

onlinejudge_verify/languages/csharpscript.py

@@ -109,7 +109,7 @@ def list_attributes(self, path: pathlib.Path, *, basedir: pathlib.Path) -> Dict[
     def list_dependencies(self, path: pathlib.Path, *, basedir: pathlib.Path) -> List[pathlib.Path]:
         return list(_get_csx_dependencies(path.resolve()))
 
-    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bytes:
+    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path, options: Dict[str, Any]) -> bytes:
         raise NotImplementedError
 
     def list_environments(self, path: pathlib.Path, *, basedir: pathlib.Path) -> Sequence[CSharpScriptLanguageEnvironment]:

onlinejudge_verify/languages/models.py

@@ -40,7 +40,7 @@ def list_dependencies(self, path: pathlib.Path, *, basedir: pathlib.Path) -> Lis
         raise NotImplementedError
 
     @abc.abstractmethod
-    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bytes:
+    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path, options: Dict[str, Any]) -> bytes:
         """
         :throws Exception:
         :throws NotImplementedError:

onlinejudge_verify/languages/nim.py

@@ -82,7 +82,7 @@ def list_dependencies(self, path: pathlib.Path, *, basedir: pathlib.Path) -> Lis
                 stk.append(child)
         return list(set(dependencies))
 
-    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bytes:
+    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path, options: Dict[str, Any]) -> bytes:
         raise NotImplementedError
 
     def is_verification_file(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bool:

onlinejudge_verify/languages/python.py

@@ -4,7 +4,7 @@
 import sys
 import textwrap
 from logging import getLogger
-from typing import List, Sequence, Tuple
+from typing import Any, Dict, List, Sequence, Tuple
 
 import importlab.environment
 import importlab.fs
@@ -78,7 +78,7 @@ class PythonLanguage(Language):
     def list_dependencies(self, path: pathlib.Path, *, basedir: pathlib.Path) -> List[pathlib.Path]:
         return _python_list_depending_files(path.resolve(), basedir)
 
-    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path) -> bytes:
+    def bundle(self, path: pathlib.Path, *, basedir: pathlib.Path, options: Dict[str, Any]) -> bytes:
         """
         :throws NotImplementedError:
         """