ストレステストに対応して欲しい

[tatyam-prime]

Description / 説明

現在の verify には特定のサイト上の問題が必要だと思うのですが、手元でランダムケースを生成してテストしたいです。

入出力が 1 個だけのダミーの問題があればいいんですが…

Other notes / その他

• Will you try to create a pull request?
  • やる気があります

[kzrnm]

http://judge.u-aizu.ac.jp/onlinejudge/description.jsp?id=ITP1_1_A は1ケースしかないのでこれを使う想定らしいです。

#74 (comment)

現状でも http://judge.u-aizu.ac.jp/onlinejudge/description.jsp?id=ITP1_1_A を指定して hoge.test.cpp の中でランダムケースを生成することでだいたい同じことができ、こちらの方が圧倒的に楽

[tatyam-prime]

Hello World を書くのは変な感じするし、ストレステストは大量のケースでテストできるというメリットがあるので、ストレステストができる機能はあるべきだと思います。

[kzrnm]

verification-helper を使わない解決策

フォークの competitive-verifier では PROBLEM を使わない実行にも対応したので、移行しても良いなら使ってみてください。

https://competitive-verifier.github.io/competitive-verifier/document.ja.html#%E3%83%A6%E3%83%8B%E3%83%83%E3%83%88%E3%83%86%E3%82%B9%E3%83%88%E3%81%AE%E8%A8%AD%E5%AE%9A

verification-helper での解決策

verification-helper/onlinejudge_verify/verify.py

Lines 103 to 115 in c420326

	# run test using oj
	command = ['oj', 'test', '-c', execute, '-d', str(directory / 'test'), '--print-input', '--tle', str(tle)]
	if isinstance(problem, onlinejudge.service.library_checker.LibraryCheckerProblem):
	command += ['--judge-command', str(problem.download_checker_binary())]
	if 'ERROR' in attributes:
	command += ['-e', attributes['ERROR']]
	if jobs != 1:
	command += ['-j', str(jobs)]
	try:
	exec_command(command)
	except Exception:
	traceback.print_exc()
	return False

oj test コマンドでテストされるのでダミー用の problem を返してあげれば動くはずです。

ダミーURLを決める

たとえば 「 PROBLEM=http://example.com/nothing のときにダミーの問題を使う」と定義する。

ダミーの problem を返す

verification-helper/onlinejudge_verify/verify.py

Line 72 in c420326

problem = onlinejudge.dispatch.problem_from_url(url)

onlinejudge.dispatch.problem_from_url を書き換えてダミーを返す。

problem_from_url_orig = onlinejudge.dispatch.problem_from_url

def problem_from_url(url: str) -> Optional[Problem]:
    if url == 'http://example.com/nothing':
        return DummyProblem()
    return problem_from_url_orig(url)

onlinejudge.dispatch.problem_from_url =problem_from_url