[HW3] 'make test' passed on my VM, but "Public Tests Failed" in Gradescope

[hojune02]

이름 Your Name

김호준

Question

제 VM에서 HW3 테스트를(make test 커맨트를 root 디렉토리에서 실행했습니다) 진행했을 때, expected 파일과 아무 차이가 없었고 출력값 없이 통과하였습니다. 그러나 gradescope에 제출했을 때는 Public Test Failed 메시지를 받았는데, 어떤 이유가 있을까요? 감사합니다.

When I ran the tests for HW3 on my virtual machine (via make test under the root directory), there was no discrepancy with the expected files and I thought I passed all my public tests. However, when I uploaded my source code to Gradescope, I received the "Public Tests Failed" message. What could be the reason for this? Thank you for your help in advance.

[leehahoon]

안녕하세요.
확인 결과, crack에 대한 커버리지를 측정하기 위해 추가하신 스크립트가 원인인 것으로 확인되었습니다.
현재 crack은 커버리지 측정 대상에서 제외되고 있으니, 이 점 참고해 주시기 바랍니다.
또한, 테스트케이스에 임의의 스크립트를 작성하여 삽입하게 될 경우, 정상적인 채점이 어려우니 해당 방식은 삼가해 주시기 바랍니다.
추가적으로, 커버리지 향상을 위해 다른 파일이나 기능에서 불필요한 코드들을 정리해 나가시는 것을 권장드립니다.
감사합니다.

---

Hello,
We found that the script you added to measure coverage for crack was the cause of the issue.
Please note that crack is currently excluded from coverage measurement.
Additionally, inserting arbitrary scripts into the test cases may interfere with proper grading, so we kindly ask that you refrain from doing so.
To further improve coverage, we recommend cleaning up unnecessary code in other files or functions.
Thank you.

[hojune02]

답변 감사드립니다.
Thank you for your kind reply :)

[jwoo0122]

crack이 coverage에서 제외되는 것이 맞을까요? 로컬에서 make coverage 실행 후 report html을 열어보면 collistion.ml과 main.ml의 crack 부분이 uncovered로 표시되고 있어서요.

Is it correct that the crack is excluded from the coverage? I can see that the collision related lines in main.ml and collision.ml itself is evaluated as uncovered in the coverage report generated by make coverage.

[leehahoon]

crack이 커버리지 측정에서 제외되고 있다는 것은, crack의 경우, ./sha hash32, ./sha hash256과 같이 실행하여 커버리지를 측정하지 않고 있다는 뜻입니다. 따라서 crack 관련 부분은 uncovered로 표시되는 것이 맞습니다. 따라서 커버리지 향상을 위해서 crack이 아닌 다른 파일이나 기능에서 불필요한 코드들을 정리해 나가시는 것을 권장드린 것입니다.

---

When we say that crack is excluded from coverage measurement, it means that coverage is not measured by running commands like ./sha hash32 or ./sha hash256 specifically for the crack.
As a result, it is expected that parts related to crack are shown as uncovered.
Therefore, our recommendation to improve coverage was to focus on cleaning up unnecessary code in other files or functions rather than in crack.