HW5 is out

[duncan020313]

안녕하세요. 다섯 번째 과제인 ThriLLVM Analyzer에 대한 공지입니다.

여러분은 이 과제를 통해 ThriLLVM 언어에서 division-by-zero, null-dereference 오류를 검출하는 정적 분석기를 구현하게 됩니다.
더 자세한 설명과 안내는 README.md를 참고해 주세요.

제출

아래 링크를 통해 과제 레포지토리를 생성하고 과제를 진행해주시기 바랍니다.
https://classroom.github.com/a/GbQq9B9K

과제 채점은 Gradescope 를 통해 이루어집니다. 5. Thrillvm Analyzer 라는 이름의 과제에 제출해주시기 바랍니다.

채점

과제 점수는 네 가지 점수의 합으로 결정됩니다.

1. Test 점수 (60%): 구현한 분석기가 실제 알람을 모두 검출했는지에 따라 결정됩니다.
2. Precision 점수 (15%): 분석기의 정확도에 따라 결정됩니다.
3. Efficiency 점수 (15%): worklist 알고리즘의 효율성에 따라 결정됩니다.
4. 퀴즈 점수 (10%): 저장소 quiz파일에 있는 문제에 대한 점수입니다. 반드시 quiz파일에 답안을 작성하여 Gradescope에 올려 주세요.

Precision 점수는 오탐 비율로 결정되며, 다음과 같이 계산됩니다.

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

Efficiency 점수는 분석기를 실행하는 동안 사용된 join, widen, narrow 연산 개수의 합을 가장 성능이 좋은 분석기와 비교하여 결정합니다.
계산 방식은 다음 코드를 참고해 주세요.

op_score = 2 - your_op_count / expected_op_count
if (op_score < 0)
    op_score = 0
else if (op_score > 1)
    op_score = 1

참고로 기본 테스트 케이스와 학생 여러분의 개인 테스트 케이스의 덮이 (Coverage) 또한 채점 기준에 포함됩니다.
이번 과제의 덮이 기준은 80%입니다.
다음 문서를 참고하여 개인 테스트 케이스를 추가해 주세요.

기한

제출 마감: 05. 05 (월) 23:59
늦은 제출 마감: 05. 07 (수) 23:59

감사합니다.

P.S. Gradescope 리더보드에 있는 Elvis (TA) 라는 이름의 점수는 조교의 점수이고, Hoseong Lee (2024S), Daehyun574 (2023F) 라는 이름의 점수는 이전 수강생들 중 다섯 번째 과제에서 우수한 성적을 거둔 학생의 점수입니다.

---

Hello. This is an announcement regarding the fifth assignment, ThriLLVM Analyzer.

Through this assignment, you will implement a static analyzer that detects division-by-zero and null-dereference errors in the ThriLLVM language.
Please refer to README.md for more detailed explanations and guidance.

Submission

Please create the assignment repository using the link below and proceed with the assignment.
https://classroom.github.com/a/GbQq9B9K

Assignment grading will be done through Gradescope. Please submit to the assignment named 5. Thrillvm Analyzer.

Grading

The assignment score will be determined by the sum of the four scores.

1. Test Score (60%): Determined by whether the analyzer you implemented detects all actual alarms.
2. Precision Score (15%): Determined by the accuracy of the analyzer.
3. Efficiency Score (15%): Determined by the efficiency of the worklist algorithm.
4. Quiz Score (10%): Score for the problems in the quiz file in the repository. Please be sure to write your answers in the quiz file and upload it to Gradescope.

Precision score is determined by the correctness of the reported alarms and is calculated as follows:

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

Efficiency score is determined by comparing the sum of the number of join, widen, and narrow operations used during the analyzer's execution with that of the best-performing analyzer.
Please refer to the following code for the calculation method:

op_score = 2 - your_op_count / expected_op_count
if (op_score < 0)
    op_score = 0
else if (op_score > 1)
    op_score = 1

Note that the coverage of both the basic test cases and your custom test cases is also included in the grading criteria.
The coverage requirement for this assignment is 80%.
Please add personal test cases by referring to the following document.

Deadline

Submission Deadline: 05. 05 (Mon) 23:59
Late Submission Deadline: 05. 07 (Wed) 23:59

Thank you.

P.S. The scores under the name Elvis (TA) on the Gradescope leaderboard are the TA's scores, and the scores under the names Hoseong Lee (2024S) and Daehyun574 (2023F) are the scores of students from previous semesters who achieved excellent results on the fifth assignment.