HW6 is out

[sujin0529]

안녕하세요. 여섯 번째 과제인 SmaLLVM Watermark Detector에 대한 공지입니다.

여러분은 이 과제를 통해 간단한 LLVM 언어에서 프로그램에 있는 워터마크를 검출하는 정적 분석기를 구현하게 됩니다.
더 자세한 설명과 안내는 README.md를 참고해 주세요.

제출

아래 링크를 통해 과제 레포지토리를 생성하고 과제를 진행해주시기 바랍니다.
https://classroom.github.com/a/dTAA3GgL

과제 채점은 Gradescope 를 통해 이루어집니다. 6. SmaLLVM Watermark Detector 라는 이름의 과제에 제출해주시기 바랍니다.

채점

과제 점수는 세 가지 점수의 합으로 결정됩니다.

1. Test 점수 (70%): 구현한 분석기가 실제 알람을 모두 검출했는지에 따라 결정됩니다.
2. Precision 점수 (15%): 분석기의 정확도에 따라 결정됩니다.
3. Efficiency 점수 (15%): worklist 알고리즘의 효율성에 따라 결정됩니다.

Precision 점수는 오탐 비율로 결정되며, 다음과 같이 계산됩니다.

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

Efficiency 점수는 분석기를 실행하는 동안 사용된 join, widen, narrow 연산 개수의 합을 가장 성능이 좋은 분석기와 비교하여 결정합니다.
계산 방식은 다음 코드를 참고해 주세요.

op_score = 2 - your_op_count / expected_op_count
if (op_score < 0)
    op_score = 0
else if (op_score > 1)
    op_score = 1

참고로 기본 테스트 케이스와 학생 여러분의 개인 테스트 케이스의 덮이 (Coverage) 또한 채점 기준에 포함됩니다.
이번 과제의 덮이 기준은 80%입니다.
다음 문서를 참고하여 개인 테스트 케이스를 추가해 주세요.

기한

제출 마감: 05. 18 (일) 23:59
늦은 제출 마감: 05. 20 (화) 23:59

감사합니다.

P.S. Gradescope 리더보드에 있는 Elvis (TA) 라는 이름의 점수는 조교의 점수이고, duncan020313 (2024S) 이라는 이름의 점수는 이전 수강생들 중 여섯 번째 과제에서 우수한 성적을 거둔 학생의 점수입니다.

---

Hello. This is an announcement regarding the sixth assignment, SmaLLVM Watermark Detector.

Through this assignment, you will implement a static analyzer that detects program watermarks in the simple LLVM language.
Please refer to README.md for more detailed explanations and guidance.

Submission

Please create the assignment repository using the link below and proceed with the assignment.
https://classroom.github.com/a/dTAA3GgL

Assignment grading will be done through Gradescope. Please submit to the assignment named 6. SmaLLVM Watermark Detector.

Grading

The assignment score will be determined by the sum of the three scores.

1. Test Score (70%): Determined by whether the analyzer you implemented detects all actual alarms.
2. Precision Score (15%): Determined by the accuracy of the analyzer.
3. Efficiency Score (15%): Determined by the efficiency of the worklist algorithm.

Precision score is determined by the correctness of the reported alarms and is calculated as follows:

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

Efficiency score is determined by comparing the sum of the number of join, widen, and narrow operations used during the analyzer's execution with that of the best-performing analyzer.
Please refer to the following code for the calculation method:

op_score = 2 - your_op_count / expected_op_count
if (op_score < 0)
    op_score = 0
else if (op_score > 1)
    op_score = 1

Note that the coverage of both the basic test cases and your custom test cases is also included in the grading criteria.
The coverage requirement for this assignment is 80%.
Please add personal test cases by referring to the following document.

Deadline

Submission Deadline: 05. 18 (Sun) 23:59
Late Submission Deadline: 05. 20 (Tue) 23:59

Thank you.

P.S. The scores under the name Elvis (TA) on the Gradescope leaderboard are the TA's scores, and the score under the name duncan020313 (2024S) is the score of the student from previous semesters who achieved an excellent result on the sixth assignment.