HW4 is out

[sujin0529]

안녕하세요. 네 번째 과제인 SmaLLVM Analyzer 과제에 대한 공지입니다.

여러분은 이 과제를 통해 간단한 LLVM 언어에서 division-by-Zero 오류를 검출하는 분석기를 구현하게 됩니다.
더 자세한 설명과 안내는 README.md를 참고해주세요.

제출

아래 링크를 통해 과제 레포지토리를 생성하고 과제를 진행해주시기 바랍니다.
https://classroom.github.com/a/VwPH0TnW

과제 채점은 Gradescope 를 통해 이루어집니다. 4. SmaLLVM Analyzer 라는 이름의 과제에 제출해주시기 바랍니다.

과제 점수는 세 가지 점수의 합으로 결정됩니다.

• Test 점수 (70%): 구현한 분석기가 실제 알람을 모두 검출했는지에 따라 결정됩니다.
• Precision 점수 (15%): 분석기의 정확도에 따라 결정됩니다.
• Efficiency 점수 (15%): worklist 알고리즘의 효율성에 따라 결정됩니다.

Precision 점수는 오탐 비율로 결정되며, 다음과 같이 계산됩니다.

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1.0
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

참고로 기본 테스트 케이스와 학생 여러분의 개인 테스트 케이스의 커버리지 또한 채점 기준에 포함됩니다.
이번 과제의 커버리지 기준은 80%입니다.
다음 document를 참고하여 개인 테스트 케이스를 추가해주세요.

기한

제출 마감: 04. 17 (목) 23:59
늦은 제출 마감: 04. 19 (토) 23:59

감사합니다.

P.S. Gradescope 리더보드에 있는 Elvis (TA) 라는 이름의 점수는 조교의 점수이고, KunJeong (2020S) 라는 이름의 점수는 이전 수강생들 중 가장 높은 점수를 받은 학생의 점수입니다.

---

Hi all, this is an announcement about homework 4.

Homework 4 is a programming assignment requiring you to implement the SmaLLVM analyzer to detect division-by-Zero errors.
Please refer to the README.md for more detailed description and guidance.

Submission

Here is the GitHub classroom link for this homework:
https://classroom.github.com/a/VwPH0TnW

Your implementation will be graded using Gradescope. You submit it for the assignment 4. SmaLLVM Analyzer.

Your score will comprise three elements.

• Test score (70% of overall score): score regarding whether your analyzer reports all the expected true alarms
• Precision score (15% of overall score): score regarding the precision of your analyzer
• Efficiency score (15% of overall score): score regarding the efficiency of your worklist algorithm

The precision score accounts for the false positive ratio.
It will be computed as follows

if (no_true_alarms)
    if (your_alarms == 0)
        precision = 1.0
    else
        precision = 1 / your_alarms
else
    precision = true_alarms / your_alarms

For reference, we will check the coverage of your code using the basic tests + your custom tests.
The coverage threshold for this assignment is 80%.
Refer to this document for how to add your custom tests.

Deadline

Due: 04. 17 (Thu.) 23:59
Late Due: 04. 19 (Sat.) 23:59

Hope you have fun,
Thanks.

P.S. The scores for Elvis (TA) and KunJeong (2020S) on the Gradescope leaderboard are the TA's score and the highest score among previous students, respectively.

[bongjunj]

How is the efficiency score evaluated?
Can you release the formula?

[sujin0529]

안녕하세요.
효율성 점수는 조교의 구현이나 이전 수강생들 중 가장 좋은 성능을 보인 구현을 기준으로 메모리 오퍼레이션이 얼마나 적게 사용되었는지를 가지고 평가합니다.

정확하게는 아래와 같이 계산됩니다.

op_score = 2 - your_op / expected_op
if op_score < 0
    op_score = 0
else if op_score > 1
    op_score = 1

---

Hi,
The efficiency score is computed based on how few memory operations are used compared to the TA or the best-performing previous students.
The score is computed as follows:

op_score = 2 - your_op / expected_op
if op_score < 0
    op_score = 0
else if op_score > 1
    op_score = 1

[sujin0529]

참고로 여기서 말하는 메모리 오퍼레이션은 join, widen, narrow 를 의미합니다.
따라서 효율성 점수를 통해 이 오퍼레이션들을 얼마나 최소한으로 사용하여 효율적으로 분석했는지를 평가합니다.

---

FYI, the memory operations refer to join, widen, and narrow.
Thus, the efficiency score evaluates how efficiently the analysis was performed by minimizing the use of these operations.

[EunsuKim03]

안녕하세요,
지금 gradescope에는 과제 제출 기한이 17일 오전 11시 59분으로 나와있는데 어떤 기한이 맞는 건가요?

[sujin0529]

오후 11시 59분이 맞습니다. 수정하겠습니다.