Train_valid 240개 QA에 대한 고찰

[ssunbear]

Train_valid 240개에 대한 QA를 분석해봤습니다.
@simigami @doraemon500 @jin-jae @LHANTAEK

특이한 사항이 몇개 있어서 간단히 이슈남기려고 합니다
1. 숫자 관련 이슈

인형사'를 만들어낸 것으로 추측되는 사업의 이름은?,'일급 비밀 프로젝트 2501'
예루살렘의 공방전이 지속된 기간은?,석달
1급 비밀이 아닌 일급비밀, 세달이 아닌 석달과 같이 일반적으로 생각하는 숫자가 아닌 데이터셋에서 주어진 그대로 출력해야한다는 점이 꽤 흥미로웠습니다. 전처리 시 중요시해야할 것 같습니다

2. 괄호 문제
조선의 민족대표들이 조선이 독립국임을 선언한 곳은?,태화관(서울시 종로구 인사동 소재)
코페르니쿠스의 지동설에 대한 내용으로 그의 사후에 발간된 책은?,《천체의 회전에 관하여》

설명에 이어 ()가 있는 것과 <>와 같이 있는 것들이 존재합니다. (), <>가 없을 때 EM이 올라가는지 확인해 보면 좋을 것같습니다

3. 답변에 설명이 포함되어 길어지는 이슈
러셀은 누구의 가족과 함께 1889년 파리 박람회에 갔는가?,퀘이커 교도였던 앨리스 페어살 스미스
본국 의회가 제정한 선언법은 식민지와 관련하여 무엇을 의미하는가?,본국 의회가 식민지에 대한 입법을 “어떤 경우에도 행할 수” 있도록 하였다

이렇게 질문에 대한 답변이 길어지는 것들에 대한 처리를 어떻게 할 것 인지 논의를 하면 좋을 것 같습니다.

[simigami]

일단 저의 의견입니다.
1 -> 가장 좋은 것은 다의어(석달, 3달 등)도 학습할 수 있는 모델로 만드는 것 같습니다. 이를 위해서는 다의어에 대한 데이터셋을 GAN등을 통해 생성하거나 구해야 할 것입니다. 이것이 아니라면 전처리 과정으로 다의어를 1개의 토큰으로 치환하는 것이 좋을 것 같습니다.

2 -> 2의 경우에는 원래 브라켓이 안의 내용에 따라 사용되는 convention이 존재하는데, 이것이 크게 반영이 된 것이 아니면 하나로 치환하는 것이 제일 좋을 거 같습니다.

3 -> 위 데이터 셋을 직접 확인해봤는데 Extraction-based MRC Task라서 Context에 있는 문맥을 그대로 가져온 것 같습니다. 따라서 긴 답변을 줄이고 싶다면 1. 통일적인 문법으로 답변을 줄이고, 2. 줄여진 답변을 그대로 Context에도 수정해야 합니다. 3. Answer에 있는 answer start 위치도 변한다면 바꿔줘야 합니다. 위 3가지를 Batch 수행할 수 있는 라이브러리나 코드가 있는지 확인해 봐야 할 것 같습니다.

[ssunbear]

횟수가 남아서 2번에 대한 처리를 진행해서 제출을 해보았습니다.
()안의 설명을 지우거나, (), <>, \등을 지워서 json파일을 제출해도 EM이 똑같이 나왔습니다.