240914-240919의 제출내역 고찰

[ssunbear]

5일간 다양한 실험을 진행하면서 기록을 남겨 팀원께 공유하려 합니다. @simigami @doraemon500 @LHANTAEK @jin-jae

제 생각의 흐름을 1-6으로 정리했습니다.

1. 모델을 잘 골라야겠다. -> 전처리X, 증강 X 시 각 모델의 pearson 계수들은 어떻게 나올까? -> 0.92이상 나오는 모델들을 선정해야겠다.
   (실험 조건: 배치사이즈 16, 32/ 학습률 1e-5, 최대에폭 20)
   참고: https://www.notion.so/jinjae/Leader-Board-a098ecff59714678809eababbd71259c

2. 평가지표인 Pearson이 선형이므로 Outlier에 취약한 점에 기반하여, Ensemble 활용해야겠다. (리더보드 제출 14-28)
   -> 처음에는 pearson 값이 높은 모델 3,4개를 앙상블을 다양하게 진행함 -> 개수가 4개정도 나왔을때 0.93에 가까워짐을 느꼈음
   -> 이후 pearson 값이 0.92 이상되는 모델들을 추가하여 앙상블을 진행하였는데 성능이 좋아짐을 느꼈음
   -> 스크린샷속 모델 1-7을 다양한 조합으로 앙상블했을때 pearson 계수가 어떻게 나올 수 있을까 다양한 실험을 진행 -> 최고 결과: 0.9351 (모델 7개 전부 사용하여 평균 앙상블)

3. 이후 7개의 기본모델을 가중평균 앙상블하여 의미있는 성능 향상 내는 것이 어려울 수 있겠다.
   -> 데이터 전처리와 증강을 시도하여 성능 향상을 이뤄내야겠다.
   -> 일단 train 데이터 분석을 진행함
   -> 라벨 5의 데이터 셋이 너무 적고, 그에 비해 라벨 0의 데이터가 많음을 발견
   -> Label Smoothing : 라벨 0의 데이터를 undersampling / Copied Translation: 라벨 5 데이터 생성 / Swap Sentence : 데이터 순서를 바꾸기
   -> 일단 세가지의 증강을 시도하여 aug_train.csv로 저장하였음 증강 파이썬 코드augmentation.py로도 저장해뒀음.

4. 증강 모델로 다양한 학습을 진행하여 pearson 계수가 0.92 이상이 되는 것을 다시 찾아야겠다. (모델 14-22)
   기존에 검사한 모델외에도 다양한 23년 하반기 이후 나온 모델들을 찾아서 학습을 진행

5. 기존 모델(모델 1-7) + 증강모델 (13-22) csv파일을 앙상블해서 제출해봐야겠다 (리더보드 제출 30-40)
   -> 최대 결과 0.9361
   -> 19일 저녁까지 제출횟수가 남아있다면 앙상블의 추가적인 실험(가중 비율조정, 모델 개수 조정)을 진행해서 조금 더 성능을 높이는 시도를 할 예정
   -> 개인적인 생각으로 어느정도 0.9361이 한계점에 가까워졌다고 생각하여 새로운 방법으로 타파해야 할 것같다.

6. 20일 팀 회의시간에 새로운 방법에 대한 논의를 하면 좋을 것같습니다.

• 번역 모델 Back Translation
• 데이터 전처리 : ㅋㅋㅋ 등 문자에 관한 논의, 특수 문자에 관한 논의 등등

🥇 남은 일주일동안 리더보드 잘 지켜 내봅시다!