[TEAM] 한국어만의 특징을 담은 인스트럭션 데이터셋/벤치마크

[4N3MONE]

한국어만의 특징을 담은 인스트럭션 데이터셋/벤치마크

1. 프로젝트 개요

• 배경 및 필요성:

  • 최근 공개되고 있는 대형 언어 모델들은 대부분 주류 언어(영어, 중국어) 위주로 학습한 모델임
  • 한글, 한국어, 한국의 문화를 담은 데이터셋을 만들고 이를 평가할 수 있다면 한국어 사용자들의 사용 경험을 증진시킬 수 있음
  • "재밌음"

• 프로젝트 목표:

  • 참가자들의 의견을 수렴 하여 벤치마크 / 데이터셋 中 1개 선택하여 진행
  • n행시, 꼬들, 쌍근, 초성맞추기, 아재개그, 신조어 등 한글 및 한국어의 특색을 담은 데이터셋 혹은 모델의 유추 능력을 평가할 수 있는 벤치마크 제작
  • 데이터셋 / 벤치마크 완성 후 HuggingFace 공개
  • 추후 논문 작성(가능하면!!)
  • 가장 중요한 것 : 프로젝트 참가자들이 데이터셋 라이프사이클(수집-정제-학습-평가)을 경험해보는 것

• 적용 분야:

  • 언어 모델 파인 튜닝 및 성능 측정

2. 목표 및 성공 지표

• 주요 목표:

  • 세상에 없었고, 누군가는 유용하게 사용할 데이터셋/벤치마크 제작

• 성공 지표:

  • 정량적 지표:
    • (데이터셋의 경우) 한국어 능력 평가 벤치마크 결과 비교
    • (벤치마크의 경우) 각 모델별 성능 평가결과 도출
  • 정성적 지표:
    • llm-as-a-judge
    • 도메인 전문가(한국어 사용자인 우리^^) 평가

3. 데이터 수집 및 전처리

• 데이터 출처:

  • 공개 데이터셋 -> 어디에도 없는 데이터셋을 만드는 것이 목표이므로 힘들겠지만 기존 데이터셋을 변형해서 사용할 수 있을 지 생각해보기
  • 웹 스크래핑
  • 라이선스 검증(오픈소스, 퍼블릭 도메인 등)
  • 우리 머릿속^^

• 데이터 수집 전략:

  • API 활용 및 웹 크롤링 스크립트 개발
  • 수집 데이터의 중복 제거 및 통합 (CSV/JSON 형태)
  • 직접 제작^^
  • seed 데이터 제작 후 증강
  • 증강 데이터 활용 시 퀄리티 필터링

4. 모델 선정 및 파인튜닝 전략

• sLLM 중 자원이 허락하는 한에서 다양한 모델 학습
• Full Fine-Tuning, PEFT, DPO 등 다양한 방법 시도
• 기본적으로 싱글 턴을 전제하지만 필요 시(스무고개,끝말잇기 등) 멀티 턴 데이터셋 제작 후 학습하는 것을 목표로 함

5. 성능 평가 및 검증 계획

• 평가 지표:
  • 정량적 평가:
    • TBD
  • 정성적 평가:
    • llm-as-a-judge
    • human judge (HuggingFace Space 만들어서 투표 받아보기^^)

6. 프로젝트 진행 계획(변경 가능)

기간	주요 작업
1-2주차	벤치마크 / 데이터셋 제작 여부 결정 , 세부 주제 결정(1~3가지 주제), 데이터 출처 조사
3-4주차	데이터셋/벤치마크 제작 파이프라인 작성 후 제작
4-5주차	데이터셋/벤치마크 제작 파이프라인 작성 후 제작 (cont'd), 데이터 퀄리티 필터링,
6-7주차	모델 파인튜닝 및 성능 평가, 허깅페이스 배포, 스페이스 게시

[harheem]

아주 흥미로운 프로젝트라 팀원 지원하고 싶습니다 ㅎㅎㅎㅋㅋㅋ

[fabxoe]

함께하고 싶습니다 🫰🏻