PDF OCR이 되기 전 임시 retrieval 평가 데이터로 뭐가 좋을까요?

[Mujae]

1. klue-mrc
2. naver boost camp ODQA datasets
3. allganize banchmark (한글+finance+여러모델답변 포함 but PDF 전처리 과정이 필요)

찾아봤는데 금융+한글+retrieval평가가능이 몇 없더라구요.
그래서 금융 데이터 특성상 특정 단어의 사용이 많아 query와 문맥 간 단어 일치가 자연스럽게 중요해 보이며, 저번 데이터셋도 이러한 점을 잘 보여주었기 때문에 domain은 다르나 임시로 활용하기에는 괜찮지 않을까 싶네요.

좋은 아이디어나 의견 부탁드려요~

[elwhyjay]

3번에 finance 데이터가있다면 이것도 좋을거같네요. 정안되면 ODQA데이터셋이 좋을거같아요.

[Mujae]

의견 감사합니다.

3번 데이터는 PDF 전처리가 필요해서 저희 리서치가 끝나면 활용하는 방향으로 가겠습니다~

3번 링크: https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-KO
3번 리뷰 블로그: https://didi-universe.tistory.com/entry/RAG-RAG-벤치마크-데이터셋-성능-평가-리뷰-RAG-Evaluation-Dataset-KO

[Mujae]

ODQA project retrieval 성능평가

[Mujae]

'intfloat/multilingual-e5-large-instruct' 임베딩 모델 top-50 성능