Retrieval research

[Mujae]

RAG 관련 조사 내용 다 적어주세요~

[wonsjeong]

Parent Document Retriever

용도: 전후 맥락을 더 잘 반영되게 할 수 있다.
예시: A라는 문서가 Chunk 1, 2, 3으로 나누어지고 Chunk 1이 Retrieve 되었을 때 대부분의 내용이 Chunk 1에 있지만 정말 중요한 내용이 잘려서 Chunk 2에 존재하면 RAG 성능이 저하될 수 있다. 따라서 Chunk 1의 Parent 문서 A를 Retrieve하게 하여 Generator에 전달해 준다면 전후맥락을 유지하여 중요한 내용을 잃지 않고 답변할 수 있게 된다.

Self Querying Retriever

용도: Query로 문서의 메타데이터에 기반하여 필터링이 가능하다.
예시: "O월 O일에서 O월 O일까지 날씨를 알려주세요."라고 한다면 우리가 가진 문서에서 기존 Retriever는 날짜라는 수치에 기반해서 찾기보다는 문장의 유사도를 기준으로 비슷한 의미의 문서를 찾아올 것이다. 즉, 우리가 원하는 날짜의 날씨가 Retrieve되지 않고 단지 비슷한 의미의 날씨 문서를 가져올 것이다. 하지만 사용자는 특정 날짜의 날씨를 원한다. 따라서 Self Querying Retriever는 미리 문서의 메타데이터에 날짜를 기록해 놓았다면 이를 기반으로 Retrieve해서 정확한 날짜의 문서를 필터링하여 가져올 수 있다.

프로젝트에 두 가지 기능을 고려해 보아도 좋을 것 같습니다.

[Mujae]

embedding benchmark
teddy: https://github.com/teddylee777/Kor-IR?tab=readme-ov-file
mteb: https://github.com/su-park/mteb_ko_leaderboard