새로운 방법론

[jin-jae]

현재 Training-free 방법론에 대해서 고민하고 개발하고 있습니다.
사람의 사고방식에서 착안한 방식으로, 한 번 시도해보고자 합니다.

1. Test Dataset의 질문에서 핵심 명사 n개 추출하기
2. 핵심 명사를 기반으로 단순 알고리즘 Search 수행
3. Search 된 문서 범위 내에서 질문 전체를 query로 넣고 Faiss Retrieval을 통해 최종 4~5개 문서 추출
4. 해당 문서들을 sLLM에 넣고 Prompt Engineering을 통해 답변 생성

이번 주말까지 해당 내용을 수행, 결과를 여기에 기록해두도록 하겠습니다.

[LHANTAEK]

오.. 흥미롭네요 그러면 결국 sLLM으로 데이터를 증강시켜서 학습시킨다는 의미로 이해하면 될까요?
그러면 sLLM은 어떤 걸로 해볼 예정인가요?

[jin-jae]

데이터를 증강하지는 않고, sLLM은 프롬프트에 잘 답변하는 용도로 활용하고자 합니다.
좋은 지문을 찾아내면, 그 지문 내에서 내용을 찾아내는 것은 작은 크기의 LLM이 충분히 수행할 수 있을 것이라 판단하였습니다.

[simigami]

1-4에 대한 간단한 예시 (query) -> (query, passage) -> (query, passage, answer)가 있으면 좋을 것 같습니다.

1에서 "핵심 명사" 추출이면 알고리즘이나 AI로 핵심 명사를 추출하는 것을 추가로 구현하는 것인가요?

[jin-jae]

어느 정도 구현이 완료되면 예시를 추가해두도록 하겠습니다.
"핵심 명사의 추출"은 현재 Okt 등 다양한 tokenizer를 이용하여 직접 테스트해보고 있습니다.