개발로그

[minglet]

안내 사항

매주 1개씩 자신의 작업물에 대해서 짧게 요약하는 문서 입니다.
아래의 예시를 참고하여 모임(매주 화요일 8시 30분) 전까지 업로드 해주세요!

개발로그 예시

Last Week

유저 이력서와 가장 유사한 JD 추천

• 샘플데이터 수집
  • JD & 이력서 수집
• 샘플 이력서 간단한 전처리
• word2vec 문서 유사도 검사 실험
• RAG pipeline 제작
• JD chunk에 대한 retrieval Test

Next Week

• RAG pipeline 검증
  • 더 많은 샘플 데이터 실험
• VectorDB 셋업
• Prompt Engineering
• 유저 이력서 parsing 테스트

[MinwooKim1990]

Last Week

SmolAgent 사용 가능성
https://github.com/MinwooKim1990/SmolAgent
레포에 1. Internet Search Agent, 2. AgenticRAG, 3. Vison Browsing Agent

SmolAgent

• 장점:
  (1) 다양한 모델 사용이 쉬움
  (2) Tool 구성이 특별히 어렵지 않음 (json schema 대신 function description으로 사용 가능)
  (3) 에이전트 구성이 간편 (오케스트레이터 구현이 간단하며 서브 에이전트들도 간편)
  (4) 로그가 잘 구성됨
• 단점:
  (1) 로그가 너무 많아서 눈 아픔
  (2) 멀티에이전트 단점으로 토큰 사용량이 많음

Next Week

Internet Search Agent -> 회사 검색 결과 비교해보기
AgentRAG -> Phase 1 에 사용된 DB로 테스트
JobPT phase 1의 omniparser를 새로운 파서로 바꾸고 테스트

[byungchul-chae]

25.03.18

Last Week

• Local LLM vs API
  • RTX4080(16GB VRAM) 환경에서 실험
  • DeepSeek-R1-Qwen-Distill:7b, 14b, 32b / EXAONE-Deep-7.8B → 32b 제외 나머지 원할한 실행 가능
• Finetuning?
  • unsloth 이용하면 finetuning 가능 → single gpu(무료)일 경우 2배 성능 향상 기대
  • finetuning이 우선순위인가?
    • prompt tuning, rag가 먼저인가? → finetuning 자체의 의미는 있음, but 기간, 리소스 고려해야함
    • 평가는 어떻게 할것인가? → API와 로컬LLM 평가 기준 필요함 / RAGAS..?

Next Week

• 현재 API 모델 / 로컬 모델 서치한 지표를 통해 우선적으로 점수 매겨보기
• 로컬 모델로 언제든지 바꿀 수 있게 준비해야함
• 수정제안 Agent 팀(with 재강님)
  • Reference 찾기 / 프로토타입 만들기

[hykhhijk]

Last Week

• RAG 리뷰 및 리서칭
  • query는 metadata 정보들이, passage는 JD의 description이 들어감
  • 여러 기법을 비교하기 위해서는 Retrieval을 평가하기 위한 지표가 필요함
• 평가지표
  • 정답포함vs두 문장비교에서 정답 passage를 포함하는것을 tp로 두고 정확도를 비교하는 쪽이 좋아보임
  • 이번 task에서 passage를 맞춘다 = CV-JD가 매칭한다

Next Week

둘 다 진행해보고 더 좋은 방법으로 결정할 예정

1. CV-JD가 매칭되는 데이터셋을 찾는다
2. 수집된 JD를 기반으로 LLM을 통해 합격or불합격 CV를 생성한다

어떤 방식으로든 현재 Retrieval을 거치면 점수가 나오게끔 하는걸 목표로 삼고 추후 Retrieval에 여러 vectorDB, chunking등 바꿔끼워가며 실험진행 예정

[minglet]

Last Week

summary agent 실험

• input: JD, company name
• 사용 모델: gpt-4o mini
• 아래의 키워드 중심의 회사 정보 수집 요청
  • Industry & Domain
  • Competitors
  • Company Background
  • Talent Profile
  • Future & Outlook
  • Ongoing Projects & Initiatives

Thought

• 생각보다 더 긴 내용 → 마지막 Summary만 수정 제안 agent에 들어가도 괜찮을지 실험 필요할 듯
• 더 많은 케이스의 실험 필요 → 유명하지 않은 회사 & 잘 모르는 도메인의 회사
• 가장 유의미한 키워드를 뽑아주는 것도 좋을 듯 → 이력서에 키워드 중심으로 수정하면 될 것 같아서..
• 추가로 메타 데이터로 넣을 만한 것도 계속해서 디벨롭해야할 듯

Next Week

• 추가 실험
  • 긴 JD vs 짧은 JD
  • 유명하지 않은 회사 & 잘 모르는 도메인의 회사
• 더 유의미한 요소에 대한 고민
  • 회사의 대표적인 프로덕트
  • 추진하는 사업
  • 다른 경쟁사보다 우위에 있는 것
• search tool 정확성 검증

[workdd]

25.03.18

Last Week

JobPT Season1 버전 Docker compose로 띄우는 작업 진행

시행착오

1. OmniParser V1 Batch size 설정
   • OmniParser에서 default batch size가 None으로 처리 되어있어서 에러가 나는 경우가 발생했음.
   • OmniParser의 utils.py에서 기본 batch size값을 None이 아닌 1로 처리하여 에러 나는 경우가 없도록 수정
   • 수정된 OmniParserV1.zip 파일을 구글 드라이브에 재 업로드
2. Docker compose volume 문제
   • OmniParser에서 내부적으로 이미지를 저장할 때, /tmp 경로로 지정해 줌
   • web 도커 이미지와 api 도커 이미지가 서로 각각의 환경의 /tmp 경로를 가지고 있어 공유가 불가능함
   • Docker compose로 서버를 띄울 시, 공유 volume을 /tmp로 지정해두어 로컬 컴퓨터의 /tmp를 도커 환경 /tmp와 동일시함
3. Docker compose host 문제
   • web 이미지에서 api 이미지의 /matching api를 호출해야 하는데, 서로 각각의 다른 환경이여서 통신이 불가능한 문제 발생
   • network_model: "host" 옵션을 통해, 두 이미지가 모두 서버를 띄우는 컴퓨터 host의 환경과 동일시하는 옵션을 추가하여 해결

최종 Docker compose yaml 파일

version: "3"
services:
        api:
            image: ${DOCKER_USERNAME}/jobpt:api
            network_mode: "host"
            environment:
                - OPENAI_API_KEY=${OPENAI_API_KEY}
            volumes:
                - ./data:/app/data
                - /tmp:/tmp

        web:
            image: ${DOCKER_USERNAME}/jobpt:web
            network_mode: "host"
            environment:
                - OPENAI_API_KEY=${OPENAI_API_KEY}
            volumes:
                - ./data:/app/data
                - /tmp:/tmp

LangGraph 이해 및 실습 코드를 진행

Next Week

• 수정 제안 Agent 및 검토 LLM 방법론 고안
• LangGraph 코드 작업 진행

[MinwooKim1990]

Last Week 25/03/25

smolagent phase 1

장점

1. Agentic Phase1은 편리하게 결과 수집이 가능하며 코드가 더 가볍다.
2. hybrid retrieval이 조금 더 알맞은 JD를 끌어올 수 있다.
3. Agent가 에러 회피를 위해 전략 선정을 다시 할 수 있다.

단점

1. Token 사용량이 엄청나 api로 적용할 시 가격 상승의 원인이 된다. (Local 모델 필요, 적게는 10만 토큰 이내, 많게는 40만토큰까지 먹는다)
2. LLM의 전략 선정애 매번 달라서 토큰 사용량이 널뛰기이며 소요되는 시간도 다르다.

Next Week

V0 사용 UI 테스트
Flask 이용 UI 테스트

[byungchul-chae]

25.03.25

Last Week

• JobPT Reference가 될만한 UI 찾기
  • '그xx', 'Lxxxxx', 'exxxxx' 찾음 -> 평가를 점수로 나타내는 방식 / 실시간 수정 UI 맘에듬. 참고하기 좋다.
• 검토 LLM 프로토타입 구현
  • Input CV로 받아서 Format / Section / Content / Style 로 나누어 각각 평가
  • 현재는 각 섹션마다 프롬프트와 function calling으로 제어하지만 고도화를 위해 각 섹션별 tool, api 필요.
• 추가 논의 사항
  • 실시간 수정을 반영한 평가 vs 전체 수정 후 평가
  • Tool을 많이 추가하게되면 점점 무거워짐... 어떻게...?

Next Week

• 재강님 구현한 수정제안 Agent + 검토 LLM과 코드 통합
• 각 기능별 필요한 Tool 서치
• 이력서 준비
• UI 도전...!

[hykhhijk]

25.03.25

Last Week

• RAG 평가용 데이터셋 찾기(정확히는 CV-JD 매칭)
• CV데이터, 특히 이미지로 된건 찾을 수 없었음
• 생성된걸로 추정되는 CV, JD 데이터셋을 벤치마크로 사용해볼 예정

Next Week

• RAG 벤치마크 진행
• VectorDB 서비스 배포

[minglet]

25.03.25

Last Week

• 요약 Agent search tool 실험

• 변경 사항

  • 한국어 기반의 news search tool → 영어(미국)의 google news search tool로 수정
  • DuckDuckgoSearch, Tavily Search 사용 → 둘다 모두 비슷한 내용을 서칭

• 결론

  • 어떤 search tool을 사용하느냐 보다는 어떤 keyword를 추출하고 어떻게 요약할지가 더 중요할 듯
  • 추가로 goolge news만 서치하는 tool, 다양한 웹사이트에서 서치하는 tool ⇒ 두개의 서치 툴로 사용해도 좋을 듯

Next Week

• 툴 서치 고도화
• 프롬프트 수정

[workdd]

25.03.25

Last Week

수정 제한 Agent 및, 검토 LLM 파이프라인 코드 설계

• 수정 제한 Tool 노드 및 플로우 정의
• 수정 제한 및 검토 LLM 멀티턴 대화 구현
• LangGraph 시각화 코드 구현
  

코드 링크

• https://github.com/workdd/JobPT/tree/main/research/propose_agent

Next Week

수정 제한 Tool 디테일한 설계

• Web Search Tool 리서치 및 테스트
• vectorDB 필요성 고안 및 조사
• 수정 Tool 정의

피그마 MCP를 통해 디자인 생성

[MinwooKim1990]

2025/04/08

Prev Week

Flask 관련 UI 사용 가능성은 적절할 수 있다.

Next Week

검토 LLM 제작하자
ATS 필터링 기반 검토 LLM으로 점수를 산출하여 CV를 평가하자.

[minglet]

민우님 날짜 추가 부탁드립니다! :)

[minglet]

25.04.08

Last Week

• 요약 에이전트 프롬프트 엔지니어링
• search tool 리서치 (Duckduckgo, Tavily MCP)
• 퍼플렉시티 MCP 사용하려했지만 api key 유료 이슈로 결과 비교만 진행
• 퍼플렉시티 결과 특징: 기술적인 키워드 중심의 요약, 두루뭉실하지 않음, reference를 같이 전달
• 일단 기술적인 키워드를 요약 보고서에 포함시키는 것을 목표

Next Week

• Youtube API 결합하기
• search tool 확정하기

[minglet]

링크드인 포스팅

🚀 JobPT의 첫 번째 이야기

JobPT 프로젝트 첫번째 포스팅입니다!
지난 기수에서는 이력서 기반 모집 공고 추천 시스템 (Part 1)에 집중했었고,
이번 기수에는 Part 1 고도화와 함께 이력서 수정 제안 Agent (Part 2)를 본격적으로 다룰 예정입니다.

초반 2주 동안은 전체 파이프라인을 함께 이해하고, 팀원 간 R&R(Role & Responsibility)을 나누는 시간을 가졌습니다.
그중 제가 맡은 역할인 Summary Agent를 가볍게 소개하고자 합니다.

✅ Summary Agent란?

기업과 관련된 메타데이터를 수집하고 요약해, 수정 제안 Agent의 input으로 들어가 맞춤형 이력서를 작성할 수 있도록 돕는 에이전트입니다.
우리가 주목한 기업과 관련된 메타데이터는 다음과 같습니다:

• 산업 및 도메인: 회사가 속한 산업과 시장 트렌드
• 경쟁력: 경쟁사와의 차별성
• 주요 서비스: 직무와 관련된 핵심 서비스
• 인재상: 회사가 원하는 사람
  이번 기수도 재미있고 도전적인 여정이 될 것 같습니다.

앞으로도 JobPT의 여정을 공유할게요. 지켜봐 주세요! 🙌

[hykhhijk]

25.04.08

Last Week

• 선택한 데이터셋으로 RAG 벤치마크 진행 및 결과 공유
• Pinecone으로 VectorDB 서비스 배포

Next Week

• RAG 평가용 데이터셋 생성(CV)
• naive Retrieval에 추가로 CV와 JD를 매칭하는 방법 리서치

[hykhhijk]

##링크드인 포스팅
JobPT를 소개합니다!

JobPT는 구직자의 이력서를 기반으로 공고를 추천해주는 Phase과 원하는 공고에 맞게 이력서 수정을 제안해주는 Phase 2로 구성된 서비스입니다.

저는 Phase 1 베이스라인이 구성된 후 팀에 합류하여 초기에는 기존 코드를 리뷰하고 팀원간 역할을 나누는 시간을 가졌고 이후 Phase 1을 고도화하는 역할을 맡았습니다

📝이번 주 진행내용

기존에는 수집된 JD를 기반으로 로컬 서버에 청킹된 임베딩을 직접 저장하는 방식을 사용했습니다. 이러한 방법은 로컬 환경을 유지해야하는 번거로움과 데이터 확장시 메모리, 저장공간 사용량이 증가하는 어려움이 있었습니다. 저는 기존에 로컬에서 관리하던 VectorDB를 Pinecone으로 전환하여 서비스의 안정성을 높일 수 있었습니다

VectorDB로 Pinecone을 사용한 이유는 다음과 같습니다

1. 무료 플랜 지원: 초기 서비스 단계에 적합한 경제적 이점

2. 우수한 API 사용성 및 문서화: 빠른 구현과 생산성 향상

3. langchain과의 통합 가능성: 기존 서비스와의 원활한 연계성

[byungchul-chae]

25.04.08

Last Week

• JobPT 웹 서비스(UI) 기존 Gradio에서 Next.js 기반으로 구현
• 검토 LLM 서비스 코드 보완 및 수정제안 Agent와 통합 --> on going

Next Week

• 미팅 간 통일한 UI 가이드에 맞춰 이어서 구현
• 더 할일 찾아보기

[workdd]

25.04.08

Last Week

수정 제한 Agent 및, 검토 LLM 파이프라인 코드 설계

• LangGraph 기반 추천 제안 플로우 완성
• 수정 제한 예시 시나리오 정의

Next Week

수정 제한 고도화

• 실제 데이터 적용
• Search tool 필요성 검토

[hykhhijk]

25.04.15

Last Week

• RAG 평가용 데이터셋 생성(진행중)

Next Week

• 평가LLM도 생성시 시도해보기
• naive Retrieval에 추가로 CV와 JD를 매칭하는 방법 리서치

[hykhhijk]

Milestone

• 0417(수) ~ 0421: 벤치마크 데이터 제작, 평가돌리고 점수보기
• 0421 ~ 0428: CV와JD를 매칭시키는 방법 리서치
• 0428 ~ 0512: CV, JD 매칭 구현, 데이터 추가 수집
• 0512 ~ 0516(금): 부족한 부분 보완, 시각화 자료제작, 코드통합 등

[minglet]

용희님 추가적인 부분인데 JD 새로 크롤링해서 넣는거랑, 가능하다면 cronjob도 진행해보면 좋을 것 같아요!
일단 vectorDB 부분에서 추가 task라서 참고만 해주시면 될거같습니다. (수도콘 전까지 여건이 된다면..)

[hykhhijk]

넵! 3번 줄에 데이터 추가 수집하면서 진행하려고 했습니다!

[byungchul-chae]

25.04.15

Last Week

• UI상에서 챗봇 구현
  • 추후 수정제안 Agent가 들어올 예정, 현재는 api단계로만 구현

Next Week

• 평가 / Score 페이지 구현
• UI 깔끔하게 정리하기 + 코드 PR 준비

[byungchul-chae]

Milestone

0417(수) ~ 0421: 코드 정리 + 최종 점수 산출 page 추가
0421 ~ 0428: 코드 정리 + PR 준비, 전체적인 UI 정리 및 고도화
0428 ~ 0512: 백엔드와 결합 + 수정보완
0512 ~ 0516(금): 부족한 부분 보완, 시각화 자료제작, 코드통합 등

[MinwooKim1990]

2025/04/17

Prev Week

검토 LLM 제작하자
ATS 필터링 기반 검토 LLM으로 점수를 산출하여 CV를 평가하자.

Next Week

검토 llm을 간략하게 배포하는 방법을 구상하여 추후 시스템화에 base를 구성.

Milestone

아래 부분에 대해서 계획합니다.

1. 개별 Agent를 이용할 수 있는 Route Agent에 대해 연구
2. A2A 방식으로 사용 가능할지 연구
3. 가능한 부분 배포

[workdd]

25.04.15

Last Week

수정 제안 Agent

• 추천, 단순 문장 수정 기능 분리하여 코드 구현

Next Week

수정 제안 고도화

• Github Tool, Web Search Tool등을 통한 고도화, Linkedin, tech blog 등 유저 정보에 따른 추천안 제안
• Tool Calling 코드 구현

[workdd]

~29일(화): 수정 제안 고도화, web search tool을 통한 테크 블로그 및 linkedin 정보 기반 추천
~6일(화): LangGraph 기반 수정 제안 Agent 모듈 완성
~13일(화): 다른 Agent와 파이프라인 병합

[minglet]

25.04.15

Last Week

Youtube mcp 연결하기

1. smithery에서 youtube search tool 사용하기
2. youtube data api 생성하기
3. smithery에서 입력한 api로 connect해서 json copy해서 코드에 붙여넣기

Next Week

1. 검색 방법 실험하기
   • 회사의 일 문화와 관련된 영상은 어떤 공통점이 있는지
     • 특정 키워드
     • 특정 회사를 리뷰하는 채널 (유투버)
   • 회사의 공식 계정 채널을 검색하는 방법
2. 원하는 영상을 찾았을때 내용을 추출하는 방법
   • 유투브 대본 추출하면 어떻게 내용 요약할 것인가

[minglet]

• ~21일(화): summary agent 웹서치 결과 & 유투브 결과 합쳐서 1차 결과 확인
• ~29일(화): 프롬프트 엔지니어링 & 추가 2차 결과 디벨롭
• ~6일(화): 최종 파이프라인에 맞춰서 router agent 추가하기
• ~13일(화): 수도콘 준비