[Model] Experiment

[ds-wook]

이번 실험에서는 Graph 기반 임베딩 모델과 Ranker 모델을 활용한 맛집 추천 성능을 비교 분석하였습니다. 모든 유저를 대상으로 평가한 결과, node2vec이 가장 높은 성능을 기록하며 신규 유저에 대한 추천이 원활하게 이루어졌음을 확인할 수 있었습니다. 반면, Ranker 모델은 상대적으로 리뷰 수가 많은 유저를 대상으로 한 추천에서 더 높은 성능을 보였습니다. 이는 Ranker 모델이 학습 과정에서 리뷰 데이터가 풍부한 유저의 패턴을 보다 잘 반영했기 때문으로 해석할 수 있습니다.

하지만 본 실험의 궁극적인 목표는 Graph 모델을 활용한 개인화 추천을 기반으로 Ranker 모델을 통해 맛집의 우선순위를 결정하는 것입니다. 맛집을 판단하는 데 중요한 역할을 하는 것은 리뷰 수가 많은 유저들의 의견이며, 이들의 평가를 적절히 반영하는 것이 추천 시스템의 신뢰도를 높이는 데 핵심적인 요소가 됩니다. 따라서 리뷰 수가 많은 유저를 중심으로 평가를 진행하는 것이 실질적인 추천 모델의 성능을 검증하는 데 더욱 적합하다고 판단됩니다.

결론적으로, Graph 기반 모델을 통해 개인화된 추천을 수행한 후, Ranker 모델을 활용하여 유저가 선호하는 맛집을 우선적으로 추천하는 전략이 이상적임을 확인하였습니다. 향후 연구에서는 Ranker 모델의 성능을 더욱 고도화하고, Graph 모델과의 시너지를 극대화할 수 있는 다양한 조합을 탐색하는 것이 필요할 것입니다.

1. 해비유저(리뷰수가 많은 유저)에 대한 평가

Algorithm	Task	mAP@3	mAP@7	mAP@10	mAP@20	NDCG@3	NDCG@7	NDCG@10	NDCG@20
node2vec	Unsupervised learning	0.005	0.006	0.007	0.007	0.008	0.010	0.011	0.0132
metapath2vec	Unsupervised learning	0.0001	0.00013	0.00014	0.00017	0.00016	0.00022	0.00027	0.00039
lightgbm ranker(two stage)	Ranker	0.001	0.001	0.001	0.0014	0.003	0.006	0.009	0.016
XGBoost ranker(two stage)	Ranker	0.001	0.001	0.002	0.0022	0.008	0.009	0.013	0.018

2. 모든 유저에 대한 평가

Algorithm	Task	mAP@3	mAP@7	mAP@10	mAP@20	NDCG@3	NDCG@7	NDCG@10	NDCG@20
node2vec	Unsupervised learning	0.00361	0.00445	0.00475	0.00523	0.00619	0.00738	0.00814	0.00989
metapath2vec	Unsupervised learning	0.00004	0.00006	0.00007	0.00008	0.00008	0.00012	0.00015	0.00021
LightGBM - Candidate 100	Rank learning	0.00098	0.0012	0.0013	0.0013	0.0015	0.0023	0.0026	0.0036
XGBoost - Candidate 100	Rank learning	0.0010	0.0013	0.0014	0.0017	0.0019	0.0024	0.0027	0.0038

@bohyunshin 님 @LearningnRunning 님 @mkk4726 님 @ranzzing 님
각자 실험에 대한 의견이 있으시면 댓글 남겨주세요

[mkk4726]

고생하셨습니다!

하지만 본 실험의 궁극적인 목표는 Graph 모델을 활용한 개인화 추천을 기반으로 Ranker 모델을 통해 맛집의 우선순위를 결정하는 것입니다. 맛집을 판단하는 데 중요한 역할을 하는 것은 리뷰 수가 많은 유저들의 의견이며, 이들의 평가를 적절히 반영하는 것이 추천 시스템의 신뢰도를 높이는 데 핵심적인 요소가 됩니다. 따라서 리뷰 수가 많은 유저를 중심으로 평가를 진행하는 것이 실질적인 추천 모델의 성능을 검증하는 데 더욱 적합하다고 판단됩니다.

리뷰가 많은 헤비 유저의 '평가'가 라이트 유저의 '평가'보다 더 신뢰도가 높다.
( 헤비 유저가 맛집이라고 평가한게 더 맛집일 것이다 )
따라서 리뷰 수가 많은 유저의 평점 데이터를 사용했을 때 , 모델이 맛집 추천을 잘했는지 더 잘 판단할 수 있다.

고 이해했는데 제대로 이해한게 맞을까요?

[ds-wook]

@mkk4726 님
네 맞습니다 정확하게 이해해주셨습니다
이 부분에 대한 증명이 필요해보이는데 설명가능추천시스템으로 가능할지도 궁금하네요

[mkk4726]

@ds-wook
어떻게 증명할 수 있을지 고민해보겠습니닿

[bohyunshin]

@ds-wook 님
우선 궁금한게 있어요

1. heavy 유저는 리뷰수가 많은 유저라고 하셨는데 정확한 기준이 궁금해요. train val 데이터 포함한 기준인가요?? 몇회 이상을 헤비유저라고 보신걸까요?
2. 전체 유저풀 대비 헤비유저의 비율이 궁금해요.

제 생각에는 헤비유저인 경우 식당을 많이 가서 각자의 개인 취향이 더 잘 드러나서 모델이 맞추기가 쉬운거고 라이트유저는 아무래도 개인 취향이 덜 드러나서 metric이 낮게 나온게 아닌가 싶은데요.

헤비유저가 남긴 평점이 과연 더 신뢰도가 높을까? 라는 질문에는 좀 더 데이터에서 근거를 찾는게 좋지 않을까 싶어요 ㅎㅎ 헤비유저 대상 추천 결과의 metric이 더 좋다는 이유는 사실 헤비유저의 리뷰가 더 신뢰도가 있다라기보다 그냥 샘플링에 의한 결과 같긴하거든요 ㅎㅎㅎ eda를 통해서 헤비유저의 리뷰가 더 신뢰도가 있다! 라는 가설을 더 검증할 필요가 있지 않을까 라는 의견입니다 ㅎㅎ

리뷰수가 얼마 없는 라이트유저의 숨겨진 취향을 찾아주는게 어렵긴하겠지만 이것도 의미가 있을 것 같긴 해서요 ㅎㅎ 그리고 서비스 관점에서 새롭게 인입한 유저에게 추천하는 상황을 생각해보면 최소한의 정보를 요구한 다음에 이를 기반으로 식당을 추천해야하지 않을까 싶습니다 ㅎㅎ

욱님이 그래도 흥미로운 논의주제 던져주셔서 다시한번 생각해보게 됩니다 ㅎㅎ

[ds-wook]

@bohyunshin 님
일단 제가 생각하는 heavy 유저의 기준은

if len(liked_items) < K:
    continue

이 부분을 통과하는 유저를 heavy 유저라고 정의했어요

헤비유저가 남긴 평점이 과연 더 신뢰도가 높을까?라는 가설이고 앞으로 어떻게 증명할지 논의를 해봐야할거 같아요 민규님께도 말씀드렸지만 설명가능성있는 추천 시스템을 도입하여 헤비유저에 대한 신뢰도를 증명할 수 있는지에 대한 여부를 조사할 수 있다고 생각이 들었어요 물론 앞으로 EDA 과정이 필요해보여서 보현님 말씀대로 데이터를 좀 더 다시 봐야할거 같아요

리뷰수가 얼마 없는 라이트유저의 숨겨진 취향을 찾아주는게 어렵긴하겠지만 이것도 의미가 있을 것 같긴 해서요 저는 이걸 cold start의 문제라고 생각해요 cold start 문제를 처리하는 경우는 룰베이스로 많이 처리하는 경우도 있는데 이 부분을 머신러닝으로 푼다면 큰 성과가 있지 않나라는 생각이 들어요

제가 느끼기엔 콜드 스타트의 문제의 경우 GNN 계열의 모델이 해결, Ranker모델은 맛집력을 표현한다. 라고 생각할수도 있긴 합니다. 제 가설이긴 하지만요ㅋㅋㅋ 앞으로 가설들을 어떻게 증명할지 생각해봐요

[bohyunshin]

@ds-wook 님 답변 감사합니다 ㅎㅎ
그러게요! xai로 헤비유저에 대한 썰을 어떻게 풀수 있을지 궁금하네요 ㅎ

말씀하신 것처럼 라이트유저 추천 문제는 콜드스타트 문제로 볼수도 있겠네요. 저희가 뭔가 데이터에서 근거를 더 찾아서 라이트유저 (=콜드스타트) 에게는 gnn 계열의 모델을 이용해서 추천을, 헤비유저에게는 취향이 더 잘 드러났으니 정밀하게 추천을 해줄수있는 투스텝을 사용하는 시나리오도 재미있을 것 같아요 ㅋ

약간 저는 정답은 없으나 저희만의 근거를 잘 찾아서 스토리텔링을 잘하면 된다고 생각합니다 ㅎㅎㅎ 한마디로 썰풀기죠 ㅎㅎㅎ

[ds-wook]

맞습니다ㅋㅋㅋㅋ 근거를 찾아서 스토리 만들어 나가보죠ㅎㅎ