data loader 및 전처리 로직 분리

[bohyunshin]

문제 인식

yamyam-lab/src/data/base.py

Lines 522 to 529 in 6166b7b

	review, diner = preprocess_common(
	review=review,
	diner=diner,
	diner_with_raw_category=diner_with_raw_category,
	min_reviews=self.min_reviews,
	is_timeseries_by_time_point=self.is_timeseries_by_time_point,
	filter_config=filter_config,
	)

현재 데이터 로더 클래스에 전처리 로직도 같이 포함되어 있습니다. 이를 분리하여 조금 더 명확한 코드를 작성할 필요가 있습니다.

ToDo

• data loader 클래스는 데이터 로드만 담당합니다.
  • csv 파일 로드 및 스키마 검증
• preprocessor 모듈을 따로 만들어서 여기서 온갖 전처리를 모두 수행합니다.