mongo에서 mysql로 데이터 옮기는 과정 기록

[kimminkyeu]

mongo에선 조회수와 북마크 횟수 가 각각 다른 컬렉션으로 저장된다.
그러나 mysql의 link_stats는 위 두 정보가 합쳐진 테이블이다.

따라서 mysql에서 csv를 load하려면 이를 하나로 합쳐야 한다.

(date, url, 조회수) + (date, url, 북마크횟수) = (date, url, 조회수, 북마크횟수)

사전 설치 도구

mongo-databse-tools
홈서버 우분투 버전에 맞춰 로컬에서 deb 파일을 다운받은 뒤
scp로 홈서버에 파일 전송.

scp -P 4242 ./mongodb-database-tools.deb {아이디}@minlife.me:{-파일을 저장할 홈서버 경로-} 

이후 홈서버에 deb 설치

dpkg -i ./mongodb-database-tools.deb

1. 지난 한달간의 데이터 csv로 추출

• 아래 예시는 조회수(view)를 가져오는 예시
  북마크 횟수도 동일하게 하면 된다. (query의 날짜 부분은 맞춰서 수정할 것)

mongoexport \
--host={몽고DB 호스트} --port=???? --username=???? --password=???? --authenticationDatabase=admin --db=BAGUNI_RANKING_DB \
--collection=link_view_count --type=csv --fields=date,url,count --out=./view.csv \
--query='{"date":{"$gte":{"$date":"2025-01-27T00:00:00.000Z"},"$lt":{"$date":"2025-02-27T00:00:00.000Z"}}}’ 

2. 파이썬 스크립트로 조회수, 북마크수 csv를 하나로 병합

import pandas as pd

# CSV 파일 불러오기
view_df = pd.read_csv("view.csv")
picked_df = pd.read_csv("picked.csv")

# 컬럼명 변경 (count → view_count, pick_count)
view_df.rename(columns={"count": "view_count"}, inplace=True)
picked_df.rename(columns={"count": "pick_count"}, inplace=True)

# 두 데이터프레임을 date와 url 기준으로 병합 (outer join 사용)
merged_df = pd.merge(view_df, picked_df, on=["date", "url"], how="outer")

# NaN 값을 0으로 채우기 (병합 과정에서 값이 없는 경우)
merged_df.fillna(0, inplace=True)

# 데이터 타입 변환 (view_count, pick_count를 정수형으로 변환)
merged_df["view_count"] = merged_df["view_count"].astype(int)
merged_df["pick_count"] = merged_df["pick_count"].astype(int)

# 결과 CSV 저장
merged_df.to_csv("prev_rank.csv", index=False)

print("prev_rank.csv 파일이 생성되었습니다.")

3. 합친 csv를 mysql-file 경로에 넣고, mysql에서 데이터 넣기

-- /var/lib/mysql-files 경로에 load_prev_rank.sql 스크립트 저장해도 되고
-- 직접 아래 명령어를 실행해도 된다.
LOAD DATA INFILE '/var/lib/mysql-files/prev_rank.csv'
INTO TABLE link_stats
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '"' 
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(@raw_date, url, view_count, bookmarked_count)
SET date = STR_TO_DATE(@raw_date, '%Y-%m-%dT%H:%i:%s.000Z');
-- 몽고의 '2025-01-27T15:00:00.000Z'  ISO 8601 시간 형식을 MySQL의 DATE 타입으로 변환.