블로그 변경사항 수집기 구조 (생각)

[kimminkyeu]

수집기 구조 설계안

@sangwonsheep @Gyaak
어떻게 짜면 구조가 쉽고 합치기 좋을지... 고민이 됩니다.

1. 블로그가 여러개이다 (for문)
2. 게시물도 여러개이다 (for문)

한 기능에 반복문이 통으로 묶이면 안될 것 같아요.
그래서 스케쥴러 구현할 때, 게시물 하나 하나에 대한 변환 과정을
함수로 분리해서 연결(체이닝 호출)하면 어떨까 싶어요.

가볍게 초안처럼 그려본 거니 의견 주십쇼!!

크게 3가지 인터페이스로 분리할 수 있을 듯 합니다.

1. interface BlogScouter 수색대
   • 주어진 1개 블로그의 변경 사항을 감지하고, 변경된 게시글들의 url을 리스트로 반환

   List<Url> seekChange( Blog blog );

2. interface ArticleScrapper 수집가
   • 1개 Url을 방문해서 게시글 HTML을 수집합니다.
     없는 데이터 필드는 null로 입력합니다.

    ScrappedMetadata scrap( String url );

3. interface DataFormalizer 형식 맞추미
   • 수집한 각 항목을 가공해서 RDB에 입력할 형식으로 맞춥니다.
     날짜: yyyy/mm/dd 로 매핑
     토픽: 서비스에서 정의한 Topic으로 매핑

    FormalizedMetadata formalize( ScrappedMetadata data );

위 구조를 잡고, 나중에 for문 처리 로직을 한 함수에서 묶어주면 낫지 않을까 싶은데...
내일 얘기해보시죠...

• 참고
  • 스프링 스케쥴러 설명 멀티스레드

[sangwonsheep]

첫 번째 문제 (scheduler)

• if(rss) : RestTemplate 활용 -> http 요청을 통해 xml 데이터를 받음.
• else : Jsoup 활용 -> 상세 페이지 스크래핑

두 번째 문제 (scrapper)

• rss의 경우 이미지를 구할 수 없다고 판단됩니다.
• jsoup의 경우에는 가능할 것 같지만, 정확하지는 않습니다.

구현 중인 RSS 고민

저도 어떻게 추상화할 지 고민하고 있는 중이었는데 같이 고민해보면 좋을 것 같습니다.

1. Jsoup 대신 RestTemplate 사용하여 HTTP 통신을 통해 RSS 데이터 가져오는 중입니다.
   -> 이유 : Jsoup 보다 속도가 빠르고, 간편함.
2. 현재 반복되는 코드가 많아 이를 줄여야 합니다...

Service 예시 코드

@Service
@RequiredArgsConstructor
public class RssService {

    private final RestTemplate restTemplate;

    // enum으로 분리
    private static final String BAELDUNG_URL = "https://www.baeldung.com/feed";
    private static final String TOSS_URL = "https://toss.tech/rss.xml";
    private static final String WOOWA_URL = "https://techblog.woowahan.com/feed/";
    private static final String KAKAO_URL = "https://tech.kakao.com/posts/feed";
    private static final String DAANGN_URL = "https://medium.com/feed/daangn";
    private static final String LINE_URL = "https://techblog.lycorp.co.jp/ko/feed/index.xml";

    public RssResponse.Channel getRssByBaeldung() {
        RssResponse rss = restTemplate.getForObject(BAELDUNG_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

    public RssResponse.Channel getRssByToss() {
        RssResponse rss = restTemplate.getForObject(TOSS_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

    public RssResponse.Channel getRssByWoowa() {
        RssResponse rss = restTemplate.getForObject(WOOWA_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

    public RssResponse.Channel getRssByKakao() {
        RssResponse rss = restTemplate.getForObject(KAKAO_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

    public RssResponse.Channel getRssByDaangn() {
        RssResponse rss = restTemplate.getForObject(DAANGN_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

    public RssResponse.Channel getRssByLine() {
        RssResponse rss = restTemplate.getForObject(LINE_URL, RssResponse.class);
        return Objects.requireNonNull(rss).getChannel();
    }

}

DTO 예시 코드

@Getter
public class RssResponse {

    @JacksonXmlProperty(localName = "channel")
    private Channel channel;

    @Getter
    public static class Channel {

        @JacksonXmlElementWrapper(useWrapping = false)
        @JacksonXmlProperty(localName = "item")
        private List<Item> item;
    }

    @Getter
    @ToString
    public static class Item {

        @JacksonXmlProperty(localName = "title")
        private String title;

        @JacksonXmlProperty(localName = "link")
        private String link;

        @JacksonXmlProperty(localName = "pubDate")
        private String pubDate;

        @JacksonXmlProperty(localName = "creator")
        private String creator;

        @JacksonXmlElementWrapper(useWrapping = false)
        @JacksonXmlProperty(localName = "category")
        private List<String> category;
    }
}

BaeldungRss, TossRss, WoowaRss모두 코드가 겹치고 있습니다.
스크랩할 모든 기술 블로그 형식 확인 후에 추상화할 수 있는 방안을 찾아보도록 하겠습니다.
-> RSS 형식이 모두 같기 때문에, 하나의 Response Dto로 통합

"item": [
        {
            "title": "로봇 ML 모델의 경량화 1부: 훈련 후 양자화",
            "link": "https://techblog.woowahan.com/18980/",
            "pubDate": "Thu, 22 Aug 2024 06:15:14 +0000",
            "creator": "박준수",
            "category": [
                "Deep Learning",
                "Machine Learning",
                "Robotics"
            ]
        },
        {
            "title": "[다시 보기] 8월 우아한테크세미나: 생성AI로 똑똑하게 일하는 법",
            "link": "https://techblog.woowahan.com/19317/",
            "pubDate": "Thu, 22 Aug 2024 05:18:51 +0000",
            "creator": "우아한형제들 DevRel",
            "category": [
                "-",
                "우아한테크세미나"
            ]
        },

xml -> json 데이터로 변환한 결과입니다.

[Gyaak]

rss피드는 restteampate로 가져오는것도 좋은 방법일것 같습니다.

[sangwonsheep]

�모든 사이트의 rss 형식이 같아 하나의 response dto로 통일시켰습니다.
요청을 보내서 데이터를 받아오는 방식이라 시간 소요가 그렇게 크지 않아 csv 파일로 반드시 만들지 않아도 될 것 같다는 생각이 듭니다.
얻어온 rss dto를 활용하여 db에 바로 넣는 방식은 어떨까요?

[Gyaak]

기획 변경으로 인한 디스커션 종료