[4주차] 6장 정리

[Flamme1004K]

[4주차] 6장 정리

[Flamme1004K]

내용정리 : 엘라스틱서치 : 로그스태시 6장

의견

1. 로그스태시에 대해서 정리를 해보았습니다. 로그스태시를 직접적으로 사용하고 있지는 않은 상태이지만, 로그스태시를 사용한다면 어떻게 사용할 것인지 생각을 해봤는데요.

• 솔루션에 대한 각 사이트별 로그 수집
• MSA 환경내에서 A라는 클라이언트가 어떤 어플리케이션에 대해 API를 요청했는지에 대한 파이프라인 로그수집
• 로드 밸런서로 되어진 이벤트 페이지에 대해 얼마나 많은 사람이 요청을 처리했는지에 대한 로그수집
• 트랜잭션별 로그 수집
• etc

이렇게 많은 부분을 수집 할 수 있을 것 같습니다. 그리고 이러한 사용방법이 input, filter, output 과정에서 어떻게 튜닝하느냐, 어떤 플러그인을 쓰느냐에 많이 달라질 것 같습니다.

2. 268Page 보면 mypipe1은 왜 Events Emitted Rate랑 Number Of Nodes가 안찍히는 걸까요??
   설마 257 페이지에서 sincedb_path가 nul이라서 새로 가지고 오는 바람에 그러는걸까요? (실습 못한...)

3. 실무에서 다중파이프라인을 통하는 방법에 대해서 성능적으로 확장해야할 때 스케일업, 스케일아웃 둘 중에 어떠한 방법으로 쓰실지 궁금합니다.

[SSONG22]

내용정리

의견

• 로그스태시와 mysql 을 연결해서 원하는 데이터를 원하는 시간에 es에 넣어주는 식으로 많이 쓰이는 것 같더라구요, 이런 기능이 매우 좋은것 같아요 👍
• 중간에 데이터를 가공할 수 있다는 점이 로그스태시의 장점같습니다. 책에서 많이 쓰는 필터에 대해 다뤄줘서 좋았습니다.

[ors-woon]

내용 정리

• 각 plugin 들의 설명이 잘 나와 있어서 재밌게 읽었습니다.
• logstash 를 Accesslog 로만 사용하고 있는데, 그 외 사용처가 있을지도 궁금하네요.
  • kafka 나 ES / DB 중간에 직접 붙어서 쓰는 경우가 있을지 궁금합니다.

[ria0864]

• 여러 플러그인 들에 대한 설명이 잘 나와있던 것 같습니다.
• logstash의 필터 기능이 가장 흥미로웠습니다. Application을 모니터링 할 때 각각의 trace를 하나의 transaction으로 묶는게 중요한 기능 중 하나인데 filter 기능으로 guid 같은 값을 삽입해서 하나로 묶을 수 있을 것 같습니다.
• 다중 파이프라인을 지원한다는 점이 logstash의 강력한 기능 중 하나인 것 같습니다.

[cheese10yun]

의견

• 현제 로그 스테시를 도입하고 있어서 많은 내용들이 유익했습니다.
• 데이터 파이프라인으로는 정말 좋은 솔루션이라고 생각이 들 들었음
• 단점으로는 너무 설정 파일 기준이라서 테스트 코드나 문법적인 이슈 등 강한 타입으로 관리를 많이 했던 경험이 있어 조금은 두려움이 있음
• cron 기능은 유익하긴 한데 상시 돌리는 개념이 아니라 일주일에 한 번 한달에 1번 돌리는 친구라면 해당 인스턴스를 상주 시켜야하는 것이 리소스 측면에서 아쉬운 부분이 있음 해당 솔류션을 k8s나 다른 곳에서 제공해주는지는 모르겠으나 필요 해보임
• mysql 과의 연계가 너무 좋으며 대량의 데이터를 가져가는 것 또 한 거의 리더 서능만 맞춰주면 그대로 다가져가는 거 같음