Elasticsearch 대용량 데이터 파이프라인 구축기: 수십억 건을 실시간으로 처리하기
로그에 쌓이는 사용자 선호 국가 데이터의 가중치를 실시간으로 보정해야 했다. Update By Query 대신 Ingest Pipeline을 쓰고, Index Template 우선순위와 기존 인덱스, Kibana 필드 문제를 풀어 간 기록이다.
#데이터 파이프라인
1편
1편
로그에 쌓이는 사용자 선호 국가 데이터의 가중치를 실시간으로 보정해야 했다. Update By Query 대신 Ingest Pipeline을 쓰고, Index Template 우선순위와 기존 인덱스, Kibana 필드 문제를 풀어 간 기록이다.