목록2025/01/12 (1)
CheerUp_Cheers
아파치 카프카 - 애플리케이션 프로그래밍 with 자바 (4)
Chapter44.1 토픽과 파티션4.1.1 적정 파티션 개수토픽 생성 시 파티션 개수 고려사항데이터 처리량메시지 키 사용 여부브로커, 컨슈머 영향도데이터 처리 속도 올리는 법컨슈머의 처리량 늘리는 것 스케일 업, GC 튜닝 → 컨슈머 특성상 다른 시스템과 연동으로 일정 수준 힘듬.컨슈머를 추가하여 병렬처리량을 늘리기. 프로듀셔 전송 데이터량 → 컨슈머 랙이 생김.메시지 키 사용 여부 메시지 키와 데이터 처리 순서에 대해 고려 해야 함.기본 파티셔너 메시지 키를 해시로 변환하여 파티션에 매칭함. 파티션 개수가 달라지는 순간 메시지키를 사용하는 특정 메시지 키의 순서는 보장 받을 수 없음.커스텀 파티셔너 파티션 개수가 변해도 메시지 키의 매칭을 가져갈 수 있게. 커스터밍하기 싫다면 처음부터 파티..
미들웨어
2025. 1. 12. 22:35