목록2024/11/24 (1)
CheerUp_Cheers
아파치 카프카 - 애플리케이션 프로그래밍 with 자바 (1)
1.1 카프카 탄생탄생 배경소스 애플리케이션과 타깃 애플리케이션을 연결하는 개수가 많아짐.→ 장애 발생 시, 소스 애플리케이션에 그대로 전달.해결애플리케이션 끼리 연결이 아니라, 한곳에 모아 처리할 수 있도록 중앙 집중화.→ 의존도 최소화 (어느 타깃 애플리케이션에 넣을지 고민 없이 카프카에 넣기)파티션 동작파티션 내에서는 FIFO 방식의 큐 자료구조와 유사.다른 파티션끼리는 순서 보장은 되지 않음. 데이터 형식직렬화, 역직렬화로 통신하여 사실상 제한 없음.기술 용어프로듀서 : 큐에 데이터를 보냄컨슈머 : 큐에서 데이터를 가져감.브로커(서버) : 메시지를 전송하고 관리하는 역할.데이터 레이크 : 생성되는 데이터를 모두 모으는것데이터 파이프 라인데이터 수집 → 변경 → 적재의 자동화한 것.높은 처리량데이터..
미들웨어
2024. 11. 24. 23:01