참고자료 KIP-480 StickyPartitioner KIP-429 살짝 관련성은 떨어지지만 Consumer Rebalance 관련 배경 카프카는 컨슈머 그룹내의 컨슈머들에 파티션을 배정하는 할당 전략이 있다. 컨슈머 그룹이 어떤 토픽을 바라보고 있을 때 토픽 내의 파티션들을 각 컨슈머들에게 어떻게 나눠줄지에 대한 알고리즘이다. 이...

참고 자료 Kafka Producer Internal 실전 카프카 개발부터 운영까지 - 프로듀서 내부 동작 원리 토리맘의 한글라이즈 - Producer Config Kafka Consumer Internal 실전 카프카 개발부터 운영까지 - 컨슈머 내부 동작 원리 ...

1. 프로세스와 쓰레드의 차이점 프로세스 프로세스는 디스크에 있는 프로그램이 실제 메모리에 할당되어 실행 중인 작업을 나타낸다. 운영체제는 프로세스가 생성되면 PCB를 통해 해당 프로세스의 정보를 관리하는데 PCB가 담고있는 정보는 아래와 같다. PID Process의 상태 PC 레지스터 스택 포인터 등… 이 정보들이 필...

1. 브라우저에 HTTP 입력하면 일어나는 일(OSI 7 Layer || TCP/IP 4 Layer) 2. TCP/UDP 특징 TCP (Transfer Controller Protocol) Server-Client구조에서 사용되는 연결 지향형 프로토콜로 HTTP 1, 2버전에 적용된 프로토콜이다. 연결/연결해제 시 사용되는 N-way ...

1. Nginx 설치 yum install nginx 2. 서버 블록 추가 user nginx; worker_processes auto; error_log /var/log/nginx/error.log; pid /run/nginx.pid; include /usr/share/nginx/modules/*.conf; events { work...

실습 템플릿 위 레포지토리가 구축하고자하는 환경은 각기 다른 온프레미스 서버 인스턴스에 카프카를 KRaft모드로 띄우고 CDC를 구축하는 것이다. 따라서 각 노드에는 Controller, Broker, Connect 총 3개의 프로세스가 동작하는 환경을 구축한다. Step 1. MSSQL 접속 및 데이터베이스, 스키마, 테이블 생성 S...

참고자료 Apache Kafka 공식문서 CONFLUENT 공식문서 DEVOCEAN Baeldung KRaft, Zookeeper기반으로 카프카 기동시키기 KRaft(Kafka Raft Metadata mode) 배경 및 개요 KRaft 동작 방식 KRaft 구성 방식 별도의 Controll...

참고 자료 참고 자료 IBM ElasticSearch Document ElasticSearch 개요 ELK Stack의 E를 담당한다. E: ElasticSearch로 JSON 기반의 저장소 및 검색엔진을 담당한다. L: Logstash로 Input Data, 데이터 변환을 수행하고 Stash하는 역할을...

참고자료 참고자료 참고자료 gRPC 등장 배경 구글에서 개발한 프레임워크이다. PB(Protocol Buffer, 프로토콜 버퍼)기반 Serizlaizer에 HTTP/2를 결합한 RPC 프레임워크이다. IPC (Inter Process Communication 프로세스 간 통신) 운영체제에는 IPC...