Kafka Connect를 활용한 CDC 파이프라인 구축 (Source, Sink Pipeline)
실습 템플릿 위 레포지토리가 구축하고자하는 환경은 각기 다른 온프레미스 서버 인스턴스에 카프카를 KRaft모드로 띄우고 CDC를 구축하는 것이다. 따라서 각 노드에는 Controller, Broker, Connect 총 3개의 프로세스가 동작하는 환경을 구축한다. Step 1. MSSQL 접속 및 데이터베이스, 스키마, 테이블 생성 S...
실습 템플릿 위 레포지토리가 구축하고자하는 환경은 각기 다른 온프레미스 서버 인스턴스에 카프카를 KRaft모드로 띄우고 CDC를 구축하는 것이다. 따라서 각 노드에는 Controller, Broker, Connect 총 3개의 프로세스가 동작하는 환경을 구축한다. Step 1. MSSQL 접속 및 데이터베이스, 스키마, 테이블 생성 S...
참고자료 Apache Kafka 공식문서 CONFLUENT 공식문서 DEVOCEAN Baeldung KRaft, Zookeeper기반으로 카프카 기동시키기 KRaft(Kafka Raft Metadata mode) 배경 및 개요 KRaft 동작 방식 KRaft 구성 방식 별도의 Controll...
JVM - 클래스 로더 JVM - 메모리 구조 JVM - 실행 엔진 (JIT 컴파일러) JVM - 실행 엔진 (GC)
JRE? JDK? JRE (Java Runtime Environment) 의 약자로 JVM, Java Class Library, Java Command, JDBC 등, Java 프로그램을 실행할 수 있는 기본 패키징을 가리킨다. JDK (Java Development Kit) 의 약자로, JRE 를 포함하여, 컴파일러인 javac, javado...
GC Log 남기기 java -jar ~~~ -Xlog:gc*:file=gclog/gc.log.$(date +%Y-%m-%d):time,tags:filecount=5,filesize=10m 위와 같이 JVM을 실행시킬 때 GC 로그를 남기는 옵션을 지정해줄 수 있다. 위 명령어를 통해 어떤 로그가 남는지 확인해보자. GC Log [2024-...
Passport가 필요한 시점 Gateway, ServiceDiscovery를 결합하여 MSA환경 생태계를 구축했다. 클라이언트는 로그인 후 발급받은 JWT를 바탕으로 게이트웨이에 접근하여 원하는 API를 호출할 수 있는 흐름이다. MSA는 비즈니스로직을 처리하기위해 여러 마이크로서비스와 소통하는 과정이 필요할때가 많다. 이 때 여러 마이크로서...
참고 자료 참고 자료 IBM ElasticSearch Document ElasticSearch 개요 ELK Stack의 E를 담당한다. E: ElasticSearch로 JSON 기반의 저장소 및 검색엔진을 담당한다. L: Logstash로 Input Data, 데이터 변환을 수행하고 Stash하는 역할을...
Spring Cloud Gateway Reference API Gateway가 왜 필요한가? MSA환경은 각 도메인 서비스에 여러 대의 인스턴스를 할당하여 스케일 아웃을 통해 확장성/가용성의 이점을 얻을 수 있다. 그렇다면 클라이언트는 UserService라는 도메인 서비스가 스케일 아웃이 된다면 확장된 서비스의 IP주소, 포트번호 등을 매...
참고자료 참고자료 참고자료 gRPC 등장 배경 구글에서 개발한 프레임워크이다. PB(Protocol Buffer, 프로토콜 버퍼)기반 Serizlaizer에 HTTP/2를 결합한 RPC 프레임워크이다. IPC (Inter Process Communication 프로세스 간 통신) 운영체제에는 IPC...
새롭게 접한 기술 스택 gRPC 동작원리 gRPC는 왜 빠르게 동작하는가? gRPC Gateway가 필요한 상황 Kafka 카프카의 구성요소 및 구조 컨슈머의 내부 동작 원리 프로듀서의 내부 동작 원리 이벤트 전송 간 오류가 발생했을 때 어떻게 ...