관찰 가능성 엔지니어링 - Chapter3 (자동 계측)
원격 측정의 목표 시스템의 정보를 전달하여 장애가 발생 했을 때의 근본적인 원인을 분석할 수 있게하기 위함이다. 또한 장애가 해소된 후 기록된 추적/메트릭/로그 정보를 소급하면 정확히 어떤 문제가 발생한 것인지 알아낼 수 있다. 자동 계측은 이러한 사용성을 제공하기 위한 편의성을 확보하고자 코드를 계측하는 행위를 자동화한 것이다. 자동 계측...
김도현
관찰 가능성 엔지니어링 - Chapter2 (OpenTelemetry 시그널 - 분산 추적, 메트릭, 로그)
실습 환경 아래 이미지와 같은 구조를 마련하기 위해 도커 컴포즈를 사용한다. 서비스 포트 Jagger (Trace) 16686 Prometheus (Metric) 9090 Loki (Log)...
가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 사용자 수에 따른 규모 확장성
단일 서버 가장 단순하게 사용자의 요청을 처리할 수 있는 구조이다. 사용자: 웹 브라우저, 모바앨 앱 서버: 웹 서버 위 상황에서 요청 흐름은 다음과 같다. 사용자는 DNS에 질의하여 서버의 IP를 얻는다. 해당 IP 주소로 HTTP 요청이 전달된다. 요청 받은 웹 서버는 HTML 혹은 JSON과 같은 응답을 전달한다. ...
관찰 가능성 엔지니어링 - Chapter1 (관찰 가능성의 역사와 개념)
개요 관찰 가능성이라는 용어에는 Trace, Metric, Log를 구성하는 도구의 원격측정(telemtry) 데이터를 생성/수집함으로써 소프트웨어 작동의 가시성을 높이는 작업이 포함된다. 수신된 요청 수의 카운트 유지하기 이벤트 발생 시 로그 추가하기 서버의 현재 메모리 사용량 기록하기 Client → Backend 서비스까지의 ...
Kafka Partition 할당 내부 동작 파해치기
참고자료 KIP-480 StickyPartitioner KIP-429 살짝 관련성은 떨어지지만 Consumer Rebalance 관련 배경 카프카는 컨슈머 그룹내의 컨슈머들에 파티션을 배정하는 할당 전략이 있다. 컨슈머 그룹이 어떤 토픽을 바라보고 있을 때 토픽 내의 파티션들을 각 컨슈머들에게 어떻게 나눠줄지에 대한 알고리즘이다. 이...
Kafka 정확히 한 번 전송/읽기 적용
참고 자료 Kafka Producer Internal 실전 카프카 개발부터 운영까지 - 프로듀서 내부 동작 원리 토리맘의 한글라이즈 - Producer Config Kafka Consumer Internal 실전 카프카 개발부터 운영까지 - 컨슈머 내부 동작 원리 ...
자문자답 - 운영체제 기본
1. 프로세스와 쓰레드의 차이점 프로세스 프로세스는 디스크에 있는 프로그램이 실제 메모리에 할당되어 실행 중인 작업을 나타낸다. 운영체제는 프로세스가 생성되면 PCB를 통해 해당 프로세스의 정보를 관리하는데 PCB가 담고있는 정보는 아래와 같다. PID Process의 상태 PC 레지스터 스택 포인터 등… 이 정보들이 필...
자문자답 - 네트워크
1. 브라우저에 HTTP 입력하면 일어나는 일(OSI 7 Layer || TCP/IP 4 Layer) 2. TCP/UDP 특징 TCP (Transfer Controller Protocol) Server-Client구조에서 사용되는 연결 지향형 프로토콜로 HTTP 1, 2버전에 적용된 프로토콜이다. 연결/연결해제 시 사용되는 N-way ...
귀찮은 Nginx 리버스 프록시 셋팅 아카이빙 해두기
1. Nginx 설치 yum install nginx 2. 서버 블록 추가 user nginx; worker_processes auto; error_log /var/log/nginx/error.log; pid /run/nginx.pid; include /usr/share/nginx/modules/*.conf; events { work...
Kafka Connect를 활용한 CDC 파이프라인 구축 (Source, Sink Pipeline)
실습 템플릿 위 레포지토리가 구축하고자하는 환경은 각기 다른 온프레미스 서버 인스턴스에 카프카를 KRaft모드로 띄우고 CDC를 구축하는 것이다. 따라서 각 노드에는 Controller, Broker, Connect 총 3개의 프로세스가 동작하는 환경을 구축한다. Step 1. MSSQL 접속 및 데이터베이스, 스키마, 테이블 생성 S...