거북이 developer

개요 및 고려 사항 SCRAM (Salted Challenge Response Authentication Mechanism) 또는 SASL / SCRAM은 PLAIN과 같은 사용자 이름 / 암호 인증을 수행하는 기존 메커니즘의 보안 문제를 해결하는 SASL 메커니즘. Apache Kafka는 SCRAM-SHA-256 및 SCRAM-SHA-512을 지원. Kafka의 SCRAM 구현은 ZooKeeper에 SCRAM 자격 증명을 저장하기 때문에 ZooKeeper가 개인 네트워크에 있을때 사용하는것을 권장 runtime 으로 zookeeper 에 사용자에 대한 SCRAM 자격 증명을 생성할 수 있다. super user 생성 ${KAFKA_HOME}/bin/kafka-configs.sh 를 통해 super u..

개요 Broker 에 아래와 같이 Warn Level 로그가 남겨짐 [2020-07-30 12:40:03,237] WARN [LeaderEpochCache message_action-46] New epoch entry EpochEntry(epoch=27, startOffset=0) caused truncation of conflicting entries ListBuffer(EpochEntry(epoch=26, startOffset=0)). Cache now contains 1 entries. (kafka.server.epoch.LeaderEpochFileCache) 해당 로그가 왜 남겨지고, 해소할 방법은 없는지 탐색. 원인 파악 해당 로그는 partition leader 에 대한 epoch 값이 변경될..

이슈 producer 가 메세지를 일정 간격으로 전송(500ms) consumer 설정 중 fetch.min.bytes 를 1로 설정(데이터가 있으면 즉시 받도록 최소로 설정) 하고 fetch.max.wait.ms 를 default(500ms)로 설정했을 때, consumer 가 저장된 메세지를 읽어들이는데 지연시간이 발생.(메세지가 broker 에 도착시간은 12시 0분 0초 0ms 인데 해당 메세지를 컨슈머가 읽은 시간은 12시 0분 0초 300ms) fetch.max.wait.ms 를 100ms 로 설정하였을 경우 지연시간이 줄어듬 원인 kafka documentation 에 정리된 설정값의 설명을 보면 fetch.min.bytes 를 1로 설정할 경우 데이터가 들어왔을 때 즉시 응답을 줄거로 예상..

스펙 Server CentOS 7.4 64bit CPU: 2core Mem: 2GB Disk: 100GB User: irteam(home: /home1/irteam/) VictoriaMetrics version: 1.62.0 Go version: 1.16.5 HA 구성 HA 구성 방법에는 단일 노드와 cluster 구성 방법이 있다. 단일 노드로 구성할 경우 vmagent 를 통해 단일 노드로 구축한 여러대의 victoria-metrics 에 write 를 할 수 있다. 만약 vmagent 를 사용하지 않을 경우 client 가 직접 이런 처리를 해야한다. cluster 로 구성할 경우 vminsert 가 단일 노드시 사용하는 vmagent 역할을 하는거로 보인다.(이때 replica 도 정의할 수 있다..

BlockHound Spring Webflux 는 예상치 못한 blocking 로직이 있을 경우 성능에 큰 영향을 미치기 때문에 이러한 로직이 있는지 탐지하고 수정할 수 있어야 한다. BlockHound 는 비지니스 로직이 수행될 때 blocking 로직이 있으면 exception 을 던져 blocking 로직을 파악할 수 있게 도와준다. 번역 gateway 에서는 아래와 같은 방식으로 blockhound 를 실행한다. Dependency 추가 io.projectreactor.tools blockhound 1.0.3.RELEASE Application class 에서 BlockHound 실행여부를 판단 @SpringBootApplication public class Application { static ..

Test Code StepVerifier Reactor 를 사용할 경우 주로 다루는 Mono/Flux 를 반환하는 리액티브 API 에 대한 테스트는 기존 Test Code 작성 방법으로는 테스트하기 힘들다. 아래와 같이 reactor-test 에 대한 dependency 를 추가해야 사용이 가능하다 io.projectreactor reactor-test test ◉ 일반적인 Test Code 작성시 발생할 수 있는 실수 1 @Test public void mono() { Mono mono = Mono.just(1) // (1) .subscribeOn(Schedulers.single()); // (2) Mono.subscribe(item -> assertThat(item).isEqualTo(1)); // ..

Monitoring Metrics Spring Boot Application 의 Metric 을 수집하는 방법중의 하나로 Spring Actuator 를 사용할 수 있다. Spring Actuator 의 dependency 를 추가한다. org.springframework.boot spring-boot-starter-actuator management.endpoints.web.exposure.include 에 metrics 값을 추가하면 /actuator/metrics API 가 활성화 된다. management: endpoints: web: exposure: include: ["metrics"] HTTP GET method 요청으로 /actuator/metrics/{metric name} 형태로 요청하..

Exception Handle Functional Level Handler 에서 함수 수행시 onErrorReturn, onErrorResume 을 정의하여 에러 핸들링 처리를 할 수 있다. onErrorReturn public Mono handleRequest(ServerRequest request) { return sayHello(request) .onErrorReturn("Request Fail! But Return Success Status!") .flatMap(s -> ServerResponse.ok() .contentType(MediaType.TEXT_PLAIN) .bodyValue(s)); } onErrorResume public Mono handleRequest(ServerRequest r..