티스토리

거북이 developer

검색하기

블로그 홈

거북이 developer

yang1s.tistory.com/m

제가 경험한 개발 지식을 공유드립니다

구독자: 7

방명록 방문하기

주요 글 목록

[Kubernetes] k8s 환경에서 springboot graceful shutdown 방법 문제 상황 (1) request 처리 도중 Pod 이 종료되면 Request 가 비정상적으로 처리될 수 있음 (2) Pod 이 종료될 때 종료 중인 Pod 에 request 가 들어오면 클라이언트는 connection refused 에러를 만나게 됨 문제 해결을 위한 과정 (1)번 이슈는 Spring 에서 제공해주는 Graceful Shutdown 설정을 통해 해결 가능하다. server: shutdown: graceful (2)번 상황을 막기 위해 Readiness Probe 를 /actuator/health endpoint 로 잡아주고 Custom Health Indicator 를 구현하여 API 로 유입된 값에 따라 Application 상태를 Active/Inactive 하게 변경할 수 있게 하였.. 공감수 3 댓글수 1 2024. 1. 29.
Kubernetes 구축 공통(Master/Worker Node) Docker 설치 Docker Engine Install 을 참고하여 사용하는 OS 에 맞게 설치 진행한다. centos 버전으로 설치 진행 root 권한이 필요하기 때문에 root 계정으로 진행한다. yum-utils 설치 및 docker repository 등록 sudo yum install -y yum-utils sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo필요한 Docker Package 설치(특정 버전을 설치하고자 한다면, yum list docker-ce --showduplicates | sort -r 로 원하는 버전 확인 후 설치.. 공감수 0 댓글수 1 2024. 1. 29.
Java8 이후로 달라진 기능들 개요 LTS 버전중에 현재 가장 점유율이 높고 사랑받는(?) 버전은 Java 8 과 11 인듯 싶다.(관련 통계: https://www.jetbrains.com/ko-kr/lp/devecosystem-2022/java/#Java_which-versions-of-java-do-you-regularly-use 참고) 최근 몇년간 신규 Java 버전이 계속 릴리즈 되었고 이와 관련되서 새로운 기능들이 많아졌다. 통계적으로 가장 많이 사용하고 있는 Java 8 이후에 어떤 기능들이 추가되었는지 살펴보자. Java 21(2023. 09 월 release 예정) 까지의 주요 업데이트 📌 ZGC Garbage Collector 추가 JDK 11부터 공개되었고, “Stop-The-World”로 인한 성능저하를 개선하기.. 공감수 0 댓글수 0 2023. 5. 4.
Spring 에서 제공하는 MongoDB Annotation 개요 Application 에서 정의한 Model 객체가 어떻게 MongoDB 로 변환이 되어 들어가고, 조회시에는 어떻게 Model 객체로 맵핑이 되는지에 대한 궁금증에서 시작. MappingMongoConverter 에서 이러한 기능을 담당하는거로 확인했지만, 이번 시간에는 이부분에 대해 깊게 파진 않고 이러한 Mapping 을 도와주는 Annotation 에 대해 알아보려고 한다. @Document Spring Data Mongodb 에서만 사용할 수 있는 Annotation 어노테이션이 정의된 Class 를 사용할 MongoDB Collection 을 지정할 수 있다. /** * 나는 base collection 에 들어갈거다! */ @Document("base") public class Base.. 공감수 2 댓글수 0 2023. 4. 5.
[Spring Boot] NoClassDefFoundError 와 Spring Boot 의 Executable Jar 관계 최근에 Spring Boot 로 개발된 Web Application 을 운영하던 도중에 아래와 같은 Error 를 맞딱뜨렸습니다. 2022-08-30 11:07:35.485 WARN 3038 --- [SpringContextShutdownHook] o.s.c.support.DefaultLifecycleProcessor : Failed to stop bean 'webServerGracefulShutdown' java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: org/springframework/boot/web/server/GracefulShutdownResult at org.springframework.boot.web.servlet.contex.. 공감수 4 댓글수 0 2022. 9. 14.
💡 Spring Rest Docs 로 Swagger API 문서 관리 자동화 💬 Spring Rest Docs 란? Spring REST Docs 는 RESTful 서비스의 문서화를 도와주는 도구이다. 문서 작성 도구로 Asciidoctor 를 기본적으로 사용하며, 이것을 통해 HTML 문서를 생성한다. 필요한 경우 Markdown 문법을 사용하도록 변경할 수 있다. RESTful API를 문서화 할때 중요한 포인트는 API 에서 필요한 HTTP 요청과 응답의 리소스를 설명하는 것인데 Spring REST Docs 를 사용할 경우 테스트 코드를 작성하여 이러한 리소스와 HTTP 요청/응답에 대한 세부 내용을 문서화하는데 편리한 기능을 제공한다. 💬 Swagger 란? RESTful API 를 약속된 규칙에 따라 json 이나 yaml 형식으로 문서화한 Open API Specif.. 공감수 0 댓글수 0 2022. 8. 26.
💔 Kafka 와 Zookeeper 의 헤어질 결심. 그 결말은?? 💬 Kafka 와 Zookeeper 의 관계? 떼려야 뗄 수 없는 관계다. Kafka 는 Zookeeper 를 통해 필요한 Metadata 를 안전하게 저장하고 Cluster 운영을 위한 리더 및 파티션 오너를 선출하고 있다. 이러한 관계로 Kafka 를 운영하기 위해서는 반드시 Zookeeper 가 구축되어야 하고 운영단계에서는 Kafka 가 사용하는 Zookeeper 를 다른 솔루션과 함께 사용하지 말라고 권장하고 있다. 💬 Kafka 는 왜 Zookeeper 와 헤어지려고 하는가? 다음과 같은 몇가지 이유가 있다. 1️⃣ Kafka 를 쓰려면 Zookeeper 도 같이 알아야 한다. - 처음 Kafka 를 배우는 입장에서는 동시에 2가지의 솔루션을 배워야 한다는 것에 진입장벽을 느낄 수 있다. - .. 공감수 0 댓글수 0 2022. 8. 26.
🚦Java 유료화와 OpenJDK 의 오해와 진실 💬 Programming 언어가 유료화가 된다고? 프로젝트를 Java 언어로 진행하고 있거나 이미 운영중인 사람들 입장에서는 처음 Java 유료화 라는 말을 들었을 때 헉! 할수밖에 없을 것이다. 그만큼 Java 는 인기있는 언어이고 대체하기 위해서는 많은 리소스를 투자할 수 밖에 없다. 결론부터 얘기하자면 Java 라는 프로그래밍 언어 자체는 GPL 라이센스로 무료이다. 그럼 도대체 어떤것이 유료화가 된다는 말일까? Java 프로그램을 실행하기 위해서는 아래의 2가지 핵심 기능이 필요하다 - Java 로 작성한 프로그램을 컴파일 해주는 JDK - 컴파일된 결과물을 실행시켜주는 JVM JDK 에 JVM 이 같이 패키징되어 배포되는 구조라 흔히들 JDK, JVM 을 합쳐 JDK 라 부르는데 이 JDK 가 .. 공감수 6 댓글수 0 2022. 8. 26.
LinkedIn 의 brooklin 활용 최근에 흥미로웠던 LinkedIn 에서 Brooklin 을 활용한 Mirror Maker 를 소개하고자 한다. 현재 Kafka Cluster 간 Message 를 Mirroring 하는 방법은 다양하다. 대표적으로 Mirror Maker 라는 오픈소스가 있고(이건 v2 가 release 되었다), Kafka Connector 나 오늘 소개할 Brooklin, 그리고 직접 Consumer 와 Producer 를 구현해서 만들수도 있다. 필자가 Kafka Mirroring 과 관련된 모든 오픈소스를 확인해본건 아니지만, 적어도 위에서 언급한 방법들에 대해서만 한정하자면 모두 공통적으로 Source Cluster 에서 message 를 Consuming 하고, 이를 Target Cluster 로 Publish.. 공감수 0 댓글수 0 2022. 8. 26.
💡 Java 의 Project Loom 이 만들어지고 있어요! 조금만 기다려주세요! Project Loom 이란? Project Loom 은 Java 의 동시성 처리 개선을 위해 Ron Pressler(Quasar 라는 Java 경량 스레드 라이브러리 개발자)가 제안하여 2017년에 시작된 프로젝트다. 최근에 완성도 높은 형태의 얼리 엑세스 빌드가 제공되어 올해 정식 릴리즈가 되지 않을까 하는 기대감이 생겼다. Project Loom 의 동기 🗽 하나의 서버에서 수백만개의 소켓을 다룰 수 있지만, OS 스레드를 직접 사용하는 Java 에서는 동시에 수천개 이상의 요청을 효율적으로 다루기 어렵다. 즉, 현재 Java 의 스레드는 자원 사용면에서 효율적이지 못하다. 비동기 관련 API 들이 나왔지만 사용하기 어렵고 디버깅이 쉽지 않아 유지보수에 좋지 않다. Project Loom 의 목표 .. 공감수 0 댓글수 0 2022. 8. 26.
[VictoriaMetrics] Metric 수집(Direct Push) InfluxDB Line Protocol 기본적으로 VictoriaMetrics 를 실행하면 8428 포트로 운영이 되고, 해당 포트에 InfluxDB Line Protocol 형식으로 data 요청이 가능하다. 만약 InfluxDB Line Protocol 을 받을 포트를 변경하고 싶다면, -influxListenAddr 옵션을 통해 변경할 수 있다. /path/to/victoria-metrics-prod -influxListenAddr=:8428 VictoriaMetrics 는 InfluxDB Data 를 받으면 이를 Prometheus 데이터 포인트로 변환을 한다. 아래와 같은 InfluxDB Data 를 보낸다고 가정하면 foo,tag1=value1,tag2=value2 field1=12,fiel.. 공감수 0 댓글수 0 2022. 3. 16.
[VictoriaMetrics] Overview 개요 Go-fasthttp 개발자가 만든 Prometheus 호환 TSDB 특징 PromQL 을 하위호환하는 MetricsQL 지원 InfluxDB, Graphite, Prometheus 등 다양한 Metric Input 지원 간단한 아키텍쳐 Gorilla Compression 을 통한 효율적인 storage 활용 Line Use Case 존재 설계 철학 KISS(Keep It Simple, Stupid) 단순한 아키텍쳐 지향 - shared nothing 외부 의존성 최소화 최소한의 자동화 지원하지 않는 것들 클러스터 자동 resizing 자동 노드 discovering data rebalancing Architecture Gorilla Compression Facebook 에서 Time Series .. 공감수 0 댓글수 0 2022. 3. 16.
[Kafka] binary 설치 및 실행 1. Zookeeper 구축 1) Zookeeper 설치 https://archive.apache.org/dist/zookeeper/ 경로에서 원하는 버전의 zookeeper 를 다운받는다. 다운받은 zookeeper 압축파일을 원하는 경로에 해제한다. 2) Zookeeper 설정 zookeeper configuration 을 참고하여 zookeeper 설정 파일을 정의한다. cluster 로 구축해야하므로 설정파일에 zookeeper 로 구축할 각 서버정보를 아래와 같이 정의한다. server.{zookeeper-1.serverId}={zookeeper-host1}:{follower-port}:{leader-election-port} server.{zookeeper-2.serverId}={zookeep.. 공감수 0 댓글수 0 2022. 3. 15.
[Kafka] Consumer Group Offset Reset 필요한 상황 Consumer 에 이슈가 발생해서 특정 시점으로 offset 을 돌려서 다시 읽고 싶어요. 지금까지 읽었던 메세지를 다시 읽게 하고 싶을 경우? 사전 확인 사항 - offset 을 어디까지로 reset 할지 확인 특정 offset 으로 reset 을 하고 싶다면 Consumer 에서 남긴 로그를 통해 각 파티션별 reset 하고자 하는 offset 값을 알아야 한다. 특정 시점으로 reset 을 하고 싶다면 reset 하고자 하는 시점을 'yyyy-MM-ddTHH:mm:SS.sss' 포맷으로 정의한다. - 경우에 따라 메세지 처리가 중복으로 발생할 수 있는데 이때 이슈가 없는지 확인한다. 이슈가 없다면 상관없지만 이슈가 있을 경우 Consumer 로직에서 중복처리를 하지 않도록 수정작업이 .. 공감수 1 댓글수 0 2022. 3. 15.
[Kafka] Reassign Partition 방법 필요한 상황 신규 broker 장비 추가 broker 장비 이전 특정 토픽을 특정 노드에서만 운영하고 싶을 때 실행 방법 kafka bin 디렉토리 하위에 있는 kafka-reassign-partitions.sh 스크립트를 사용 이동시킬 topic 이 무엇인지 json 포맷으로 정의 예) example-to-move.json {"topics":[{"topic": "example1"},{"topic": "example2"},{"topic": "example3"}],"version":1} --topics-to-move-json-file 옵션으로 위에서 생성한 json 파일을 지정하고, --generate 옵션을 통해 이동시킬 broker 에 대한 파티션 설정값을 자동으로 생성 $ bin/kafka-reass.. 공감수 1 댓글수 0 2022. 3. 15.
[Kafka] OutOfOrderSequenceException 내용 정리 Kafka Broker 로그에 간혹가다 아래와 같은 ERROR 로그가 발생한다. ERROR [ReplicaManager broker=23] Error processing append operation on partition test-8 (kafka.server.ReplicaManager) org.apache.kafka.common.errors.OutOfOrderSequenceException: Invalid sequence number for new epoch: 3 (request epoch), 4 (seq. number) ERROR [ReplicaManager broker=22] Error processing append operation on partition test-55 (kafka.s.. 공감수 2 댓글수 0 2022. 3. 14.
[Kafka] kafka SASL / SCRAM 인증, kafka-acls 권한 설정 개요 및 고려 사항 SCRAM (Salted Challenge Response Authentication Mechanism) 또는 SASL / SCRAM은 PLAIN과 같은 사용자 이름 / 암호 인증을 수행하는 기존 메커니즘의 보안 문제를 해결하는 SASL 메커니즘. Apache Kafka는 SCRAM-SHA-256 및 SCRAM-SHA-512을 지원. Kafka의 SCRAM 구현은 ZooKeeper에 SCRAM 자격 증명을 저장하기 때문에 ZooKeeper가 개인 네트워크에 있을때 사용하는것을 권장 runtime 으로 zookeeper 에 사용자에 대한 SCRAM 자격 증명을 생성할 수 있다. super user 생성 ${KAFKA_HOME}/bin/kafka-configs.sh 를 통해 super u.. 공감수 1 댓글수 0 2022. 3. 14.
[Kafka] LeaderEpochCache Warn Log 개요 Broker 에 아래와 같이 Warn Level 로그가 남겨짐 [2020-07-30 12:40:03,237] WARN [LeaderEpochCache message_action-46] New epoch entry EpochEntry(epoch=27, startOffset=0) caused truncation of conflicting entries ListBuffer(EpochEntry(epoch=26, startOffset=0)). Cache now contains 1 entries. (kafka.server.epoch.LeaderEpochFileCache) 해당 로그가 왜 남겨지고, 해소할 방법은 없는지 탐색. 원인 파악 해당 로그는 partition leader 에 대한 epoch 값이 변경될.. 공감수 0 댓글수 0 2022. 3. 14.
[Kafka] fetch.max.wait.ms 와 fetch.min.bytes 설정 으로 인한 Consumer 성능 이슈 정리 이슈 producer 가 메세지를 일정 간격으로 전송(500ms) consumer 설정 중 fetch.min.bytes 를 1로 설정(데이터가 있으면 즉시 받도록 최소로 설정) 하고 fetch.max.wait.ms 를 default(500ms)로 설정했을 때, consumer 가 저장된 메세지를 읽어들이는데 지연시간이 발생.(메세지가 broker 에 도착시간은 12시 0분 0초 0ms 인데 해당 메세지를 컨슈머가 읽은 시간은 12시 0분 0초 300ms) fetch.max.wait.ms 를 100ms 로 설정하였을 경우 지연시간이 줄어듬 원인 kafka documentation 에 정리된 설정값의 설명을 보면 fetch.min.bytes 를 1로 설정할 경우 데이터가 들어왔을 때 즉시 응답을 줄거로 예상.. 공감수 3 댓글수 0 2022. 3. 14.
[VictoriaMetrics] 설치 스펙 Server CentOS 7.4 64bit CPU: 2core Mem: 2GB Disk: 100GB User: irteam(home: /home1/irteam/) VictoriaMetrics version: 1.62.0 Go version: 1.16.5 HA 구성 HA 구성 방법에는 단일 노드와 cluster 구성 방법이 있다. 단일 노드로 구성할 경우 vmagent 를 통해 단일 노드로 구축한 여러대의 victoria-metrics 에 write 를 할 수 있다. 만약 vmagent 를 사용하지 않을 경우 client 가 직접 이런 처리를 해야한다. cluster 로 구성할 경우 vminsert 가 단일 노드시 사용하는 vmagent 역할을 하는거로 보인다.(이때 replica 도 정의할 수 있다.. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Utils BlockHound Spring Webflux 는 예상치 못한 blocking 로직이 있을 경우 성능에 큰 영향을 미치기 때문에 이러한 로직이 있는지 탐지하고 수정할 수 있어야 한다. BlockHound 는 비지니스 로직이 수행될 때 blocking 로직이 있으면 exception 을 던져 blocking 로직을 파악할 수 있게 도와준다. 번역 gateway 에서는 아래와 같은 방식으로 blockhound 를 실행한다. Dependency 추가 io.projectreactor.tools blockhound 1.0.3.RELEASE Application class 에서 BlockHound 실행여부를 판단 @SpringBootApplication public class Application { static .. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Test Code Test Code StepVerifier Reactor 를 사용할 경우 주로 다루는 Mono/Flux 를 반환하는 리액티브 API 에 대한 테스트는 기존 Test Code 작성 방법으로는 테스트하기 힘들다. 아래와 같이 reactor-test 에 대한 dependency 를 추가해야 사용이 가능하다 io.projectreactor reactor-test test ◉ 일반적인 Test Code 작성시 발생할 수 있는 실수 1 @Test public void mono() { Mono mono = Mono.just(1) // (1) .subscribeOn(Schedulers.single()); // (2) Mono.subscribe(item -> assertThat(item).isEqualTo(1)); // .. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Monitoring Metrics Monitoring Metrics Spring Boot Application 의 Metric 을 수집하는 방법중의 하나로 Spring Actuator 를 사용할 수 있다. Spring Actuator 의 dependency 를 추가한다. org.springframework.boot spring-boot-starter-actuator management.endpoints.web.exposure.include 에 metrics 값을 추가하면 /actuator/metrics API 가 활성화 된다. management: endpoints: web: exposure: include: ["metrics"] HTTP GET method 요청으로 /actuator/metrics/{metric name} 형태로 요청하.. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Exception Handle Exception Handle Functional Level Handler 에서 함수 수행시 onErrorReturn, onErrorResume 을 정의하여 에러 핸들링 처리를 할 수 있다. onErrorReturn public Mono handleRequest(ServerRequest request) { return sayHello(request) .onErrorReturn("Request Fail! But Return Success Status!") .flatMap(s -> ServerResponse.ok() .contentType(MediaType.TEXT_PLAIN) .bodyValue(s)); } onErrorResume public Mono handleRequest(ServerRequest r.. 공감수 5 댓글수 0 2022. 3. 14.
Spring Webflux - Server Configuration Server Configuration @EnableWebFlux @EnableWebFlux 어노테이션을 정의할 경우 DelegatingWebFluxConfiguration 이 동작하는데 해당 Configuration 이 수행하는 기능은 다음과 같다. WebFlux Application 운영을 위한 default spring configuration 을 정의해준다. WebFluxConfigurer 를 정의한 configuration 이 있는지 탐지 및 customizing 된 내용 적용. @Configuration @EnableWebFlux public class WebConfig { // ... } 만약 @EnableWebFlux 를 사용하지 않고 직접 핸들링 하고 싶다면, DelegatingWebFlu.. 공감수 6 댓글수 0 2022. 3. 14.
Spring Webflux - WebClient WebClient 생성 create WebClient 는 간단하게 static 메서드로 생성이 가능하다. static method 로 생성할 경우 디폴트로 Reactor Netty HttpClient 를 사용하므로 reactor-netty 라이브러리에 대한 의존성이 필요하다. WebClient webClient1 = WebClient.create(); WebClient webClient2 = WebClient.create("http://naver.com"); builder 몇가지 옵션을 설정하려면 builder 를 사용하여 생성하는것을 권장한다. uriBuilderFactory: base URL 과 관련하여 UriBuilderFactory 를 커스텀하게 구현했을 경우. defaultUriVariables.. 공감수 4 댓글수 0 2022. 3. 14.
Spring Webflux - Filter Filter Spring Webflux 에서는 MVC 의 Interceptor 와 비슷한 역할을 하는 HandlerFilterFunction 과 Servlet Filter 와 비슷한 역할을 하는 WebFilter Interface 를 제공하고 있다. HandlerFilterFunction 핸들러 펑션에 필터를 적용할 땐 RouterFunction Builder 를 사용하면 되는데, 다음과 같은 함수가 있다. before : Handler 함수 수행 전에 동작하는 함수를 등록하며 인자로 Function 를 받는다. after : Handler 함수가 수행 완료되면 동작하는 함수를 등록하며 인자로 BiFunction 를 받는다. filter : 인자로 HandlerFilterFunction 를 받으며, 필터.. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - HandlerFunction HandlerFunction ServerRequest 를 받아 ServerResponse 를 리턴하는, MVC 의 Controller 와 유사한 로직을 구현하는 함수이다. ServerRequest와 ServerResponse는 자바 8 방식으로 HTTP 요청과 응답에 접근할 수 있는 불변(immutable) 인터페이스다. 요청, 응답 body 모두 리액티브 스트림 back pressure로 처리한다. request body는 리액터 Flux나 Mono로 표현한다. response body는 Flux와 Mono를 포함한 어떤 리액티브 스트림 Publisher든 상관없다. 자세한 정보는 Reactive Libraries 를 참고. ServerRequest ServerRequest로 HTTP 메소드, URI,.. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Request Mapping Request Mapping Spring Webflux 에선 아래와 같이 2가지 programming model 이 있고 그에 맞게 Request Mapping 을 해줄 수 있다. Annotated Controllers 스프링 MVC와 동일하며 spring-web 모듈에 있는 같은 어노테이션을 사용한다. 스프링 MVC와 웹플럭스 컨트롤러 모두 리액티브(Reactor, RxJava) 리턴 타입을 지원하기 때문에 이 둘을 구분하기 어렵다. 한 가지 눈에 띄는 차이는 웹플럭스에선 @RequestBody로 리액티브 인자를 받을 수 있다. 스프링 웹플럭스는 어노테이션 기반 프로그래밍 모델을 지원하기 때문에, @Controller, @RestController 컴포넌트로 요청을 매핑하고, 입력을 받고, except.. 공감수 3 댓글수 0 2022. 3. 14.
Spring Webflux - Overview Spring Webflux 란? Spring 5.0 버전부터 추가된 리액티브 스택 웹 프레임워크다. 완벽하게 non-blocking 으로 동작하며, Reactive Streams back pressure를 지원하고, Netty, Undertow, 서블릿 3.1+ 컨테이너 서버에서 실행된다. 기존 Spring MVC 와 같이 Spring Framework 에 공존하고 MVC 를 사용하며 Webflux 개발을 하는것도 가능하다. Spring Webflux 는 왜 만들어졌나? 적은 쓰레드로 동시 처리를 제어하고 적은 하드웨어 리소스로 확장하기 위한 논블로킹 웹 스택의 필요성이 대두됨. 이전에도 서블릿 3.1 은 논블로킹 I/O를 위한 API를 제공했지만, 서블릿으로 논블로킹을 구현하려면 다른 동기 처리나(Fi.. 공감수 3 댓글수 0 2022. 3. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.