justgo_developer

Kotlin Coroutine 성능 및 최적화 개선

다날92 — Wed, 19 Feb 2025 21:54:36 +0900

Kotlin Coroutine 최적화 개선 내용 4가지

1️⃣ runBlocking → suspend fun으로 변경 (동기 실행 문제 해결)

문제점

기존 코드에서 runBlocking을 사용하여 코루틴이 동기적으로 실행되고 있었음.
runBlocking을 사용하면 현재 스레드를 블로킹하기 때문에 비효율적.
비동기 실행의 장점을 활용할 수 없음.

개선 사항

runBlocking을 제거하고, 함수를 suspend fun으로 변환하여 완전한 비동기 실행 가능.
suspend 방식은 스레드를 블로킹하지 않고 비동기적으로 실행됨.

비교: runBlocking vs suspend fun

방식실행 방식블로킹 여부동시성 지원성능

runBlocking	동기 실행 (Blocking)	✅ 블로킹됨	❌ 제한적 (한 번에 하나의 작업 실행)	❌ 성능 저하 가능
suspend	비동기 실행 (Non-blocking)	❌ 블로킹되지 않음	✅ 여러 개의 코루틴 실행 가능	✅ 고성능

결론

✅ 스레드를 블로킹하지 않기 위해 suspend fun을 사용해야 함.
✅ 비동기 API와 자연스럽게 연동되므로 성능 최적화 가능.
✅ 일반적인 비즈니스 로직에서는 suspend fun 방식이 더 적합.

2️⃣ CoroutineScope(Dispatchers.IO).launch() 대신 withContext(Dispatchers.IO) 사용

문제점

기존 코드에서는 CoroutineScope(Dispatchers.IO).launch {}를 사용하여 I/O 작업을 실행하고 있었음.
하지만 launch는 새로운 코루틴을 생성하기 때문에, 불필요한 리소스 낭비 발생 가능.
실행 순서가 보장되지 않으며, 결과 값을 받을 수 없음.

개선 사항

launch 대신 withContext(Dispatchers.IO) {} 사용하여 새로운 코루틴을 만들지 않고, 현재 컨텍스트만 변경.
withContext를 사용하면 I/O 작업을 실행 순서를 보장하면서 동기적으로 실행 가능.

비교: launch vs withContext

차이점launch (Job)withContext (suspend 블록)

반환값	없음 (Job)	T 값을 반환 가능
코루틴 생성 여부	새로운 코루틴 생성	새로운 코루틴을 생성하지 않고 컨텍스트만 변경
실행 순서 보장	❌ 실행 순서를 보장하지 않음	✅ 실행 순서를 보장
예외 처리	부모 코루틴으로 전파됨	예외를 호출한 곳으로 직접 전달 가능
사용 목적	결과값이 필요 없는 비동기 실행 (Fire & Forget)	비동기 작업을 동기적으로 실행하고 결과를 받아야 할 때

결론

✅ I/O 작업을 수행할 때는 withContext(Dispatchers.IO)를 사용해야 함.
✅ 불필요한 코루틴 생성을 방지하고 실행 순서를 보장할 수 있음.
✅ 예외를 안전하게 처리하면서 비동기 작업을 동기적으로 실행 가능.

3️⃣ launch 대신 async + await() 사용하여 병렬 실행 최적화

문제점

기존 코드에서는 launch를 사용하여 비동기 작업을 실행한 후 join()을 사용하여 기다림.
하지만 launch는 Deferred를 반환하지 않기 때문에, 결과를 받을 수 없음.
launch는 병렬 실행에는 적합하지 않으며, 결과를 필요로 하는 비동기 작업에서는 비효율적임.

개선 사항

launch 대신 async를 사용하여 비동기 작업 후 결과를 받을 수 있도록 변경.
병렬 실행이 필요한 경우 awaitAll()을 활용하여 최적화.

비교: launch vs async

차이점launch (Job)async (Deferred<T>)

반환값	없음 (Job)	Deferred<T> (결과 있음)
결과 접근	.join() (완료 대기)	.await() (결과 가져오기)
예외 처리	즉시 전파됨	await() 호출 시 발생
사용 목적	단순한 비동기 실행 (Fire & Forget)	결과를 반환해야 할 때

결론

✅ 결과가 필요 없는 경우 → launch 사용
✅ 비동기 결과를 받아야 하는 경우 → async + await() 사용
✅ 즉, launch는 "실행만", async는 "결과를 반환하는 비동기 처리"에 적합!

4️⃣ await() / awaitAll() 사용하여 병렬 실행 최적화

문제점

기존 코드에서 awaitAll()을 사용하면 성능 최적화가 가능하지만, 각 API의 반환 타입이 다르기 때문에 Type Mismatch 오류 발생 가능.
awaitAll()을 사용하면 모든 async 결과가 같은 타입이어야 함, 하지만 현재 구조에서는 반환 타입이 다름.

개선 사항

각 API의 응답 DTO 타입이 다르므로, 개별 await()을 사용하는 것이 더 안전하고 명확함.
특정 API의 결과를 먼저 받아야 하는 경우 await()을 사용하면 순서대로 로직을 제어할 수 있음.

비교: awaitAll() vs 개별 await()

차이점awaitAll()개별 await()

실행 방식	모든 async 작업을 병렬 실행 후 한 번에 결과 수집	개별 async 결과를 각각 가져옴
타입 문제	모든 응답 타입이 같아야 함	각 응답 타입이 다를 때 안전하게 처리 가능
순서 제어	순서를 제어하기 어려움	특정 API 결과를 먼저 사용할 수 있음

결론

✅ 모든 응답이 같은 타입일 때 → awaitAll() 사용
✅ 각 API의 응답 타입이 다를 때 → 개별 await() 사용
✅ 즉, 현재 코드에서는 awaitAll()보다 개별 await()을 사용하는 것이 더 적절함!

최종 정리

✅ 1️⃣ runBlocking → suspend fun 변경

runBlocking을 제거하여 비동기 실행 최적화.
멀티스레드 환경에서도 효율적인 비동기 처리 가능.

✅ 2️⃣ CoroutineScope(Dispatchers.IO).launch() 대신 withContext(Dispatchers.IO) 사용

불필요한 코루틴 생성 방지.
I/O 작업에서 실행 순서 보장 및 예외 처리 강화.

✅ 3️⃣ launch 대신 async + await() 사용하여 병렬 실행 최적화

launch는 결과를 반환하지 않으므로, 병렬 실행이 필요할 때 async + await() 활용.

✅ 4️⃣ await() / awaitAll() 사용하여 병렬 실행 최적화

응답 DTO 타입이 다르므로 awaitAll() 대신 개별 await() 사용.
병렬 실행 최적화 및 코드 안전성 향상.

golang ent + sqlite

다날92 — Thu, 7 Nov 2024 20:18:09 +0900

golang ent + sqlite

ent 프레임워크

ent는 Facebook에서 개발한 Go 언어용 엔티티 프레임워크입니다. 이 프레임워크는 강력한 ORM(Object-Relational Mapping) 기능을 제공하며, 다음과 같은 특징을 가집니다:

코드 생성: 스키마 정의를 기반으로 타입 안전한 코드를 자동으로 생성합니다.
그래프 기반 쿼리: 복잡한 데이터 관계를 쉽게 탐색할 수 있는 그래프 기반 쿼리를 지원합니다.
스키마 마이그레이션: 데이터베이스 스키마 변경을 쉽게 관리할 수 있습니다.
확장성: 사용자 정의 필드와 엣지를 통해 복잡한 비즈니스 로직을 구현할 수 있습니다.
데이터베이스 지원: SQLite를 포함한 다양한 데이터베이스를 지원합니다.

ent를 사용하면 다음과 같은 이점을 얻을 수 있습니다:

타입 안정성: 컴파일 시점에 많은 오류를 잡아낼 수 있어 런타임 오류를 줄일 수 있습니다.
생산성 향상: 반복적인 CRUD 작업을 자동화하여 개발 시간을 단축할 수 있습니다.
유지보수성: 잘 정의된 스키마와 자동 생성된 코드로 프로젝트의 유지보수가 용이해집니다.

ent와 SQLite를 함께 사용하면, Go 애플리케이션에서 경량화된 데이터베이스 작업을 타입 안전하고 효율적으로 수행할 수 있습니다.

SQLite 데이터베이스

SQLite는 경량화된 관계형 데이터베이스 관리 시스템(RDBMS)입니다. 다음과 같은 주요 특징을 가지고 있습니다:

서버리스: 별도의 서버 프로세스 없이 애플리케이션에 직접 내장되어 사용됩니다.
자체 완결성: 전체 데이터베이스가 단일 파일로 저장되어 이식성이 매우 뛰어납니다.
제로 구성: 복잡한 설정이나 관리가 필요 없어 사용이 간편합니다.
트랜잭션 지원: ACID(원자성, 일관성, 고립성, 지속성) 속성을 준수하는 트랜잭션을 지원합니다.
표준 SQL 지원: SQL 표준의 대부분을 지원하여 사용이 익숙합니다.

SQLite는 다음과 같은 상황에서 특히 유용합니다:

임베디드 시스템: 모바일 앱, IoT 장치 등 리소스가 제한된 환경에 적합합니다.
로컬 저장소: 데스크톱 애플리케이션이나 브라우저의 로컬 데이터 저장에 활용됩니다.
테스팅 및 개발: 개발 단계에서의 빠른 프로토타이핑과 테스트에 이상적입니다.

Go 언어에서 SQLite를 사용할 때는 주로 database/sql 패키지와 SQLite 드라이버를 조합하여 사용합니다. ent 프레임워크와 함께 사용하면 타입 안전성과 ORM의 장점을 누리면서도 SQLite의 경량화된 특성을 효과적으로 활용할 수 있습니다.

SQLite 설치

SQLite 다운로드 페이지

설치:

sudo wget <https://www.sqlite.org/snapshot/sqlite-snapshot-202410221619.tar.gz>
sudo tar -xvf sqlite-snapshot-202410221619.tar.gz
cd sqlite-snapshot-202106031851
sudo ./configure
sudo make
sudo make install

sqlite3 --version

Ent 사용법

Ent 시작하기 문서

스키마 생성: 자동으로 "프로젝트명/ent/schema/" 경로에 스키마명.go 파일이 생성됨.

go run -mod=mod entgo.io/ent/cmd/ent new 스키마명

기본으로 생성된 Fields 함수에 스키마명.go 파일에 사용하는 항목 추가(lnkg_dts, key, data)
- Edges는 Relation을 테이블간 연관관계 의미함

package schema

import (
    "entgo.io/ent"
    "entgo.io/ent/schema/field"
    "time"
)

// LimiterLog holds the schema definition for the LimiterLog entity.
type LimiterLog struct {
    ent.Schema
}

// Fields of the LimiterLog.
func (LimiterLog) Fields() []ent.Field {
    return []ent.Field{
        field.Time("lnkg_dts").Default(time.Now()),
        field.String("key"),
        field.String("data"),
    }
}

// Edges of the LimiterLog.
func (LimiterLog) Edges() []ent.Edge {
    return nil
}

go generate 명령어 실행
- CRUD와 같은 기능들을 담당하는 go 파일이 자동으로 생성됨.

go generate ./ent

sqlite3 db로 조회 및 저장 하기

package main

import (
    "context"
    "log"

    "entdemo/ent"

    _ "github.com/mattn/go-sqlite3"
)

func main() {
    client, err := ent.Open("sqlite3", "file:ent?mode=memory&cache=shared&_fk=1")
    if err != nil {
        log.Fatalf("failed opening connection to sqlite: %v", err)
    }
    defer client.Close()
    // Run the auto migration tool.
    if err := client.Schema.Create(context.Background()); err != nil {
        log.Fatalf("failed creating schema resources: %v", err)
    }
}

메모리 모드 방식과 파일모드 방식 2가지로 Sqlite를 사용할수 있음.

// memory mode
client, err := ent.Open("sqlite3", "file:ent?mode=memory&cache=shared&_fk=1")
// file mode
client, err := ent.Open("sqlite3", "file:data.db?_fk=1")

ent를 이용해 CRUD 간편히 할수 있음.

func CreateLimiterLog(ctx context.Context, client *ent.Client, limiterLog *ent.LimiterLog) (*ent.LimiterLog, error) {
    ll, err := client.LimiterLog.Create().SetLnkgDts(time.Now()).SetKey(limiterLog.Key).SetData(limiterLog.Data).Save(ctx)

    if err != nil {
        return nil, fmt.Errorf("failed creating limiterLog : %w", err)
    }
    log.Println("limiterLog was created: ", ll)
    return ll, nil
}

func SelectLimiterLog(ctx context.Context, client *ent.Client, key string) ([]*ent.LimiterLog, error) {
    ll := client.LimiterLog.Query().Where(limiterlog.Key(key)).AllX(ctx)

    return ll, nil
}

카프카 리밸런싱으로 인한 Consume 불가 이슈

다날92 — Tue, 15 Oct 2024 20:33:31 +0900

이슈 : Consumer가 전체적으로 대부분의 토픽을 처리하지 못하고 있는 현상.

발생한 로그

Attempt to heartbeat failed since group is rebalancing    
: 카프카 heartbeat가 실패해서 rebalancing 발생

Join group failed with org.apache.kafka.common.errors.MemberIdRequiredException: The group member needs to have a valid member id.   

Join group failed with org.apache.kafka.common.errors.UnknownMemberIdException: The coordinator is not aware of this member.   

: 카프카가 유효한 member id를 찾지 못해서 발생하는 로그 → 결국 rebalancing 이루어짐.

카프카(Kafka)에서 리밸런싱(rebalancing)이 발생하는 주요 원인은 파티션과 컨슈머 그룹(consumer group)의 상태 변화에 따른 것입니다.
리밸런싱은 파티션을 컨슈머에게 다시 할당하여 데이터 처리의 부하를 균형 있게 유지하는 작업으로, 시스템 안정성을 위해 필수적이지만 자주 발생하면 성능 저하를 유발

카프카 rebalancing이 일어나는 케이스는 크게 2가지가 있는데

1.제한시간내에 poll 요청 실패 : max.poll.interval.ms

2.컨슈머 생성 및 삭제 : session.timeout.ms+ heartbeat.timeous.ms

발생한 케이스는 1번 케이스로 poll 호출하는 시간 간격이 5분을 초과하여 발생.

이슈 발생 시점에 대량 메시지 추정 → db latency 증가됨.

100 X 1회 호출시간(대략 5초라고 가정) 대략 8분 > 5 min

"max.poll.records" 100개, max.poll.interval.ms 5분으로 지정

해결

카프카 관련 2개 설정 수정

1.max.poll.records: poll 처리 갯수 감소

2.max.poll.interval.ms : interval 시간 증가

리눅스 환경에서 Go 설치

다날92 — Fri, 16 Aug 2024 14:15:56 +0900

#Go 설치
wget https://dl.google.com/go/go1.22.5.linux-amd64.tar.gz

tar -C /usr/local -xzf go1.22.5.linux-amd64.tar.gz

#설치한 Go 버전 확인
cd /usr/local/bin

./go version
-> go version go1.22.5 linux/amd64

#Go 프로젝트 경로 생성
/data01/sw/project/goPATH

#Go 환경변수 설정
vi ~/.bash_profile

export GOPATH=$HOME/go
export PATH=$PATH:$GOPATH/bin
export PATH=$PATH:/usr/local/go/bin

#변경 사항 즉시 반영
source ~/.bash_profile

#Go 확인
go version

Go 실행 확인

#Go 파일 생성
vi example.go

#Go 빌드
go build example.go

#Go 실행
go run example.go

go: go.mod file not found in current directory or any parent directory; see 'go help modules'

go env

go env -w GO111MODULE=auto

to this:

go env -w GO111MODULE=off

https://stackoverflow.com/questions/66894200/error-message-go-go-mod-file-not-found-in-current-directory-or-any-parent-dire

Spring Cloud Sleuth 적용

다날92 — Sat, 30 Mar 2024 17:07:08 +0900

Spring Cloud Sleuth 적용

상세

Sleuth는 RestTemplate, Feign, WebClient와 같은 스프링 진형의 HTTP Client 모듈을 사용하는 경우 Sleuth 의존성을 추가하는 것으로도 설정이 자동적으로 동작하게 됩니다

spring boot 2.X 버전에서만 Spring Cloud Sleuth 사용 가능

Spring boot 3.X 버전에서는 Micrometer Tracking으로 변경

Spring Cloud Sleuth will not work with Spring Boot 3.x onward. The last major version of Spring Boot that Sleuth will support is 2.x.

The core of this project got moved to [Micrometer Tracing](https://micrometer.io/docs/tracing) project and the instrumentations will be moved to [Micrometer](https://micrometer.io/) and all respective projects (no longer all instrumentations will be done in a single repository.

Sleuth는 RestTemplate, Feign, WebClient와 같은 스프링 진형의 HTTP Client 모듈을 사용하는 경우 Sleuth 의존성을 추가하는 것으로도 설정이 자동적으로 동작

<dependency>
   <groupId>org.springframework.cloud</groupId>
   <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>

dependencies {
    implementation("org.springframework.cloud:spring-cloud-starter-sleuth")
}

Sleuth는 B3-Propagation 타입을 기본으로 사용하여 서버간 정보를 전파

기본적으로 Sleuth는 MDC Context에 traceId와 spanId 저장

traceId : 하나의 Trace안의 모든 Span이 공유하는 값으로 최초 보낸 http 요청에 대한 ID

spanId : 각 서비스별 Id

X-B3-TraceId vs TraceId의 차이점

https://stackoverflow.com/questions/56767956/which-to-log-x-b3-spanid-or-spanid-x-b3-traceid-or-traceid-spring-sleuth

코틀린 코루틴에서 적용되지 않는 현상
This issue is somewhat mitigated by coroutine's slf4j support, that carries the MDC context into the coroutine:

GlobalScope.launch(MDCContext()) {
    // your code goes here
}

However, it does not work with the automatic instrumentation of RestTemplates when calling another service. The tracing headers seem not to be set on RestTemplates used within coroutines. Only solution I know of so far uses a special Callable class and is described here: https://stackoverflow.com/questions/47026664/spring-sleuth-zipkin-spans-not-nesting-in-kotlin-coroutine

→ 코틀린 + 코루틴은 작동 불가 : 실제 현재 프로젝트에 로그로는 출력 가능하나 다른 서비스에 traceId, spanId 전달 불가

일단 기본적으로 Sleuth 는MDC Context 에 traceId 와 spanId 를 저장한다.Sleuth 는 기본적으로 B3-Propagation 을 통해서 서버간 정보를 전파할 수 있다.

코루틴 적용

composite 프로젝트에 코틀린 + 코루틴으로 멀티쓰레드로 api 호출하는 로직

코루틴 내부는 MDC context가 전달되지 않음

따라서, 코루틴에 강제로 넣어줘야함.

하지만 이 방법은 실제 현재 프로젝트에 로그로는 출력 가능하나 다른 서비스에 traceId, spanId 전달 불가

→ Feign X-B3-TraceId header에 강제로 넣어서 호출되도록 처리, 최초 시작되는 시점이므로 TraceId만 넣어줘도 무방

카프카 consumer 프로젝트 적용

sleuth는 HTTP Client기반으로 Trace를 생성하는 구조다 보니 kafka consumer가 메시지를 읽을때는 생성하지 못함.

→ 공통 aop로 개발하여 메시지 읽을때 traceId, spanId 생성

consumer 트랜잭션

private final Tracer tracer;
   @Before("@annotation(com.ssg.api.collect.kafka.common.annotaion.KafkaLogger)")
   public void printLogging(JoinPoint joinPoint) {
       Span span = tracer.nextSpan().name("span").start();

           MDC.put("traceId", span.context().traceIdString());
           MDC.put("spanId", span.context().spanIdString());
   }

traceId, spanId를 강제 생성 한후 feign header에 생성

public class SsgFeignConfig implements RequestInterceptor {

    @Override
    public void apply(RequestTemplate requestTemplate) {

        requestTemplate.header("Accept", "application/json");
        requestTemplate.header("Content-Type", "application/json;charset=utf-8");
        requestTemplate.header("X-B3-TraceId", MDC.get("traceId"));

        requestTemplate.header(HttpHeaders.CONNECTION, "keep-alive");
    }
}

참고

https://docs.spring.io/spring-cloud-sleuth/docs/current-SNAPSHOT/reference/html/

https://cloud.spring.io/spring-cloud-sleuth/2.1.x/single/spring-cloud-sleuth.html#_propagation

Bearer Authorization

다날92 — Tue, 10 Oct 2023 18:28:22 +0900

Bearer Authorization

개요

업체 쪽 API를 호출하는데 특정 API 401 Authorized 에러가 갑자기 발생하였다.
업체 쪽 환경은 MS Azure를 사용하고 토큰 기반으로 인증을 한다.
토큰 생성 API로 토큰을 생성하고 헤더 Authorization에 토큰 값을 담아 API를 호출하는 구조를 가지고 있다.
원인은 MS Azure 보안 인증이 강화되어 Bearer 인증 기능이 활성화되었다고 한다.
Bearer 인증이 토큰 앞 부분에 "Bearer "만 추가하면 되는데 무엇인지 알아보려고 한다.

상세

1. Token 기반 인증

Token 기반 인증은 Session/Cookie 기반 인증 방식을 보완하기 위해 나온 인증 방식인데
Session/Cookie 기반 인증 방식은 별도의 저장소를 두기 때문에 DB의 부하가 발생할 수 있다.

Token 인증 기반 서버에서 특정 API를 사용하려면 Token 발급을 받고
해당 토큰을 HTTP Header Authorization에 보내어
토큰 검증을 통해 이용가능하다.
토큰 검증 실패시 401 Authorized 에러 발생

728x90

2. Bearer 인증

Bearer는 토큰 기반 인증에서 토큰 유형을 나타내는 용어.

# Authorization 구조 
Authorization : [type] [token]

인증 타입 종류에는 여러가지가 있는데 그중 Bearer 타입은
Bearer : JWT 혹은 OAuth에 대한 토큰을 사용

따라서, Beare 인증 기반을 사용할때는 Header Authorization에 Bearer + " " + 토큰를 담아 넘겨주면 된다.

※
Authorization 타입으로 'Bearer'를 반드시 명시해야 하며, 'Bearer'와 'Token' 사이에 공백(space)을 빠트리지 않도록 주의한다.

Gson 이용 시 Unicode 변환 해결 방법

다날92 — Tue, 10 Oct 2023 18:27:10 +0900

Gson 이용 시 Unicode 변환 해결 방법

개요

데이터 처리 중 암호화된 데이터 값이 달라지는 걸 발견하였는데,
알고보니 객체를 json으로 변환 중 문자가 unicode로 변환되어 나오는 것을 확인하였고,
해결방법에 대해서 알아보려고 한다.

상세

1. unicode란?

Unicode 정의

유니코드(영어: Unicode)는 전 세계의 모든 문자를 컴퓨터에서 일관되게 표현하고 다룰 수 있도록 설계된 산업 표준이다. 유니코드는 유니코드 협회(Unicode Consortium)가 제정한다. 또한 이 표준에는 ISO 10646 문자 집합, 문자 인코딩, 문자 정보 데이터베이스, 문자들을 다루기 위한 알고리즘 등을 포함하고 있다.

2. Gson 사용시 unicode 문제

    @Test
    public void gsonUnicodeTest() {
        Map<String, String> map = new HashMap<>();
        map.put("unicode", "7456156==");
        System.out.println(JsonUtils.toJson(map));
    }

{"unicode":"7456156\u003d\u003d"}

-> Gson을 이용하여 Json 변환 시, 문자 '='가 '\u003d' 유니코드로 변환된다.

728x90

3. Gson 사용시 unicode 해결방법

기존 : 일반적인 Gson 객체 생성

    public static <T> String toJson(T obj) {
        Gson gson = new Gson();
        return gson.toJson(obj);
    }

변경 : GsonBuilder().disableHtmlEscaping().create() 사용하여 Gson 객체 생성

    public static <T> String toJsonWithoutUnicode(T obj) {
        Gson gson = new GsonBuilder().disableHtmlEscaping().create();
        return gson.toJson(obj);
    }

GsonBuilder().disableHtmlEscaping().create() 사용하여 HTML Escape 비활성화하면 unicode로 변환하지 않고 정상처리 된다.

{"unicode":"7456156=="}

참고

https://www.javadoc.io/doc/com.google.code.gson/gson/2.8.5/com/google/gson/GsonBuilder.html#disableHtmlEscaping--

Json File Download(HttpURLConnection, FeignClient)

다날92 — Tue, 10 Oct 2023 18:26:22 +0900

Json File Download(HttpURLConnection, FeignClient)

상세

1. HttpURLConnection 이용한 파일 다운로드

InputStream : 파일 데이터를 읽거나 네트워크 소켓을 통해 데이터를 읽거나 키보드에서 입력한 데이터를 읽을 때 사용
- read(byte[] b): 배열 b의 크기만큼 데이터를 읽어와서 b에 저장한다.
- read(byte[] b, int off, int len) : len의 크기만큼 데이터를 읽어와서 배열 b의 off 위치부터 저장한다.

FileOutputStream : 데이터를 파일에 바이트 스트림으로 저장하기 위해 사용한다.
```
               주어진 이름의 파일을 쓰기 위한 객체를 생성하여 파일 생성됨  
```
- write(byte[] b) : 배열 b에 저장된 모든 내용을 출력소스에 쓴다
- write(byte[] b, int off, int len) : 배열 b에 저장된 내용을 off 위치부터 len개 만큼 출력소스에 쓴다.

※ HttpURLConnection의 getInputStream() 메소드를 통해 응답 데이터를 읽을 수 있는 InputStream 객체를 얻을 수 있습니다.

※ InputStream read시 더 이상 읽은 바이트가 없으면 -1 리턴

  public void downloadFile(String requestUrl) {
        String outputDir = "C:/Code/file";
        InputStream is = null;
        FileOutputStream os = null;
        try{
            URL url = new URL(requestUrl);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            int responseCode = conn.getResponseCode();

            if (responseCode == HttpURLConnection.HTTP_OK) {
                String fileName = "downloadTest" + System.currentTimeMillis() + ".json";
                System.out.println("fileName = " + fileName);
                File file = new File(outputDir);

                if(!file.exists()) file.mkdirs();

                is = conn.getInputStream();
                os = new FileOutputStream(file + "/" + fileName);

                int bytesRead;
                byte[] buffer = new byte[1024];
                while ((bytesRead = is.read(buffer)) != -1) {
                    // 입력받은 내용을 파일 내용으로 기록한다.
                    os.write(buffer, 0, bytesRead);
                }

            } else {
                System.out.println("fail => responseCode : " + responseCode);
            }
            conn.disconnect();
        } catch (Exception e){
            e.printStackTrace();
        } finally {
            try {
                if (is != null){
                    is.close();
                }
                if (os != null){
                    os.close();
                }
            } catch (IOException e){
                e.printStackTrace();
            }
        }
    }

728x90

2. FeignClient 이용한 파일 다운로드

FeignClient 호출시 리턴 타입을 feign에서 제공해주는 Reponse 객체로 받는다.
Feign.Reponse.Body 객체 안에 있는 asInputStream 메소드를 통해 InputStream 객체를 얻을수 있음.
그 이후 파일 다운로드 방법은 위의 HttpURLConnection 사용 시 예제와 유사

@FeignClient(name = "download-api",
        url = "https://raw.githubusercontent.com/people92/self-study/main/java-study/src/main/resources/json"
)
public interface DownloadFeignClient {

    @GetMapping(value = "/sample.json")
    Response downloadJsonFile();
}

    @Test
    public void downloadJsonFileTest() throws IOException {

        String outputDir = "C:/Code/file";
        String fileName = "downloadTest" + System.currentTimeMillis() + ".json";

        Response response = downloadFeignClient.downloadJsonFile();
        Response.Body body = response.body();
        InputStream inputStream = body.asInputStream();

        if(response.status() == 200) {
            FileOutputStream os = new FileOutputStream(outputDir + "/" + fileName);
            int bytesRead;
            byte[] buffer = new byte[1024];
            while ((bytesRead = inputStream.read(buffer)) != -1) {
                // 입력받은 내용을 파일 내용으로 기록한다.
                os.write(buffer, 0, bytesRead);
            }
            inputStream.close();
            os.close();
        }
    }

추상 팩토리 패턴(Abstract Factory Pattern)를 이용한 인터페이스 중복 메소드 제거

다날92 — Tue, 10 Oct 2023 18:25:19 +0900

추상 팩토리 패턴(Abstract Factory Pattern)를 이용한 인터페이스 중복 메소드 제거

개요

원래 개발했던 연동 서비스에 새로운 업체가 추가되어야 한다.
interface는 똑같지만 일부 메소드는 거의 동일하고 일부 메소드는 다르게 구현하여야 할 것 같다.
그래서 추상 팩토리 패턴을 이용해 공통코드를 추상클래스로 뽑아내려고 한다.
그 개념에 대해서 알아 보려고 한다.

상세

1. 추상 팩토리 패턴(Abstract Factory Pattern) 정의

팩토리를 추상화해서 관련있는 객체의 집합을 생성할 수 있는 팩토리를 만들고 조건에 따라 팩토리를 생성해서 서로 관련된 객체를 생성하는 패턴

내가 이해한대로 쉽게 말하자면,
공통 메소드를 뽑아내 abstract 클래스에 뽑아낸다.
abstract 클래스는 인터페이스를 구현하고,
나머지 로직이 다른 메소드는 생성한 absract 클래스를 상속(extends)해 구현하여야 함.

2. 추상 팩토리 패턴을 이용한 설계

인터페이스는 이미 정의됨
인터페이스를 구현하는 클래스 여러개 (팩토리 패턴으로 구현됨)
추가된 클래스 중 일부 메소드 로직은 아예 동일, 일부 메소드 로직은 다름
동일한 메소드는 중복을 제거해야함 : 중복된 메소드들을 abstract 클래스로 뽑아냄
abstract 클래스는 interface를 implements함
각 클래스들은 동일한 메소드 뽑아낸 abstract class를 extends(상속)하여 나머지 메소드들을 구현

factory -> interface -> abstract class -> concrete class

728x90

3. 추상 팩토리 패턴을 이용한 예제

1. interface 메소드 정의

public interface StockService {

    StockGroup getStockGroup();

    String findKoreanName();

    String findCommonType(); //공통으로 사용 될 메소드
}

2. 인터페이스 구현하는 추상클래스 생성 > 공통으로 사용되는 메소드 abstract class에 구현

@Service
abstract class StockAbstractFactory implements StockService{

    @Override
    public String findCommonType() {
        return "STOCK";
    }
}

3. 추상클래스 상속받는 클래스 생성 > 나머지 메소드 concrete class에 구현

@Service
public class AirbnbServiceImpl extends StockAbstractFactory {
    @Override
    public StockGroup getStockGroup() {
        return StockGroup.AIRBNB;
    }

    @Override
    public String findKoreanName() {
        return StockGroup.AIRBNB.getKoreanName();
    }
}

4. Test 코드

    @Test
    public void findCommonTypeTest() {
        String appleService = stockServiceFactory.getSerivce(APPLE).findCommonType();
        String airbnbService = stockServiceFactory.getSerivce(AIRBNB).findCommonType();
        String samsungService = stockServiceFactory.getSerivce(SAMSUNG).findCommonType();
        String naverService = stockServiceFactory.getSerivce(NAVER).findCommonType();

        Assertions.assertEquals(appleService, "STOCK");
        Assertions.assertEquals(airbnbService, "STOCK");
        Assertions.assertEquals(samsungService, "STOCK");
        Assertions.assertEquals(naverService, "STOCK");
    }

[Spring] Spring Bean 주입 + 팩토리 메소드 디자인 패턴

다날92 — Tue, 10 Oct 2023 18:23:33 +0900

Spring Bean Injection + Factory Method Design Pattern

상세

1. 팩토리 메소드 디자인 패턴 정의

팩토리 메소드 디자인 패턴(Factory Method Design Pattern)

객체를 생성하기 위한 인터페이스를 정의하고, 어떤 클래스의 인스턴스를 생성할지에 대한 처리는 서브클래스가 결정하는 디자인 패턴 - GoF

팩토리 메소드 패턴 사용 이유

추가될 클래스가 있을 시, 기존 코드 수정이 필요없이 신규 클래스만 추가되면 되므로 결합도가 낮다.

728x90

2. 팩토리 메소드 디자인 패턴을 이용해 동적으로 빈 주입 예제

하나의 인터페이스에 여러개의 구현체가 있을 경우,
매번 구현클래스를 다르게 선언하지 않고, 팩토리 메소드 디자인 패턴을 이용하여 빈 객체를 동적으로 가져와 사용할 수 있다.

Spring에서는 Bean을 Collection으로 주입할(Injection) 수 있다.
다시 말해, 하나의 인터페이스를 상속받고 있는 구현체들인 bean들을 List로 주입할 수 있다.

예제 코드를 작성해보겠다.

우선, 주식 회사의 한국 이름을 가져오는 StockService Interface가 있다.
getStockGroup 메소드는 구현된 클래스를 구별하기 위한 return이 enum 클래시인 메소드이다.

public interface StockService {

    StockGroup getStockGroup();

    String findKoreanName();
}

주식 회사의 종류는 애플, 네이버, 에어비앤비, 삼성 4가지로 Enum 타입을 이용해 작성하였다.

public enum StockGroup {

    APPLE("애플","1001"),
    NAVER("네이버","1002"),
    AIRBNB("에어비앤비","1003"),
    SAMSUNG("삼성","1004"),
    EMPTY("없음", "0000");

    private String koreanName;
    private String stockId;

    StockGroup(String koreanName, String stockId){
        this.koreanName = koreanName;
        this.stockId = stockId;
    }

    public static StockGroup findByStockId(String stockId) {
        return Arrays.stream(StockGroup.values())
                .filter(stockGroup -> stockId.equals(stockGroup.stockId))
                .findAny().orElse(EMPTY);
    }

    public String getKoreanName() {
        return koreanName;
    }
}

StockService를 구현하는 클래스는 회사별로 총 4가지 클래스로 구현되어있다.
각 클래스마다 StockGroup Enum 클래스를 리턴해주는 메소드, 한글 이름을 리턴해주는 메소드로 작성하였다.

@Service
public class AirbnbServiceImpl implements StockService{
    @Override
    public StockGroup getStockGroup() {
        return StockGroup.AIRBNB;
    }

    @Override
    public String findKoreanName() {
        return StockGroup.AIRBNB.getKoreanName();
    }
}
@Service
public class AppleServiceImpl implements StockService{
    @Override
    public StockGroup getStockGroup() {
        return StockGroup.APPLE;
    }

    @Override
    public String findKoreanName() {
        return StockGroup.APPLE.getKoreanName();
    }
}
@Service
public class NaverServiceImpl implements StockService{
    @Override
    public StockGroup getStockGroup() {
        return StockGroup.NAVER;
    }

    @Override
    public String findKoreanName() {
        return StockGroup.NAVER.getKoreanName();
    }
}
@Service
public class SamsungServiceImpl implements StockService{
    @Override
    public StockGroup getStockGroup() {
        return StockGroup.SAMSUNG;
    }

    @Override
    public String findKoreanName() {
        return StockGroup.SAMSUNG.getKoreanName();
    }
}

※ 이렇게 회사마다 클래스를 다르게 구현하였는데, 실제 다른 회사가 추가 된다면 추가된 다른 회사의 클래스만 구현하도록 하면 된다.

실제 구현하는 클래스들의 빈들을 Map에 담아 주입한다.
이때 Map의 Key는 위에서 선언한 StockGroup의 Enum 클래스이고, Value는 StockService 인터페이스이다.
Map에 인터페이스를 구현하는 클래스들을 모두 담고, getService라는 메소드를 이용해 키값 별로 원하는 클래스들에 접근할 수 있다.

@Component
public class StockServiceFactory {

    private final Map<StockGroup, StockService> serviceMap = new HashMap<>();

    public StockServiceFactory(List<StockService> stockServices) {

        for(StockService stockService : stockServices) {
            this.serviceMap.put(stockService.getStockGroup(), stockService);
        }
    }

    public StockService getSerivce(StockGroup stockGroup) {
        return this.serviceMap.get(stockGroup);
    }
}

팩토리 메서드 패턴을 이용하기 위해 생성한 -Factory.class를 주입받아서 사용한다.

Test 코드

@SpringBootTest
public class FactoryPatternTest {

    @Autowired
    StockServiceFactory stockServiceFactory;

    @Test
    public void beanInjectionTest() {
        StockService appleService = stockServiceFactory.getSerivce(APPLE);
        StockService airbnbService = stockServiceFactory.getSerivce(AIRBNB);
        StockService samsungService = stockServiceFactory.getSerivce(SAMSUNG);
        StockService naverService = stockServiceFactory.getSerivce(NAVER);

        Assertions.assertEquals(appleService.getStockGroup(), APPLE);
        Assertions.assertEquals(airbnbService.getStockGroup(), AIRBNB);
        Assertions.assertEquals(samsungService.getStockGroup(), SAMSUNG);
        Assertions.assertEquals(naverService.getStockGroup(), NAVER);
    }
    @Test
    public void getKoreanNameTest() {
        String appleKoreanName = stockServiceFactory.getSerivce(APPLE).findKoreanName();
        String airbnbKoreanName = stockServiceFactory.getSerivce(AIRBNB).findKoreanName();
        String samsungKoreanName = stockServiceFactory.getSerivce(SAMSUNG).findKoreanName();
        String naverKoreanName = stockServiceFactory.getSerivce(NAVER).findKoreanName();

        Assertions.assertEquals(appleKoreanName, APPLE.getKoreanName());
        Assertions.assertEquals(airbnbKoreanName, AIRBNB.getKoreanName());
        Assertions.assertEquals(samsungKoreanName, SAMSUNG.getKoreanName());
        Assertions.assertEquals(naverKoreanName, NAVER.getKoreanName());
    }
}

참고 소스 : https://github.com/people92/design-pattern

justgo_developer

Kotlin Coroutine 성능 및 최적화 개선

Kotlin Coroutine 최적화 개선 내용 4가지

1️⃣ runBlocking → suspend fun으로 변경 (동기 실행 문제 해결)

문제점

개선 사항

비교: runBlocking vs suspend fun

결론

2️⃣ CoroutineScope(Dispatchers.IO).launch() 대신 withContext(Dispatchers.IO) 사용

문제점

개선 사항

비교: launch vs withContext

결론

3️⃣ launch 대신 async + await() 사용하여 병렬 실행 최적화

문제점

개선 사항

비교: launch vs async

결론

4️⃣ await() / awaitAll() 사용하여 병렬 실행 최적화

문제점

개선 사항

비교: awaitAll() vs 개별 await()

결론

최종 정리

✅ 1️⃣ runBlocking → suspend fun 변경

✅ 2️⃣ CoroutineScope(Dispatchers.IO).launch() 대신 withContext(Dispatchers.IO) 사용

✅ 3️⃣ launch 대신 async + await() 사용하여 병렬 실행 최적화

✅ 4️⃣ await() / awaitAll() 사용하여 병렬 실행 최적화

golang ent + sqlite

golang ent + sqlite

ent 프레임워크

SQLite 데이터베이스

SQLite 설치

Ent 사용법

sqlite3 db로 조회 및 저장 하기

카프카 리밸런싱으로 인한 Consume 불가 이슈

이슈 : Consumer가 전체적으로 대부분의 토픽을 처리하지 못하고 있는 현상.

발생한 로그

해결

리눅스 환경에서 Go 설치

Go 실행 확인

go: go.mod file not found in current directory or any parent directory; see 'go help modules'

Spring Cloud Sleuth 적용

Spring Cloud Sleuth 적용

상세

참고

Bearer Authorization

Bearer Authorization

목차

개요

상세

1. Token 기반 인증

2. Bearer 인증

Gson 이용 시 Unicode 변환 해결 방법

Gson 이용 시 Unicode 변환 해결 방법

목차

개요

상세

1. unicode란?

2. Gson 사용시 unicode 문제

3. Gson 사용시 unicode 해결방법

참고

Json File Download(HttpURLConnection, FeignClient)

Json File Download(HttpURLConnection, FeignClient)

목차

상세

1. HttpURLConnection 이용한 파일 다운로드

2. FeignClient 이용한 파일 다운로드

추상 팩토리 패턴(Abstract Factory Pattern)를 이용한 인터페이스 중복 메소드 제거

추상 팩토리 패턴(Abstract Factory Pattern)를 이용한 인터페이스 중복 메소드 제거

목차

개요

상세

1. 추상 팩토리 패턴(Abstract Factory Pattern) 정의

2. 추상 팩토리 패턴을 이용한 설계

3. 추상 팩토리 패턴을 이용한 예제

1. interface 메소드 정의

2. 인터페이스 구현하는 추상클래스 생성 > 공통으로 사용되는 메소드 abstract class에 구현

3. 추상클래스 상속받는 클래스 생성 > 나머지 메소드 concrete class에 구현

4. Test 코드