Cache breakdown에서 강건함으로: singleflight in Go

서문

고성능 서비스를 구축할 때 캐싱은 데이터베이스 로드를 최적화하고 응답 속도를 향상시키는 핵심 기술입니다. 그러나 캐싱을 사용하면 몇 가지 어려움이 따르는데, 그중 캐시 breakdown이 주요 문제입니다. 캐시 breakdown은 데이터베이스 압력이 급증하여 데이터베이스 성능을 저하시키고 심각한 경우 데이터베이스를 다운시켜 사용할 수 없게 만들 수 있습니다.

Go에서 golang.org/x/sync/singleflight 패키지는 특정 키에 대한 동시 요청이 동시에 한 번만 실행되도록 보장하는 메커니즘을 제공합니다. 이 메커니즘은 캐시 breakdown 문제를 효과적으로 방지합니다.

이 기사에서는 Go에서 singleflight 패키지의 사용법을 자세히 살펴봅니다. 캐시 breakdown 문제의 기본 사항부터 시작하여 singleflight 패키지를 자세히 소개하고 이를 사용하여 캐시 breakdown을 방지하는 방법을 보여줍니다.

캐시 Breakdown

캐시 breakdown은 높은 동시성에서 핫 키가 갑자기 만료되어 많은 요청이 데이터베이스에 직접 액세스하여 데이터베이스에 과부하를 주어 충돌을 일으킬 수 있는 상황을 의미합니다.

일반적인 해결 방법은 다음과 같습니다.

핫 데이터를 만료되지 않도록 설정: 잘 정의된 핫 데이터의 경우 만료되지 않도록 설정하여 캐시 만료로 인해 요청이 캐시를 우회하고 데이터베이스에 직접 액세스하지 않도록 할 수 있습니다.
Mutex 잠금 사용: 캐시가 만료될 때 모든 요청이 동시에 데이터베이스를 쿼리하는 것을 방지하기 위해 잠금 메커니즘을 채택하여 하나의 요청만 데이터베이스를 쿼리하고 캐시를 업데이트하도록 하고 다른 요청은 캐시가 업데이트될 때까지 기다렸다가 액세스하도록 할 수 있습니다.
사전 업데이트: 백그라운드에서 캐시 사용량을 모니터링하고 캐시가 만료될 때 비동기적으로 업데이트하여 만료 시간을 연장합니다.

singleflight 패키지

singleflight 패키지는 중복 함수 호출 억제 메커니즘을 제공합니다.

이 문장은 공식 문서에서 가져온 것입니다.

다시 말해, 여러 goroutine이 동시에 동일한 함수(지정된 키 기준)를 호출하려고 시도할 때 singleflight는 함수가 처음 도착한 goroutine에 의해서만 실행되도록 보장합니다. 다른 goroutine은 이 호출 결과를 기다렸다가 결과를 공유하는 대신 동시에 여러 호출을 시작합니다.

요컨대, singleflight는 여러 요청을 하나의 요청으로 병합하여 여러 요청이 동일한 결과를 공유할 수 있도록 합니다.

구성 요소

Group: 이것은 singleflight 패키지의 핵심 구조입니다. 모든 요청을 관리하고 언제든지 동일한 리소스에 대한 요청이 한 번만 실행되도록 보장합니다. Group 객체를 명시적으로 만들 필요는 없으며 간단히 선언하고 사용할 수 있습니다.
Do 메서드: Group struct는 요청을 병합하는 주요 메서드인 Do 메서드를 제공합니다. 이 메서드는 두 개의 인수를 사용합니다. 하나는 리소스를 식별하는 문자열 키이고 다른 하나는 실제 작업을 실행하는 함수 fn입니다. Do를 호출할 때 동일한 키의 요청이 이미 진행 중인 경우 Do는 이 요청이 완료될 때까지 기다렸다가 결과를 공유합니다. 그렇지 않으면 fn을 실행하고 결과를 반환합니다.
Do 메서드에는 세 개의 반환 값이 있습니다. 처음 두 개는 fn의 반환 값으로, 각각 interface{} 및 error 유형입니다. 마지막 반환 값은 부울이며 Do의 결과가 여러 호출에서 공유되었는지 여부를 나타냅니다.
DoChan: 이 메서드는 Do와 유사하지만 작업이 완료되면 결과를 수신하는 채널을 반환합니다. 반환 값은 채널이므로 결과를 비차단 방식으로 기다릴 수 있습니다.
Forget: 이 메서드는 Group에서 키와 관련 요청 레코드를 삭제하는 데 사용되며, 동일한 키로 다음 Do 호출이 이전 결과를 재사용하는 대신 새 요청을 실행하도록 보장합니다.
Result: 이것은 DoChan 메서드에서 반환되는 struct 유형입니다. 요청 결과를 캡슐화하고 세 개의 필드를 포함합니다.
- Val (interface{}): 요청에서 반환된 결과입니다.
- Err (error): 요청 중에 발생한 오류 정보입니다.
- Shared (bool): 결과가 현재 요청 이외의 요청과 공유되었는지 여부를 나타냅니다.

설치

다음 명령을 사용하여 Go 애플리케이션에 singleflight 종속성을 설치합니다.

go get golang.org/x/sync/singleflight

예제 사용법

package main

import (
	"errors"
	"fmt"
	"golang.org/x/sync/singleflight"
	"sync"
)

var errRedisKeyNotFound = errors.New("redis: key not found")

func fetchDataFromCache() (any, error) {
	fmt.Println("fetch data from cache")
	return nil, errRedisKeyNotFound
}

func fetchDataFromDataBase() (any, error) {
	fmt.Println("fetch data from database")
	return "Leapcell", nil
}

func fetchData() (any, error) {
	cache, err := fetchDataFromCache()
	if err != nil && errors.Is(err, errRedisKeyNotFound) {
		fmt.Println(errRedisKeyNotFound.Error())
		return fetchDataFromDataBase()
	}
	return cache, err
}

func main() {
	var (
		st singleflight.Group
		waitGroup sync.WaitGroup
	)

	for range 5 {
		waitGroup.Add(1)
		go func() {
			defer waitGroup.Done()
			value, err, shared := st.Do("key", fetchData)
			if err != nil {
				panic(err)
			}
			fmt.Printf("value: %v, shared: %v\n", value, shared)
		}()
	}
	waitGroup.Wait()
}

이 코드는 일반적인 동시 액세스 시나리오인 캐시에서 데이터를 가져오고 캐시가 누락된 경우 데이터베이스에서 검색하는 것을 시뮬레이션합니다. 이 과정에서 singleflight 라이브러리가 중요한 역할을 합니다. 여러 동시 요청이 동시에 동일한 데이터에 액세스하려고 할 때 실제 가져오기 작업(캐시 또는 데이터베이스에서)이 한 번만 수행되도록 보장합니다. 이는 데이터베이스 로드를 줄일 뿐만 아니라 높은 동시성 시나리오에서 캐시 breakdown을 효과적으로 방지합니다.

코드 출력은 다음과 같습니다.

fetch data from cache
redis: key not found
fetch data from database
value: Leapcell, shared: true
value: Leapcell, shared: true
value: Leapcell, shared: true
value: Leapcell, shared: true
value: Leapcell, shared: true

보시다시피 5개의 goroutine이 동시에 동일한 데이터를 가져올 때 데이터 가져오기 작업은 실제로 하나의 goroutine에 의해 한 번만 수행됩니다. 또한 반환된 모든 공유 값이 true이므로 결과가 다른 4개의 goroutine과 공유되었음을 의미합니다.

모범 사례

키 설계

키를 생성할 때 고유성과 일관성을 보장해야 합니다.

고유성: Do 메서드에 전달된 키가 고유한지 확인하여 Group이 서로 다른 요청을 구별할 수 있도록 합니다. {type}:{identifier}와 같은 구조화된 명명 규칙을 사용하는 것이 좋습니다. 예를 들어 사용자 정보를 가져올 때 키는 user:1234가 될 수 있습니다. 여기서 user는 데이터 유형을 나타내고 1234는 특정 사용자 식별자입니다.
일관성: 동일한 요청의 경우 생성된 키는 언제 호출되든 항상 일관성이 있어야 합니다. 이렇게 하면 Group이 동일한 요청을 적절하게 병합하고 예기치 않은 오류를 방지할 수 있습니다.

제한 시간 제어

Group.Do를 호출할 때 처음 도착한 goroutine은 fn 함수를 성공적으로 실행할 수 있지만 다른 이후 goroutine은 차단됩니다. 차단된 상태가 너무 오래 지속되면 시스템 응답성을 보장하기 위해 다운그레이드 전략이 필요할 수 있습니다. 이러한 경우 select 문과 함께 Group.DoChan을 사용하여 제한 시간 제어를 구현할 수 있습니다.

다음은 제한 시간 제어를 보여주는 간단한 예입니다.

package main

import (
	"fmt"
	"golang.org/x/sync/singleflight"
	"time"
)

func main() {
	var st singleflight.Group
	DoChan := st.DoChan("key", func() (interface{}, error) {
		time.Sleep(4 * time.Second)
		return "Leapcell", nil
	})
	select {
	case <-DoChan:
		fmt.Println("done")
	case <-time.After(2 * time.Second):
		fmt.Println("timeout")
		// 여기에 다른 다운그레이드 전략 구현
	}
}

요약

이 기사에서는 먼저 캐시 breakdown의 개념과 일반적인 해결 방법을 소개했습니다.
그런 다음 singleflight 패키지의 기본 개념, 구성 요소, 설치 및 사용 예제를 다루면서 심층적으로 살펴보았습니다.
다음으로 시뮬레이션된 동시 액세스 예제를 통해 높은 동시성 시나리오에서 캐시 breakdown을 방지하기 위해 singleflight를 사용하는 방법을 보여주었습니다.
마지막으로 실제 키 설계 및 요청 제한 시간 제어에 대한 모범 사례를 논의하여 동시 처리 로직을 최적화하기 위해 singleflight를 더 잘 이해하고 적용하는 데 도움이 되는 것을 목표로 합니다.