2의 제곱수
분산 시스템에서 다루는 데이터 양은 엄청나게 커질지 몰라도 계산법은 기본을 크게 벗어나지 않습니다.
따라서 제대로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는 지 알아두면 좋습니다
흔히 쓰는 데이터 볼륨단위 표
2의 x 제곱 근사치 이름 축약형
10 | 1천 | 1킬로바이트 | 1KB |
20 | 1백만 | 1메가바이트 | 1MB |
30 | 10억 | 1기가바이트 | 1GB |
40 | 1조 | 1테라바이트 | 1TB |
50 | 1000조 | 1페타바이트 | 1PB |
모든 프로그래머가 알아야 하는 응답지연 값
구글의 제프 딘이 2010년에 컴퓨터에서 구현된 연산들의 응답지연 값을 공개하였습니다
물론 현재는 더 빠른 컴퓨터가 등장하면서 맞지 않는 값들이 있을 수 있습니다.
그렇지만 이 수치들을 통해 대략적인 처리 속도가 어느 정도인지 각각의 연산에 따라 처리 속도 비교를 할 수 있다고 생각합니다
연산명 시간
L1 캐시 참조 | 0.5ns |
분기 예측 오류(branch mispredict) | 5ns |
L2 캐시 참조 | 7ns |
뮤텍스 락/언락 | 100ns |
주 메모리 참조 | 100ns |
Zippy로 1KB 압축 | 10000ns = 10μs |
1 Gbps 네트워크로 2KB 전송 | 20000ns = 20μs |
메모리에서 1MB 순차적으로 read | 250000ns = 250μs |
같은 데이터 센터 내에서의 메세지 왕복 지연시간 | 500000ns = 500μs |
디스크 탐색(seek) | 10000000ns = 10ms |
네트워크 1MB 순차적으로 read | 10000000ns = 10ms |
디스크에서 1MB 순차적으로 read | 30000000ns = 30ms |
한 패킷의 CA(캘리포니아)로부터 네덜란드까지의 왕복 지연 시간 | 150000000ns = 150ms |
위의 표에 제시된 수치들을 분석하면 아래와 같은 결론이 나옵니다
- 메모리는 빠르지만 디스크는 아직도 느리다
- 디스크 탐색(seek)은 가능한 한 피하라.
- 단순한 압축 알고리즘은 빠르다.
- 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라
- 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.
- 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.
가용성에 관계된 수치들
고가용성은 시스템이 오랜 시간동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어입니다.
고가용성을 표현하는 값은 퍼센트로 표현하며, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미합니다.
대부분의 서비스는 99%에서 100% 사이의 값을 갖습니다.
아래의 표는 9의 개수와 시스템 장애시간 사이의 관계입니다
가용률 하루당 장애시간 주당 장애시간 개월당 장애시간 연간 장애시간
99% | 14.40분 | 1.68시간 | 7.31시간 | 3.65일 |
99.9% | 1.44분 | 10.08분 | 42.83분 | 8.77시간 |
99.99% | 8.64초 | 1.01분 | 4.83분 | 52.60분 |
99.999% | 864.00밀리초 | 6.05초 | 26.30초 | 5.26분 |
99.9999% | 86.40밀리초 | 604.80밀리초 | 2.63초 | 31.56초 |
예제로 알아보는 요구량 추정
예제: 트위터 QPS와 저장소 요구량 추정
가정
- 월간 능동사용자(active user)는 3억명이다
- 50%의 사용자가 트위터를 매일 사용한다
- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다
- 미디어를 포함하는 트윗은 10%정도다.
- 데이터는 5년간 보관된다.
추정
QPS(query per second) 추정치
- 일간 능동사용자 = 3억x50% = 1.5억
- QPS = 1.5억 x 2 트윗 / 24시간/3600초 = 약 3500
- 최대 QPS(Peek QPS) = 2 x QPS = 약 7000(능동사용자를 50%로 가정하였으니 전체가 다 사용한다고 생각하면 2배를 곱해야합니다)
미디어 저장을 위한 저장소 요구량
- 평균 트윗 크기
- tweet_id에 64바이트
- 텍스트에 140바이트
- 미디어에 1MB
- 미디어 저장소 요구량: 1.5억 x 2 x 10% x 1MB = 30TB/일
- 5년간 미디어를 보관하기 위한 저장소 요구량 : 30TB x 365 x 5 = 약 55PB
최소한의 가정으로 추정을 한 것 같은데 저장소 요구량이 단위자체가 다르다는 것에 놀랐습니다
팁
개략적인 규모 추정과 관계된 면접에서는 가장 중요하는 것은 문제를 풀어나가는 절차입니다.
올바른 절차를 밟느냐가 결과를 내는 것보다 중요합니다.
이에 도움될 몇 가지 팁을 아래와 같이 소개하고 있습니다
- 근사치를 활용한 계산
- 가정들은 메모해두고 나중에 보기
- 단위를 붙이기
- 많이 출제되는 개략적 규모 추정 문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정하는 것입니다. 이런 것들을 면접 전에 미리 연습합시다
'Study > 혼자 공부하는 책' 카테고리의 다른 글
[System Design Interview] 3장 시스템 설계 면접 공략법 (0) | 2022.06.12 |
---|---|
[System Design Interview] 1장 사용자 수에 따른 규모 확장성 - 2/2 (0) | 2022.06.03 |
[System Design Interview] 1장 사용자 수에 따른 규모 확장성 - 1/2 (0) | 2022.06.03 |