01 ​AI 시대 데이터 센터 트렌드와 주요 이슈

​│한상기 테크프론티어 대표

최근 데이터 센터에 영향을 주는 가장 큰 트렌드는 AI와 그린 에너지 전환이다. AI에 의한 컴퓨팅 수요 증가는 데이터 센터의 구성을 GPU 중심으로 바꾸고 있으며, RE:100 같은 재생 가능 에너지 목표를 만족하기 위하거나 에너지 효율을 개선하기 위한 노력을 산업계가 요구하기 때문에 데이터 센터는 이에 대응해야 하는 두 가지 목표를 다 갖고 있다.

현재 전 세계 데이터 센터는 스태티스타의 통계에 따르면 그 숫자가 만 개가 넘지만, 미국이 전체 50% 이상을 차지하고 그다음이 독일, 영국, 중국, 캐나다, 프랑스 순서이다. 그러나 2위부터 6위까지가 차지하는 비중이 4.9%에서 3% 수준이라 미국과 비교하면 큰 차이를 나타내고 있다. 

그림 1 주요 국가별 데이터 센터 수 [출처: 스태티스타]

클라우드 사업자들이 AI와 다른 디지털 서비스를 위해 데이터 센터에 투자하겠다는 의지가 매우 강하다. 업계 1위 아마존은 향후 15년 동안 1,500억 달러를 데이터 센터에 투자하겠다고 발표했다. 그 가운데 2027년까지 일본에 150억 달러 이상을 투자할 계획이다. 싱가포르에는 2028년까지 90억 달러를 투자할 계획이다. 

마이크로소프트는 2024년에만 데이터 센터 투자 두 배로 늘릴 계획이며 일본에 29억 달러를 포함해 아시아에 68억 달러, 영국에 32억 달러를 투자할 계획이다. 2024년 3월에는 오픈AI와 1,000억 달러 데이터 센터 프로젝트 ‘스타게이트’를 추진해 2028년에 론칭하겠다고 발표했다.

구글 클라우드가 공개적으로 발표한 인프라 확장은 그 규모가 크지 않은데, 4월에 버지니아에 10억 달러, 인디애나에 20억 달러 데이터 센터 투자를 약속했고, 미주리데이터센터 건설에 10억 달러를 투자하기로 했다.

CBRE의 2023년 하반기 북미 데이터 센터 트렌드 분석에 따르면 데이터 센터 임대 및 코로케이션 시장에서 공급은 전년 대비 26% 증가했지만, 공실률은 3.7%로 사상 최저치를 기록했다. 그러나 새로운 투자가 계속 이루어지면서 수요에 대응할 여력은 충분할 것으로 보고 있다. 

GPU 중심의 데이터 센터

AI 컴퓨팅의 증가는 데이터 센터에서 엔비디아의 기록적 성장을 했다는 매출 결과에서 GPU 중심으로 변화하는 것이 뚜렷이 보인다. 최근 사분기에 427%의 성장이라는 놀라운 데이터를 보인 엔비디아의 데이터 센터 매출이 전체 매출의 83.3%를 차지하고 있다. IoT 애널리틱스의 분석에 의하면 2023년 말 기준으로 데이터 센터 GPU 시장에서 엔비디아의 점유율은 92%이며 AMD가 3% 그리고 나머지가 5%에 불과하다.

그림 2 엔비디아 매출에서 데이터 센터 매출 비중 추세 [출처: 앱 이코노미 인사이트]

전체 데이터 센터에서 필요로 하는 GPU 수요 역시 크게 증가하고 있는데, 마켓앤마켓 자료에 따르면 2023년 143억 달러 규모의 수요가 2028년에는 630억 달러로 연평균 34.6% 증가율로 높아질 것으로 전망한다. 

그림 3 데이터 센터 GPU 시장 증가 추세 [출처: 마켓앤마켓] 

각 클라우드 기업의 GPU 확보도 매우 경쟁적인데 마이크로소프트는 2024년 말까지 180만 개의 GPU를 확보할 계획이며, 메타도 2024년 말까지 35만 개의 엔비디아 H100를 포함해 60만 개의 H100 성능에 해당하는 GPU를 확보할 계획이다. 아래 그림은 2023년 기준으로 H100을 확보한 기업과 그 숫자를 비교한 것인데 이를 보면 마이크로소프트 못지않게 메타도 H100 확보에 앞장서고 있음을 알 수 있다. 일론 머스크의 X.ai도 10만 대의 H100을 구입할 것이고 2025년 여름까지는 B100을 30만 대 사들여 슈퍼컴퓨터를 구현하겠다는 계획을 공개했다. 누가 H100 100만 대의 기반의 시스템을 만드는가에 대한 레이스가 시작했다고 볼 수 있다. 

그림 4 2023년 기준 기업별 H100 구입 규모 [출처: 옴디아 리서치]

데이터 센터 시장을 지역이 아닌 클라우드 서비스, 엔터프라이즈, 정부 섹터로 구분했을 때의 GPU가 차지하는 시장은 KBV 리서치에 따르면 2030년 1,142억 달러 규모가 될 것으로 본다. 세 개의 섹터 중 가장 큰 비중은 클라우드 서비스 사업자 그다음에 엔터프라이즈 그리고 정부 순서로 분석하고 있다. 연평균 32.3%의 성장률을 가정한 수치이다. 

그림 5 시장 섹터별 데이터 센터 GPU 시장 [출처: KBV 리서치]

엔비디아의 젠슨 황 CEO는 2023년에 이미 향후 4년 동안 AI를 위한 데이터 센터에 투자하는 돈이 1조 달러를 넘어설 것이며 주로 아마존, 마이크로소프트, 구글, 메타에 의해 투자가 이루어질 것으로 예측했다. 

또 다른 변화는 AI가 요구하는 컴퓨팅 파워의 수요가 지속해서 늘어나기 때문에 하이퍼스케일 데이터 센터는 내부 랙 밀도가 계속 늘어나고 있다. 하이퍼스케일 데이터 센터는 수천 개의 서버를 갖고 엔터프라이즈를 능가하는 데이터를 처리할 수 있는 데이터 센터를 의미한다. 2027년에는 현재 평균 36kW의 랙 밀도가 2027년에는 50kW가 될 것으로 예상하며 연평균 7.8%의 증가율이 되리라는 것이 JLL 리서치 예측이다.

그림 6 하이퍼스케일 데이터 센터의 랙 밀도 증가 추세 [출처: JLL 리서치]

GPU 클라우드 스타트업

새롭게 나타나는 흐름 중 하나는 엔비디아의 GPU를 구매해 서버 랙에 설치한 후 데이터 센터에 탑재해 시간 단위로 고객에게 대여하는 전문 GPU 데이터 센터 스타트업이 등장하고 있다는 것이다.

대표적인 기업이 코어위브(CoreWeave)이며 현재 시간당 4.25달러의 Nvidia H100 임대료를 책정하고 있다. 코어위브는 2024년 5월 11억 달러의 펀딩을 받은 이후 블랙스톤 등에서 75억 달러의 자금을 추가로 차입했다. 11억 달러의 펀딩을 받을 때 이 회사의 가치는 190억 달러로 평가받았다. 이 자금으로 GPU, 네트워킹 장비, 캐비닛이 장착된 서버를 구매하게 되리라는 것이 대변인의 말이다.

CEO 마이클 인트레이터는 올해 말까지 28개 데이터 센터에 코어위브를 설치할 것이라고 밝혔다. 엔비디아의 투자와 지원을 받으면서 아마존이나 구글과 경쟁이 가능하다고 생각하는 것이다. 프랑스의 미스트랄로 이 회사의 GPU를 사용하고 있다. 이들이 제시하는 HGX H100은 엔비디아의 HGX A100보다 학습에서 9배, 추론에서 최대 30배 빠르다고 얘기하고 있으며, 레가시 클라우드 제공 사업자보다 80% 더 저렴하다고 한다. 

그림 7 코어위브의 클라우드 아키텍처

GPU 클라우드 스타트업에는 학습 영역, 추론 분야, 그리고 서비스로서의 모델 세 가지 영역에서 새로운 도전을 하는 스타트업을 볼 수 있다. 추론 분야는 코어위브 외에도 람다, 투게더 AI, 런포드, 파운드리 등이 있다. 모델 추론에는 개발자 경험, 제품 디자인, 비용 절감 등을 통해 차별화를 꾀하고 있으며, 여기에는 애니스케일, 베이스텐, 바나나데브, 페르미온, 플라이 아이오, 모달, 런포드 같은 기업이 있다. 

서비스형 모델을 제공하는 기업은 다양한 종류의 LLM과 파운데이션 모델을 제공할 수 있는 원클릭 솔루션을 제공하는 기업으로 모델 공유를 위한 솔루션을 제공하는 허깅페이스 외에도 애니스케일, 리플리케이트, 파이어웍스, 렙톤 AI 등이 있다. 이러한 업체는 가장 인기 있는 오픈 소스 모델에 중점을 두면서 성능/비용/웜 스타트에서 경쟁하기 때문에 제공하는 모델 수가 허깅페이스에 비하면 적다.

그림 8 GPU 클라우드 스타트업들 [출처: 언유절 벤처스]

전력 사용량 증가와 탄소 발자국 문제

데이터 센터에 관한 가장 큰 이슈는 에너지 사용이 빠르게 증가할 것이라는 우려이다. 국제 에너지 기구(IEA)에 따르면 데이터 센터는 전 세계 전력 수요의 약 1~1.5%를 차지한다고 한다. 2024년 1월에 발행한 IEA 보고서에서는 데이터 센터, AI, 암호 화폐 등이 전 세계 전력 수요의 2%를 차지했다고 하고, 데이터 센터에서 컴퓨팅이 차지하는 비중은 40%, 냉각을 위한 에너지 소비가 40%, 그리고 나머지 장비 때문에 소비하는 것이 20%라고 한다. 또한 JLL의 연구에 따르면 데이터 센터가 소비하는 에너지는 4년마다 두 배로 증가하며 현재 전 세계 온실가스 배출량의 최대 4%를 차지한다고 한다. 

그림 9 데이터 센터, AI, 암호 화폐로 인한 글로벌 전력 수요 예측 [출처: IEA]

구글이나 메타 등 여러 대기업의 유럽 본사가 있는 아일랜드에서는 2022년 기준 데이터 센터가 전체 전력 사용량의 거의 5분의 1을 차지할 것이라는 보도도 있었다. 이는 2015년 이후 400%가 상승한 것으로 이제 데이터 센터 소비 전력은 전 세계 문제가 되고 있다. 나아가 AI와 양자 컴퓨팅과 같은 기술의 성장은 더 큰 규모의 에너지 집약적인 컴퓨팅 인프라가 필요할 것이라는 예측이 계속 나오고 있다. 영국의 내셔널 그리드 최고 경영자 존 페티그루는 이런 요구 때문에 향후 10년 동안 데이터 센터의 에너지 수요가 10배 증가할 것으로 예측했다.

특히 AI가 생성형으로 바뀌면서 전력 수요는 더 급격히 늘어나고 있다. GPT-3 같은 LLM을 학습하는 데는 1,300메가 와트시의 전기를 사용하는데 이는 미국 가정 130곳의 연간 소비량에 해당하고, 구글 검색 한 번에 0.3와트시가 필요하다면 챗GPT 요청에는 2.9와트시의 전력이 필요하다. 만일 구글처럼 매일 90억 건의 검색이 챗GPT로 이루어진다면 연간 10테라 와트시가 필요하며 이는 유럽연합 시민 150만 명이 소비하는 수준이다.

환경 문제의 입장에서 얘기하면, 글로벌 목표에 따라 2050년까지 순배출 제로를 달성하기 위해 그리드 운영자는 향후 소비자의 높은 전력 수요를 충족하고 재생 에너지원에 연결하여 지속 가능한 방식으로 현재의 인프라를 업그레이드해야 한다는 압박을 받고 있다.

암스테르담 자유대학교 연구에 따르면 2027년까지 AI 산업만으로도 네델란드 같은 국가의 에너지를 소비할 수 있다고 경고하고 있다. AI 분야는 매년 85~134테라 와트시(TWh) 규모의 전력을 소비할 것으로 예상하며 이는 냉각에 필요한 에너지는 포함하지 않았다. 따라서 냉각에 필요한 에너지 소비에 대한 투명성을 높여야 한다는 주장도 계속된다. 

탄소 발자국 문제

데이터 센터는 디지털 시대를 뒷받침하는 핵심 인프라이다. 그러나 광범위한 운영으로 인해 에너지 수요가 높고 탄소 배출량도 상당하다. 특히 데이터 센터의 탄소 발자국은 운영 중에 발생하는 CO2e(배출량의 합계이며 여기에는 직접 배출과 간접 배출을 모두 포함한다. CO2e는 이산화탄소 환산량이라고 하며, 배출하는 다양한 온실가스(예: CO2, CH4, N2O 등)를 동등한 양의 CO2로 변환하여 지구 온난화 잠재력을 간단하게 비교할 수 있는 측정치이다. 다양한 가스가 기후 변화에 미치는 전반적인 영향을 표현할 수 있는 표준 단위이다.

탄소 배출량을 측정하는 지표는 다양하게 존재하는데 CO2e 외에도 많이 쓰는 것은 전력 사용 효율성을 나타내는 PUE (낮을수록 에너지 효율이 좋다), 탄소 사용 효율성(CUE), 물 사용 효율성(WUE), 에너지 재사용 효율성(ERE), 에너지 효율 비율(EER) 등 여러 지표가 있다. 

탄소 배출량은 직접 배출과 간접 배출 모두를 고려해야 하는데, 직접 배출은 범위 1 배출이라고 하면, 데이터 센터의 직접적인 통제하에 있는 활동에서 발생하는 연료 연소, 화학 반응, 현장 프로세스에서 배출하는 것을 말한다. 간접 배출은 범위 2 및 범위 3 배출을 말하며 데이터 센터 운영과 연관있는 활동에서 배출하는 것을 말한다. 여기에는 전기 소비, 공급망, 직원 출퇴근과 출장을 포함한다. 

그림 10 데이터 센터 탄소 배출 범위 [출처: 업타임 연구소]

직접 배출은 측정 및 제어가 비교적 간단하지만 간접 배출, 특히 전력 소비로 인한 간접 배출은 데이터 센터의 탄소 발자국에서 상당한 부분을 차지할 수 있다는 점에 유의해야 한다. 따라서 데이터 센터는 에너지 효율성을 개선하고, 재생 에너지원으로 전환하고, 운영의 광범위한 수명 주기 영향을 고려하여 직접 및 간접 배출을 모두 효과적으로 관리하는 데 중점을 두어야 한다.

탄소 발자국을 줄이기 위한 노력은 현재 다음과 같은 방안을 모색 중이다.

• 1.재생 에너지 조달: 에너지의 상당 부분, 심지어 100%를 태양열, 풍력, 수력 발전과 같은 재생 가능 에너지원에서 조달하기. 예를 들어 마이크로소프트는 2025년까지 RE100을 달성하고 2030년에는 ‘탄소 네가티브’를 달성할 계획이다. 아마존은 2025년까지 RE100을 달성할 계획인데 이는 원래 2030년까지 할 계획을 5년 당긴 것이다.

• 2.온사이트 마이크로그리드: 독립적으로 또는 주 전력망과 함께 작동하는 지역 에너지 시스템이다. 태양광 패널, 풍력 터빈, 배터리, 때로는 백업 발전기 등 다양한 에너지원을 통합하여 데이터 센터에 부분 또는 전체 전기를 공급한다. 온사이트 마이크로그리드는 자율적으로 작동하여 정전 시 주 전력망과 연결을 끊거나 전력망과 상호 작용하여 에너지 공급과 수요를 관리할 수 있다.

• 3.에너지 효율적 인프라: 서버 및 냉각 시스템과 같은 에너지 효율적인 하드웨어 구현을 통해 에너지 소비를 최소화하고 성능을 최적화한다.

• 4.데이터 센터 통합: 여러 개의 데이터 센터를 더 적은 수의 대형 시설로 통합해 에너지 소비와 전반적인 탄소 배출량을 줄인다.

• 5.가상화 및 클라우드 서비스: 가상화 기술과 클라우드 컴퓨팅으로 리소스 공유를 개선해 에너지 절약과 물리적 인프라를 감소한다.

• 6.AI 및 머신 러닝: 데이터 센터 운영을 최적화하여 에너지 소비, 냉각, 워크로드를 보다 효율적으로 예측하고 관리한다.

• 7.수명 주기 관리: 수명이 다한 IT 장비를 적절히 폐기하고 재활용한다.

• 8.모니터링 및 최적화 도구 사용: 데이터 센터 인프라 관리 도구는 리소스 사용량을 모니터링하고 최적화해 에너지 효율을 높이고 낭비를 줄인다.

물 사용 증가

마이크로소프트가 발표한 지속가능성 보고서에서는 2021년과 2022년 사이에 물 소비량이 올림픽 수영장 2,500개 크기인 640만 입방미터로 34% 증가했다고 밝혔다. 2023년 그 숫자는 784만 입방미터로 늘어났다. 2024년 지속가능성 보고서에서는 앞으로 새로 만드는 데이터 센터에서는 AI 지원에 최적화하면서도 냉각에 물 사용을 제로로 하겠다고 했다. 이는 재생수와 재활용수 그리고 빗물 집수를 통해 이루겠다는 것이 마이크로소프트 계획이다.

구글의 경우 구글 데이터 센터는 평균적으로 하루에 약 45만 갤런의 물을 소비하는데, 이는 17에이커의 잔디밭에 사용하는 물의 양과 비슷하다. 하이퍼스케일 데이터 센터는 매일 수백만 갤런을 소비한다. 이러한 문제를 해결하기 위해 데이터 센터는 다양한 냉각 방법을 모색하고 있다. 특히 랙 소비 전력이 최대 20kW였던 과거에는 공기 기반 냉각 방식으로 가능했지만 이제 랙 소비 전력이 30kW를 넘어서면서 액체 냉각 방식 활용을 검토한다. 여기에는 직접 칩 액체 냉각과 침수식 액체 냉각이 있다. 냉각수가 통과하는 단계를 생각하면 다섯 가지 유형의 액체 냉각 방식이 있다. 

• 1.다이렉트 투 칩 단상: 냉각판을 칩에 직접 배치하여 액체 냉각수를 서버의 더 뜨거운 구성 요소인 CPU 또는 GPU에 직접 전달한다. 이 방법을 사용하면 잔열을 제거하기 위해 여전히 서버에 공기 흐름을 제공하는 팬이 필요하다. 냉각수는 물 또는 유전체 유체일 수 있지만, 물은 누출로 인한 가동 중단 위험이 있지만 누출 방지 시스템(LPS)을 사용할 수 있다. 단상이란 냉각수가 액체에서 기체로 상태가 변하지 않는 것을 말한다.

• 2.다이렉트 투 칩 2상: 단상 방식과 동일하게 작동하지만, 냉각 루프가 완료될 때 액체 냉각제가 기체에서 액체로 또는 그 반대로 상태가 바뀐다. 단상 시스템보다 우수하며 냉각수의 상태 변화 특성으로 인해 누출 위험이 낮다.

• 3.몰입형 액체 냉각 (IT-섀시 단상): 이 냉각 방식은 단상 유전체 유체를 사용하며 IT 구성 요소와 직접 접촉한다. 서버는 섀시 내부의 비전도성 액체에 완전히 또는 부분적으로 잠기게 되어 모든 열원을 효과적으로 제거한다. 팬을 사용하지 않기 때문에 소음이 거의 없다.

• 4.침수 냉각 (개방형 욕조-단상): ‘오픈 배스’라고도 하는 이 방식은 IT 장비를 액체에 완전히 담그는 방식이다. 서버를 수직으로 장착하는 대신 유전체액으로 채워진 랙을 뒤집어 놓는 것이다. 욕조 내부 또는 외부에 설치하거나 대류를 통해 설치할 수 있는 펌프를 사용하여 열교환기를 통해 천연 유전체 유체를 냉각한다.

• 5.침수 냉각 (개방형 욕조-2상): IT 장비가 탱크 안에 수직으로 유체에 완전히 잠기게 되는데, 이 접근 방식에서 중요한 점은 유전체 유체가 가열됨에 따라 액체에서 기체로 상태를 바꿀 수 있어야 한다. 이러한 시스템에서는 액체에 잠기거나 노출된 부품에서 열이 발생하여 액체가 기체로 변하고, 이 기체가 표면으로 올라와 코일에서 응축된 후 충분히 식으면 다시 액체 상태로 변하여 자연스럽게 다시 내려온다. 

유전체 액체는 일반적으로 불소 화합물과 탄화수소 두 가지 범주가 있는데, 불소 화학 유체는 주로 2상 침수 냉각에 사용하며, 탄화수소 액체는 가연성 또는 인화성이 있어 일반적으로 2상 침수 냉각 시스템에는 사용하지 않는다. 

글을 마감하며

지금 데이터 센터는 19세기 20세기의 철도라고 얘기하는 사람도 있다. 새로운 문명을 위한 가장 기반 기술 인프라가 되고 있다. 글로벌 클라우드 기업은 거대한 자본을 통해 AI 시대를 대비하는 데이터 센터에 큰 규모의 투자를 하는 것과 동시에 에너지 효율과 탄소 발자국 줄이는 것을 동시에 이루고 있다. 

당분간 데이터 센터에 가장 큰 비중을 차지하는 장비는 GPU이며 그중에서도 엔비디아의 GPU는 가장 핵심 장비가 될 것이다. 글로벌 빅테크 기업은 이를 입수하기 위해 거의 전쟁을 벌이고 있는 분위기이다.

국내의 데이터 센터 인프라가 글로벌 수준에서는 아직 미약하고 또한 AI 학습과 추론에 필요한 GPU 확보 및 엔비디아 대체를 위한 노력을 있지만 다른 나라만큼 절실하지 않은 것으로 보인다. 또한 RE100으로 대표하는 탄소 발자국 축소를 위한 정책에서도 너무 뒤처지고 있어 아마존이나 마이크로소프트가 국내에 데이터 센터 확장에 소극적으로 만들고 있는 것이 사실이다.ㄴㄴ

AI 칩 못지않게 데이터 센터에서 필요한 많은 기술, 운영 최적화, 환경 문제 해결에 대한 보다 근본적인 투자와 이해가 이루어지지 않는다면 데이터 센터 기술에서도 기술 독립화는 매우 어려운 과제가 될 것이다.

참고문헌

1) Bloomberg, “Amazon Bets $150 Billion on Data Centers Required for AI Boom,” May 28, 2024

2) Reuters, “Microsoft, OpenAI plan $100 billion data-center project, media report says,” Mar 30, 2024

3) CBRE, “North America Data Center Trends H2 2023,” Mar 6, 2024

4) IOT ANALYTICS, “The leading generative AI companies,” Dec 14, 2023

5) KBV research, “Global Data Center GPU Market Size, Share & Industry Trends Analysis Report, 2023-2030” Dec 2023

6) Business Insider, “Nvidia CEO predicts $1 trillion will be spent over 4 years upgrading data centers for AI. A lot of that bill will probably be paid by Amazon, Google, Microsoft, and Meta,” Aug 25, 2023

7) JLLL, “Data Centers 2024 Global Outlook,” Jan 31, 2024

8) CNBC, “AI infrastructure startup CoreWeave raises $7.5 billion in debt deal led by Blackstone,” May 17, 2024

9) IEA, “Electricity 2024: Analysis and forecast to 2026,” Jan 2024

10) EY, “How AI and automation make data centers greener and more sustainable,” Dec 1, 2022

11) BBC, “Data centre power use ‘to surge six-fold in 10 years,” Mar 27, 2024

12) Vox, “AI already uses as much energy as a small country. It’s only the beginning.,” Mar 28, 2024

13) BBC, “Warning AI industry could use as much energy as the Netherlands,” Oct 11, 2023

14) Device42의 데이터 센터 탄소 발자국 개념과 지표 자료를 참조했다.

15) 2024년 지속가능성 보고서는 여기서 볼 수 있다. https://www.microsoft.com/en-us/corporate-responsibility/sustainability/report