02 ​슈퍼 클라우드: 개념과 현황

        ​│한상기 테크프론티어 대표

슈퍼 클라우드란?

슈퍼 클라우드는 멀티클라우드 환경에서 운영을 단순화하고 클라우드의 모든 역량을 실현하기 위한 아키텍처를 의미한다. 다른 이름으로는 분산 클라우드라는 단어를 사용하기도 하며, 일부는 이를 메타 클라우드라고 부르기도 한다. 그 밖에 추상 클라우드, 클라우드를 위한 클라우드라는 용어도 등장한다.¹⁾ 

2017년에 만든 코넬 대학의 정의로는 ‘가상 머신 및 스토리지와 같은 자원을 할당, 마이그레이션 및 종료하기 위한 인터페이스를 제공하고 이를 자원을 함께 묶는 동종 네트워크를 제공하는 것’으로 되어 있다.²⁾ 보통 기업이 추상화 인터페이스를 통해 스토리지, 컴퓨트, 인공지능, 데이터 등의 서비스에 접근하는 방식으로 퍼블릭 클라우드서비스를 이용하고 클라우드 확장 기술 레이어를 통해 서비스를 더 효과적으로 사용하고 싶어 한다. 이 과정에서 생기는 복잡성을 제거하고 크로스 클라우드 레이어를 통해 비용 효율적으로 멀티클라우드를 지원하는 확장 작업도 가능하다.

실리콘 앵글은 슈퍼 클라우드를 “퍼블릭 클라우드 공급자가 제공하는 것 이상으로 부가 가치를 제공하기 위해 하이퍼스케일 클라우드의 기본 서비스와 기본 요소를 활용하는 아키텍처”로 정의하고 있다.³⁾ 슈퍼 클라우드 콘퍼런스를 주최하는 더큐브에서는 ‘슈퍼 클라우드는 새로운 “애자일 엔터프라이즈”를 가능하게 하며 이 모든 것이 클라우드컴퓨팅과 하이퍼스케일 리더에 의해 구동된다.’라고 말하고 있다. 

결과적으로 슈퍼 클라우드는 보안, 거버넌스, 운영은 물론 애플리케이션 개발과 배포까지 통합된 단일 레이어를 확보하겠다는, 기업이 원하던 궁극적인 멀티클라우드의 모습이다. 슈퍼 클라우드의 멀티클라우드 아키텍처는 여러 공급자의 분산 클라우드 시스템을 사용한다. 이렇게 하면 사용자가 단일 공급자의 가장 가까운 데이터 센터뿐만 아니라 시스템의 모든 공급자에 대해 가장 가까운 데이터 센터에서 데이터를 호스팅 할 수 있다. 

보안 계층에서는 고객의 클라우드와 공급자가 제어하는 클라우드를 분리할 수 있다. 이 계층을 통해 슈퍼 클라우드 아키텍처는 사용자 중심 클라우드 또는 “U-클라우드”를 호스팅할 수 있으며, 이는 개인이든 기업이든 개별 사용자에 대해 특별히 암호화되어 제공할 수 있다. 이때 아래 그림과 같이 보안 계층에 의해 생성된 U-클라우드 경계를 통해 다른 U-클라우드와 분리되며, 문제가 생기면 각 U-클라우드를 격리해 동일한 공급자를 사용하는 다른 사용자에게 영향을 주지 않도록 한다.⁴⁾

그림 1 슈퍼 클라우드 기본 개념도 (출처: IEEE)

65% 이상의 기업이 멀티클라우드를 사용하고 있지만 해결해야 하는 도전은 아직 많다. 전체 회사의 모든 애플리케이션에 걸쳐서 일정한 보안 정책을 적용해야 하고, 클라우드와 데이터 센터 간의 앱 마이그레이션을 쉽게 해야 하며, 애플리케이션의 건강(상태, 성능, 기능)에 대한 가시성을 확보해야 하고, 애플리케이션 성능을 최적화해야 한다. 사실 멀티클라우드는 전략이 아니라 멀티 벤더로 인한 증상이라고 주장하는 사람도 있다.⁵⁾ 

멀티클라우드 채택이 자연스러운 선택이었지만 시간이 지남에 따라 여러 문제를 야기하고 있다는 것이 현장의 목소리이다. 멀티클라우드 채택자는 일관성 부족(서로 다른 API, 서비스 등)을 겪고 있고, 각 클라우드에 대응하는 여러 팀을 분리 구성해야 하고, 각 클라우드에 대한 기능(보안, 비용 관리 등)을 다시 구현하는 문제들을 말한다.

분산 클라우드에는 점점 더 많은 수의 엣지 옵션을 포함하기도 하고 있어 그 개념도 불명확해지기도 하고, 여러 환경에서 워크로드와 애플리케이션을 균일하게 운영하고 모니터링하는 기능은 여전히 많은 조직에서 걸림돌로 남아 있다. 이런 멀티클라우드에 대한 도전은 몇 년 동안 수면에 올라오지 않았지만, 기술 리더들 사이에서 많은 논의가 있었고 이를 ‘슈퍼 클라우드’라는 잠재적 솔루션으로 해결하고자 하는 것이다. 다시 말해 기업이 원하는 기본 클라우드서비스를 활용하는 동시에 클라우드 전반에 걸쳐 추상화와 일관성을 제공하는 멀티클라우드서비스를 제공하여 환경을 단순화하고 비용을 절감할 수 있도록 하는 아키텍처를 구현하고자 하는 것이다. 

슈퍼 클라우드 개념 정립과 개발에 참여하는 기업들

더큐브(The CUBE)는 2022년 8월 10일에 큐브 스튜디오를 통해 ‘슈퍼 클라우드 2022’ 콘퍼런스를 개최했다. 여기에 참여한 회사를 보면 해시코프, 스노우플레이크, 콘플루언트, 데이터브릭스, 그리고 VM웨어이다. 이 회사들이 주로 슈퍼 클라우드라는 새로운 개념을 지원하고 방향을 이끌어가는 회사로 볼 수 있다. 

그림 2 더큐브의 ‘슈퍼 클라우드 2022’ 콘퍼런스 웹사이트

현재 슈퍼 클라우드를 이끄는 대표 기업인 스노우플레이크는 특히 다중의 클라우드에 걸친 데이터 클라우드를 구축하고 있으며 분산 데이터를 지원하는 것과 데이터를 중앙에서 관리하도록 하면서 데이터 메시 접근과 어느 정도 일치하는 방향이다.

스노우플레이크의 CEO 프랭크 슬루트만은 2020년 그의 책 ‘데이터 클라우드의 부상’에서 기업이 앞으로 사람을 중심으로 조직하는 것이 아니라 조직의 중심에 데이터를 배치해야 한다고 주장했다. 기본 아이디어는 데이터 네트워크를 만드는 것이고, 데이터의 민주화가 이루어지면서 네트워크 효과가 시작되어 비즈니스 생산성의 르네상스가 시작된다고 말했다.⁶⁾

그림 3 스노우플레이크의 데이터 클라우드 플랫폼

스노우플레이크나 데이터브릭스 같은 기업은 고객이 데이터 분석을 위해 각 클라우드서비스 사업자의 기능을 일일이 알아야 하거나 데이터를 다루는 기능을 데이터 과학자에게 맡겨야 하는 상황을 넘어서 고객사의 누구라도 쉽게 데이터 레이크에 접근하고 분석 도구를 사용할 수 있게 하겠다는 방향을 갖고 있다. 

다만 스노우플레이크는 데이터 클라우드로 데이터 브릭스는 레이크하우스로 자사의 대표적 서비스 개념을 얘기하고 있고, 스노우플레이크는 데이터 공유 및 변환을 통한 지속적인 데이터 플랫폼으로, 데이터 브릭스는 분석 작업 공간으로 발전한 점이 차이이다. 

VM웨어는 2021년 VM월드에서 ‘VM웨어 크로스-클라우드서비스’를 발표했다. 이러한 서비스는 일관성과 옵션을 제공하면서 다중 클라우드 복잡성을 해결하는 것을 목표로 하는 VM웨어의 솔루션 포트폴리오를 함께 구성한다. 이를 통해 슈퍼 클라우드에 대한 기술적 방향을 나타내며 멀티클라우드 서비스의 인스턴스화를 의미한다.⁷⁾ 이를 백서와 블로그 시리즈로 소개하면서 업계 전반에 걸친 멀티클라우드서비스 정의 및 분류에 대한 제안을 했다. 다만 VM웨어는 슈퍼 클라우드라는 용어보다는 아직 ‘멀티클라우드서비스’라는 용어를 사용하지만 그 내용은 일치할 것이라고 말하고 있다. 

오라클은 마이크로소프트 애저용 오라클 인터커넥드(OCI)를 제공해 양측 클라우드 인프라 모두에서 사용자에게 공통된 경험을 제공한다. 이는 2019년 처음 발표한 파트너십을 바탕으로 한 것이고 2022년 7월에는 클라우드 간에 안전한 고속 데이터베이스 상호 연결을 제공하는 마이크로소프트 애저를 위한 오라클 데이터베이스 서비스를 발표하면서 OCI가 슈퍼 클라우드 정의를 충족하는 방향을 택하고 있다고 볼 수 있다.⁸⁾ 

이를 통해 애저 고객은 애저를 위한 오라클 데이터베이스 서비스 포탈에서 오라클 데이터베이스를 OCI에 간편하게 배포해 저지연 OCI-애저 연결, 가상 네트워크 연계형 ID 관리를 구성할 수 있다. OCI의 데이터베이스 로그와 관련 지표는 애저로 통합되어 모니터링과 관리를 간소화한다. 고객은 시스템 환경에 따라 마이크로소프트 또는 오라클에 지원 요청을 할 수 있다.

고객은 OCI와 마이크로소프트 애저 어디서나 엔터프라이즈급 미션 크리티컬 워크로드 운영이 가능하고, OCI 기반 오라클 데이터베이스 서비스의 자동화된 관리와 고성능, 고가능성을 애저 서비스와 결합해 새로운 애플리케이션을 구축할 수 있다. 또한 오라클의 자율 운영 데이터베이스를 애저 애플리케이션에 쉽고 빠르게 결합해 사용할 수 있고, 기본 데이터베이스 서비스와 기타 OCI 전용 기능을 사용할 수 있다.

그림 4 애저를 위한 오라클 데이터베이스 서비스

산업과 데이터를 중심으로 하는 슈퍼 클라우드

지난 2021년 아마존의 ‘리인벤트(Re:Invent)’ 콘퍼런스에서 앞으로 10년 동안 혁신을 드라이브하는 항목 중 하나로 슈퍼 클라우드를 선정했다. 여기에서는 ‘정보 기술 트랜스포메이션에 초점을 맞춘 것과 함께 전체 산업의 비즈니스 통합과 디지털 트랜스포메이션에 초점을 맞춘 하이퍼스케일 인프라 위에 구성한 클라우드’라고 말하고 있다.⁹⁾  

산업 생태계가 데이터를 중심으로 진화하면서 각 산업의 특성을 담으면서 비즈니스 통합과 디지털 혁신을 이루고자 하는 노력은 산업과 데이터를 중심으로 하는 슈퍼 클라우드서비스의 등장을 예고하고 있다. 가트너의 분석가인 크레이그 로우워리는 슈퍼 클라우드를 ‘산업 클라우드와 멀티클라우드가 결합한 것’이라고 평가하며 엣지, 하이브리드 및 멀티클라우드 기술 스택의 연속으로 평가하고 있다. 지난 2021년 리인벤트에서 이런 전략을 얘기한 회사는 골드만삭스, 나스닥, 디시 네트워크, 유나이티드 에어라인이다. 딜로이트의 컨버지헬스(Converge Health)도 여러 클라우드에서 조립하고 있는 일련의 버티컬 시장 상업 서비스로 이 방향을 택하고 있으며, 캐피털 원은 스노우플레이크의 클라우드 간 데이터 웨어하우스를 기반으로 개발한 데이터 관리 도구 제품군을 제시하고 있다. 

그중 하나를 살펴보면, 골드만삭스의 데이터용 금융 클라우드는 금융 서비스를 위한 슈퍼 클라우드이다. AWS의 인프라, 컴퓨팅, 스토리지, 네트워킹, 보안 및 서비스를 이용하면서도 독점적인 데이터, 알고리즘, 도구와 프로세스는 골드만삭스의 전문성을 담는다. 데이터와 기술의 발전은 금융 서비스 산업을 빠르게 변화시키고 있지만 투자 회사의 개발자는 금융 데이터를 대규모로 관리, 해석 및 분석하기 위해 다양한 도구를 사용자에게 맞춰 제공하는데 상당한 시간과 에너지를 계속 소비하는 상황이다. 

데이터용 금융 클라우드를 이용하는 골드만삭스의 기관 고객은 금융 애플리케이션의 시장 출시 시간을 단축하고 리소스를 최적화하여 포트폴리오 수익에 집중하며 더 빠르게 혁신할 수 있다. 데이터를 위한 금융 클라우드는 최고 수준의 재무 데이터에 능률적이고 안전한 접근이 가능하다. 

골드만삭스의 금융 클라우드는 헤지 펀드, 자산 관리자 및 기타 기관 고객을 위한 클라우드 네이티브 금융 데이터 관리 및 분석 솔루션을 제공하며, 시계열 분석 도구인 플롯툴 프로(PlotTool Pro) 및 회사의 파이썬 도구 키트인 GS 퀀트와 같은 프런트 오피스 분석 도구를 크게 향상시켰다. 

또한 AWS의 데이터 익스체인지 통합을 통해 선별한 타사 데이터 제품을 포함하고 자체에서 선별한 금융 시장 데이터와 함께 자신의 독점 데이터를 원활하고 안전하게 통합한다. 동시에 AWS의 금융 데이터 관리와 분석을 위한 핀스페이스(FinSpace)와 호환된다. 

리버티 뮤추얼 보험 회사는 29개 나라에서 45,000명을 고용하고 있는 보험사이며 대규모 클라우드 마이그레이션을 진행하고 있다. 이미 워크로드의 68%를 퍼블릭 클라우드로 이전했으며 2024년까지 데이터 센터를 3개에서 1개로 줄이는 것을 목표로 하고 있다.¹⁰⁾

그러나 리버티는 단일 클라우드에 의존하지 않고 기본 클라우드서비스를 보이지 않게 만드는 추상화 계층 위에 애플리케이션을 빌드하거나 다시 플랫폼화하는 전략을 선택했다. 이 목표를 추구하기 위해 회사는 일관된 속도, 재사용성 및 보안을 제공하는 일련의 구현 표준을 만들었다. 

이를 통해 리버티 뮤츄얼은 자사 슈퍼 클라우드가 2024년까지 연간 IT 비용을 28% 줄이고 궁극적으로 고정 운영비용을 최대 40%까지 절감할 것으로 예상한다.

맺는말

슈퍼 클라우드라고 부르든 분산 클라우드라고 부르든 동일한 요구사항을 만족해야 한다. 다중 클라우드 환경에서 운영되는 현실을 단순화하고 클라우드에서 우리가 갈망하는 기능인 원활한 마이그레이션, 일관된 보안 운영 및 최적의 성능을 실현하고자 하는 것이다. 

그러나 슈퍼 클라우드가 넘어야 하는 장애물도 아직 많은 상황이다. 제일 먼저 데이터 중력이라고 부르는 클라우드 간에 많은 양의 데이터를 이동하는 어려움인데 일부 분산 데이터 관리 공급 업체가 이를 해결하고자 하고 있다. 다음은 데이터 이식성이다. 각 CSP가 서로 다른 스토리지 프로토콜을 선호하고 다른 종류의 블록, 파일 및 개체 저장소도 제공한다. 마지막으로는 보안이다. 클라우드 제공업체마다 고유의 보안 도구와 접근 방식이 있다. 코비드-19 이후 제로 트러스트 모델을 채택한 회사들은 개별 클라우드 API에 액세스 제어를 적용하고 있다. 마지막으로 모니터링과 환경 관리이다. 

슈퍼 클라우드에 대한 얘기는 대부분 아직 높은 수준에 맞춰져 있고 세부 사항은 여전히 불분명한 상태이다. 그런 측면에서 앞으로 더 많은 시간을 통해 정리하고 해결해야 하며 국내 기업이 이에 참여할 기회가 남아 있다고 본다.

참고문헌

1) IT World, “클라우드컴퓨팅 최후의 미개척지, ‘메타 클라우드’,” 2022년 7월 18일

2) http://supercloud.cs.cornell.edu/ 

3) Silicon Angle, “The rise of the supercloud,” Dec 7, 2021

4) IEEE, ““Supercloud” to the Rescue? New Architecture Could Make Cloud Computing More Secure,“ May 10, 2017

5) Silicon Angle, “Supercloud is becoming a thing,” May 21, 2022

6) Frank Slootman and Steve Hamm, “Rise of the Data Cloud,” Dec 4, 2020

7) VMware Office of CTO Blog, “Supercloud and the Era of Multi-Cloud Services,” Aug 12, 2022

8) Silicon Angle, “Oracle shares the recipe for how it built a supercloud on top of Microsoft Azure,” Aug 10, 2022

9) Silicon Angle, “The rise of the supercloud,” Dec 7, 2021

10) Silicon Angle, “Inside the rush to build ‘superclouds’,” Aug 8, 2022