02 엣지 컴퓨팅, 엣지 클라우드, 엣지 AI, 온디바이스 AI

│윤대균 아주대학교 교수

1. 엣지 컴퓨팅 / 엣지 클라우드

최근 엣지 컴퓨팅에 관한 관심이 다시 급증하고 있다. 2024년 주목해야 할 클라우드 동향에서도 엣지 컴퓨팅은 핵심 키워드로 언급되고 있다. 최근 한국지능정보사회진흥원에서 발간한 ‘이슈리포트’에서는 여러 전문가와 기관이 발표한 내용을 종합하여 분석한 결과 클라우드 네이티브 컴퓨팅과 함께 엣지 컴퓨팅이 가장 자주 언급되는 키워드임을 소개한 바 있다. (표 1)

표 1 2024년 주목해야 할 10 클라우드 동향. (원문 표 일부를 발췌)

‘엣지 컴퓨팅’이란 용어가 처음 등장한 것은 사실 꽤 오래전이다. 1990년대에 CDN(Contents Delivery Network)을 설명하기 위해 사용되기 시작했는데, 이는 사용자 ‘근처’에 위치한 서버에서 웹사이트 및 비디오 콘텐츠를 전송하는 데서 유래했다고 한다. 이러한 시스템이 발전하여 다양한 용도의 ‘실시간’ 응용 서비스를 원활하게 수행하기 위해서는 사용자 기기 혹은 사용자 기기와 인접한 서버에서 서비스를 실행해야 한다는 의미로 확장되었으며 이것이 일반적으로 우리가 이해하는 ‘엣지 컴퓨팅’이다.

이와 유사한 개념으로 ‘포그 컴퓨팅’(Fog Computing)이란 개념도 엣지 컴퓨팅과 함께 자주 거론되었는데, 이 둘을 합쳐 일반화하면 ‘네트워크 패브릭(Fabric)’ 관점에서 네트워크 ‘엣지’에서 사용자 서비스가 실행되는 것을 엣지 컴퓨팅이라 할 수 있다. 수많은 디바이스가 인터넷에 연결되는 사물 인터넷(IoT)이 엣지 컴퓨팅과 함께 주요 트렌드로 주목받기도 했다. 예를 들어 수십만 개의 센서 네트워크를 통해 수집되는 데이터를 실시간으로 분석하고 또 분석 결과에 대해 적절한 대응을 위해서는 ‘엣지’에서의 작업이 필수적이며 이를 엣지 컴퓨팅의 주요 목적으로 인식하기도 했다. (그림 1)

그림 1 IoT 솔루션 관점에서의 엣지 컴퓨팅 개념도 [그림 출처: Hewlett Packard Enterprise]

엣지 컴퓨팅이 더 많은 관심을 끌게 된 계기는 아이러니하게도 클라우드컴퓨팅의 확산이다. 당시 일반적으로 엣지 컴퓨팅의 설명으로 여겨지던 디바이스에서의 서비스 실행은 인터넷으로 연결된 ‘어딘가’에 있는 클라우드에서 서비스 실행과는 상반된 개념이라는 인식이 많았기 때문이다. 하지만 엣지 범위가 최종 디바이스뿐만 아니라 이들 디바이스와 ‘바로’ 연결되는 네트워크상의 엣지까지 확대되며 엣지 컴퓨팅과 클라우드컴퓨팅 모두를 아우르는 ‘엣지 클라우드’라는 용어가 등장했다. 앞서 잠시 언급했던 포그 컴퓨팅이 사실 엣지 클라우드와 더 닮아있다.

엣지 클라우드는 말 그대로 네트워크 엣지에서 제공되는 클라우드 서비스이다. 클라우드 서비스는 네트워크 좀 더 일반적으로는 인터넷을 통해 서비스에 대한 요청 및 응답이 이루어진다. 즉 클라우드 스토리지에 저장된 데이터에 접근하거나, 또는 클라우드에서 제공되는 애플리케이션 실행의 결과 등 모든 것이 인터넷을 거친다. 클라우드의 물리적 위치, 그리고 인터넷을 구성하는 네트워크 상태 등 여러 요인에 의해 매우 복잡한 경로를 거치며, 따라서 실제 서비스에 도달하는 속도는 그때그때 달라진다. 즉 ‘시간’에 민감한 서비스 품질이 보장될 수 없다. 대표적인 것으로 실시간 비디오 스트리밍 서비스를 들 수 있는데 이 품질을 높이는 것이 CDN의 주요 기능 중 하나이므로 엣지 컴퓨팅이란 용어가 CDN과 함께 태동했다는 사실이 전혀 어색하지 않다.

엣지 클라우드의 목적은 한 마디로 ‘실시간성’이 담보되는 클라우드 서비스를 제공하는 것이다. 5G 네트워크 서비스가 상용화되며 엣지 클라우드가 주목받았다. 5G 네트워크에서의 유즈 케이스는 크게 eMBB, mMTC, URLLC로 구분한다. (그림 2) 각각은 대용량 전송속도가 필요한 서비스(eMBB), 수많은 기기가 동시에 접속해야 하는 서비스(mMTC), 그리고 신뢰성 및 초 저지연 전송이 보장되는 서비스(URLLC)이다. 이러한 서비스를 충족시키기 위해 엣지 클라우드 서비스를 주요 해법으로 제시하고 있다.

그림 2 5G 네트워크 유즈 케이스 (그림 출처 TELCOMA)

5G 네트워크에서의 ‘엣지 클라우드’는 주로 사용자 기기와 5G 네트워크가 만나는 무선 구간에서의 네트워크 쪽 엣지에서 제공되는 클라우드 서비스로 생각하면 이해하기 쉽다. 물론 데이터센터 내에서의 로컬 네트워크를 거칠 수도 있지만, 일반적인 ‘인터넷 구간’을 거치지 않는다는 가정하에 최대한 ‘예측할 수 있는’ 성능으로 서비스를 제공한다는 것이 엣지 클라우드의 핵심 목표다. 엣지 클라우드는 일반 퍼블릭 클라우드 서비스와 같은 풀-스케일 클라우드 서비스를 제공하는 것보다는 위 그림 2에서 언급된 주요 유즈케이스에 특화된 서브셋 서비스를 제공하는 것이 바람직하다.

서비스를 최종 개발하는 애플리케이션 개발자나 콘텐츠 제공업체의 입장에서 표준화된 방식으로 5G에서 추구하는 유즈 케이스를 충족시킬 수 있는 기능에 접근하는 것은 5G 생태계 발전을 위해 매우 중요하다. 또한, 장비개발 업체와 통신사 관점에서도 효율적인 투자를 통해 큰 생태계에 접근할 수 있기에 표준화의 중요성은 새삼 거론할 필요가 없다. 엣지 클라우드컴퓨팅을 위한 대표적인 표준활동으로는 ETSI(European Telecommunications Standards Institute)의 MEC(Multi-access Edge Computing)를 들 수 있다. MEC에서 제시하는 유즈 케이스가 앞서 그림 2서 예시한 유즈 케이스와 거의 일치한다. 즉, MEC에서 추구하는 엣지 컴퓨팅 또는 엣지 클라우드 생태계가 곧 5G 생태계와 다르지 않음을 알 수 있다.

이런 생태계를 구현하기 위한 엣지 클라우드 전략은 첫째 5G 서비스를 제공하는 통신사가 직접 엣지 클라우드를 구축 서비스하는 방법, 또는 상용 클라우드 서비스 공급자가 제공하는 클라우드 서비스를 5G 네트워크 엣지에 새로 구축하는 방법 혹은 이를 혼합한 형태가 가능하다. 5G 상용화 초기에는 통신사들이 독자적으로 클라우드를 구축하여 제공하기도 하였으나 지금은 상용 클라우드컴퓨팅 전문 공급자의 클라우드 서비스를 통신사 자사 데이터센터에 유치하는 방식, 즉 자신의 네트워크 엣지에 구축하는 방식을 많이 활용하고 있다. 전 세계 클라우드 시장을 리드하고 있는 아마존 AWS, 마이크로소프트 애저, 구글 GCP도 엣지 클라우드 전용 서비스를 내놓거나 혹은 통신사와의 긴밀한 협업을 통해 서비스를 제공한다.

국내의 경우 KT가 자체 클라우드 서비스를 바탕으로 전국에 엣지 클라우드 센터를 일찍이 구축했고, SKT는 AWS의 엣지 클라우드 솔루션인 웨이브렝스(Wavelength) 존을 출시하여 ‘배달의 민족’을 운영하는 우아한 형제들과 함께 로봇을 활용한 배달 서비스에 적용하는 테스트를 진행하기도 했다. LG유플러스는 구글 GCP와 5G MEC 협력을 한다고 밝힌 바 있다.

엣지 컴퓨팅, 또는 엣지 클라우드가 지난 몇 년 사이 가장 많이 주목받은 것은 이처럼 5G 상용화 시점과 맞물려 있다. 그런데 최근 또다시 엣지 컴퓨팅이 뜨거운 화제로 거론되고 있는데 이는 AI에 대한 기대감이 높아지는 것과 깊은 연관이 있다. 특히 2022년 말 오픈AI의 챗GPT 출시와 함께 이제 진짜 AI의 ‘쓸모’에 대해 일반인도 인정하게 되고, AI가 진정한 상품화 반열에 오르게 되었다. LLM(거대 언어모델)을 기반으로 한 생성형 AI의 출현은 거의 모든 산업에 걸쳐 충격적인 영향을 줄 정도로 기존의 기대치를 훌쩍 넘어서는 기능을 AI가 제공할 수 있다는 것을 입증했다.

2. 엣지 AI

앞서 얘기한 클라우드와 엣지 클라우드의 관계로부터 엣지 AI를 쉽게 유추해 볼 수 있다. 한마디로 AI 서비스의 ‘네트워크 엣지’ 버전이 엣지 AI이다. 5G 네트워크 서비스를 운영하는 통신사의 데이터센터에서 사용자가 필요로 하는 AI 서비스가 제공되는 것으로 그림을 그려보면 쉽게 이해할 수 있다. 다만 이 ‘데이터센터’는 중앙의 클라우드 서비스를 제공하는 인터넷의 ‘어딘가’ 있는 데이터센터가 아니라 통신사가 직접 관리하며 사용자 접점에 있는 ‘엣지’에서 운영되는 데이터센터로 한정된다. 그럼 도대체 엣지 데이터센터는 무엇인가?

엣지 데이터센터는 네트워크 엣지에 ‘가까이’ 위치한 소규모 데이터센터를 말한다. 기능상으로는 기존 데이터센터와 같지만 최종 사용자 및 디바이스와 가까운 좀 더 작은 설치 공간에 컴퓨팅 자원이 들어가 있다고 보면 된다. 물론 컴퓨팅 용량은 일반 데이터센터보다는 훨씬 작다. 엣지 데이터센터에서는 일반 클라우드 서비스(대개 서비스의 일부)와 함께 ‘캐시 된’ 콘텐츠를 제공함으로써 클라우드컴퓨팅의 장점과 실시간 콘텐츠 접근, 그리고 디바이스에서 생성되는 다양한 데이터를 ‘바로’ 받아 처리할 수 있다는 것이 특징이다. 특히, 5G 엣지 데이터센터로 구성된 분산된 셀 네트워크는 사용자에게 최소한의 지연시간을 제공하는 데 도움이 될 수 있다. 예를 들면 통신사에서 셀 타워에 작은 엣지 데이터센터를 설치하면 바로 여기가 사용자 기기 또는 IoT 장치와 무선으로 직접 연결되는 가장 가까운 접점이 되는 것이다. 사실상 엣지 데이터센터를 소유/운영할 수 있는 것은 통신사뿐이다.

엣지 AI는 엣지 데이터센터에서 제공되는 AI 서비스이다. 오픈AI의 챗GPT, 구글의 제미나이(Gemini), 네이버의 하이퍼클로바x처럼 수천억 개 또는 조가 넘는 수의 매개변수의 초대형 모델을 엣지 데이터센터에 서비스하는 것은 현실적이지 않다. 이러한 파운데이션 모델보다는 특정 사용 사례를 위해 세부 조정된 모델 혹은 좀 더 적은 컴퓨팅 자원으로도 구동할 수 있는 AI 서비스가 엣지 데이터센터에 적합하다. 메타에서 오픈소스 AI 모델 LLaMA와 LLaMA 2를 출시한 것을 계기로 수많은 오픈 LLM(Large Language Model)이 봇물 터지듯 등장했다. 이들은 주로 수십억에서 수백억 개의 매개변수를 가진 모델로 이들 상당수는 엣지 데이터센터에서 AI 서비스로 구현되기 적합한 규모이다.

그림 3 엣지 데이터센터 개념도 (그림 출처: TechTarget)

엣지 데이터센터를 겨냥한 상용 클라우드 솔루션도 이미 나온 지 꽤 되었다. AWS IoT 그린그래스(Greengrass), 애저 IoT 엣지가 대표적인 예로, 이들 솔루션을 엣지 데이터센터에 온-프레미스로 구축하면 자사의 클라우드컴퓨팅서비스와 매끄럽게 연동될 수 있음을 핵심 차별화 포인트로 강조한다. 이들 솔루션이 주로 타겟으로 삼는 영역은 IoT 분야이다. 엣지 데이터센터의 주 활용 목적이 IoT 기기와 신속하고 안전하며, 안정적인 연결을 제공하는 것이므로 클라우드 서비스 벤더의 솔루션도 여기에 초점이 맞추어져 있다고 볼 수 있다.

3. 온디바이스 AI

일반적으로 AI 특히 LLM과 같은 대규모 컴퓨팅 자원이 소요되는 모델에 기반한 AI 서비스는 클라우드에서 데이터를 수집하고 학습한 후 사용자의 요청 결과를 인터넷으로 디바이스에 전송하는 방식으로 이루어진다. 학습을 위해 방대한 양의 데이터를 활용해야 하고, 특히 생성형 AI의 경우 서비스를 위해서도 엄청난 양의 컴퓨팅 자원을 소모하기에 클라우드가 아니면 사실상 불가능했다. 하지만 도메인에 특화된 다양한 오픈 LLM 및 구글 제미나이 나노와 같이 디바이스에 최적화된 LLM이 등장하고, 또 이의 실행에 적합한 저전력 칩 솔루션이 속속 상용화됨에 따라 디바이스에서 직접 구현되는 온디바이스 AI가 힘을 받고 있다.

온디바이스 AI가 클라우드 기반 AI와 대비되는 주요 강점은 다음과 같다.

• 개인정보 보호: 사용자 데이터를 클라우드에 전송할 필요가 없으므로 데이터 유출, 해킹 또는 오용의 위험이 줄어듦.

• 빠른 응답: 데이터가 디바이스에서 처리되므로 네트워크 지연 및 대역폭 제한으로 인한 지연을 없애고 사용자 경험과 만족도를 향상함.

• 높은 신뢰성: 디바이스는 네트워크 가용성 및 품질과 관계없이 독립적으로 작동할 수 있어, 특히 원격 또는 열악한 환경에서도 AI 서비스의 견고성 및 본원력 향상.

• 낮은 전력 소비: 이는 온디바이스 AI의 강점이라기보다는 오히려 요구사항이라 볼 수 있으나, 이는 현재 초거대 LLM의 최대 걸림돌인 막대한 전력 수요에 대한 대안으로 중요한 의미가 있음.

온디바이스 AI가 갖는 이러한 강점으로 포장한 한 디바이스들도 시장에 본격적으로 등장하기 시작했다. 최근 출시된 삼성의 갤럭시 S24 시리즈에도 온디바이스 AI를 탑재하여 다양한 언어 간 실시간 번역을 지원하며 작성한 글을 요약 정리하는 등 생성형 AI가 제공하는 기능을 네트워크 연결 상태와 관계없이 지원할 수 있다고 발표했다. 구글은 제미나이 나노 모델을 자사의 최신 픽셀폰에 적용할 계획이라고 한다. 그런데 이미 애플, 삼성, 구글 스마트폰에서 음성 인식, 사진 편집 보정 등 AI 기능은 스마트폰 자체로 제공되어 오고 있었다. 스마트폰에 탑재된 ‘뉴럴 엔진’이 이런 AI 기능을 가속하는 데 활용됐다. 그런데 왜 최근 들어 온디바이스 AI가 더 화두가 된 것일까? 이는 디바이스 자체에서 실행할 수 있는 ‘생성형 AI’에 대한 기대감 때문이다. 앞서 잠깐 언급했듯이 비교적 소규모이지만 성능이 뛰어난 모델이 속속 등장하고, 또 이를 효과적으로 실행할 수 있는 칩 솔루션에 주요 기업들이 적극적으로 투자하고 있다는 사실이 온디바이스 AI에 대한 기대를 반증한다.

세계 최대 소비자 전자제품 박람회인 CES 2024에서도 많은 주요 기업이 온디바이스 AI를 주제로 등장했다. CES의 온디바이스 AI 분야를 정리한 한 블로그에서는 퀄컴과 인텔, AMD, 그리고 미디어텍(MediaTek)의 온디바이스 AI를 위한 프로세서 로드맵을 소개하고 있다. 이들 주요 기업은 자사의 칩셋 포트폴리오 확장을 통해 노트북과 모바일 디바이스에서의 생성형 AI 시대를 준비하고 있다. 또한, 노트북과 스마트폰을 넘어 자율주행차와 같은 더 많은 영역으로 확대를 예고하고 있다. 이 블로그에 따르면 국내를 대표하는 삼성과 LG전자는 생성형 AI를 바탕으로 한 새로운 가전 생태계 구축을 주요 전략으로 삼고 있는 것으로 보인다.

한편, LLM 모델 경량화뿐만 아니라 이를 온디바이스에서 배포/구현하기 위한 플랫폼/프레임워크의 역할도 매우 중요하다. 대표적인 딥러닝 플랫폼인 텐서플로의 경우 텐서플로 라이트(TensforFlow Lite)를 활용하여 안드로이드나 iOS, 라즈베리 파이와 같은 디바이스에 모델을 배포할 수 있도록 한다. 파이선(Python) 라이브러리로 제공되는 파이토치(PyTorch)의 경우에는 온디바이스를 위한 파이토치 엣지가 있다. 앞으로 이런 경량 프레임워크를 바탕으로 허깅페이스(Huggingface)의 오픈 LLM 리더보드에 있는 모델이 온디바이스에서 제 성능을 발휘하는 사례들을 많이 볼 수 있을 것으로 기대한다.

4. 마치며

생성형 AI가 전 산업에 큰 물결을 일으키며 이에 대한 기대와 우려가 공존하는 시대를 지나고 있다. 앞으로 점점 더 많은 문제를 AI로 해결할 수 있을 것이라는 기대감과 함께 관련 산업의 재편에 대한 우려 또한 적지 않다. 이 밖에도 엄청난 자원을 소모하는 거대 언어모델로 인해 극소수의 거대기업이 갖게 될지 모르는 AI 권력에 대한 깊은 우려의 목소리도 크다. AI 모델이 발전하기 위해 끊임없이 데이터를 공급해야 하는 데서 오는 위험 요소도 간과할 수 없다. 프라이버시의 침해, 더 나아가서 보안의 위협으로부터 어떻게 개인과 조직을 보호할 수 있는가도 큰 이슈이다. 자율주행차와 같이 실시간 안정성이 담보되어야 하는 애플리케이션에서는 클라우드 기반의 AI를 맘 놓고 활용할 수 없다.

이러한 고민에서부터 조금이라도 자유롭고 좀 더 현명하게 AI를 활용할 수 있는 방법을 찾는 과정에서 엣지 컴퓨팅이 재조명되고 있다. 같은 맥락으로 엣지 AI, 온디바이스 AI가 본격적으로 시장에 등장함과 동시 새로운 생태계를 구축하며 가깝게는 일상의 삶에서부터 많은 변화를 불러오게 될 것이다.

참고문헌

1) 윤대균, “2024년 주목해야 할 10대 클라우드 동향”, 2023.11, 디지털서비스 이용지원시스템 이슈리포트, 한국지능정보사회진흥원

2) https://www.etsi.org/technologies/multi-access-edge-computing

3) 인공지능 신문, “SKT-AWS, 국내 최초 5G 엣지 클라우드 출시…. ‘AWS 웨이브렝스’ 연결, 5G 초저지연 이점 극대화”, 2020.12 
https://www.aitimes.kr/news/articleView.html?idxno=18769

4) 다른 많은 문서에서 엣지 AI와 뒤에 언급할 온디바이스 AI를 따로 구분하지 않고 모두 디바이스에서 제공되는 AI 서비스로 정의하기도 한다. 본 컬럼에서는 엣지 데이터센터에서 제공되는 AI 서비스를 엣지 AI로 따로 구분하였음을 밝혀둔다. 통상 엣지 컴퓨팅에서도 최종 디바이스 또는 네트워크 엣지에서 제공되는 서버(또는 클라우드) 모두 엣지로 간주하기 때문에 엣지 AI를 온디바이스 AI로 볼 것이냐 말 것이냐에 대해서는 심각하게 따질 필요는 없다. 그때그때 문맥에 따라 해석하면 된다.

5) https://aws.amazon.com/ko/greengrass/

6) https://azure.microsoft.com/ko-kr/products/iot-edge

7) 김학용, “온디바이스 AI @ CES 2024”, 2024년 1월 https://brunch.co.kr/@iotstlabs/331

8) https://www.tensorflow.org/lite/examples?hl=ko

9) https://pytorch.org/blog/pytorch-edge/

10) https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard