
|
2026.02.26 (수정 : 2026.03.03)
|
||
|
02 기밀 컴퓨팅이 여는 에이전트 AI 시대의 보안 혁신 │윤대균 아주대학교
1. 기밀 컴퓨팅(Confidential Computing) 등장 배경 2023년 초, 삼성전자 직원들이 사내 업무에 ChatGPT를 활용하기 시작했다. 코드 디버깅, 회의록 요약, 소스코드 최적화 등 다양한 목적으로 사용하던 중 반도체 설계 관련 민감한 코드와 내부 회의 내용이 오픈AI의 서버로 전송됐다. 몇 주 뒤 이 사실이 알려지자, 삼성은 사내 생성형 AI 사용을 전면 금지했다.1) 기술의 편의성과 데이터 보안 사이의 충돌이 가장 극적으로 드러난 사건 중 하나였다. 이 사건이 드러낸 본질적 문제는 데이터 통제권의 상실이다. 데이터를 외부 시스템에 넘기는 순간, 그것이 어떻게 처리되는지 사용자가 통제할 방법은 없다. 클라우드 제공업체 내부 직원이 접근할 수도 있고, 시스템 관리자 권한을 가진 누군가가 메모리를 들여다볼 수도 있다. 법원 명령이나 정부 요청으로 제3자에게 데이터가 넘어갈 가능성도 상존한다. 이렇듯 클라우드 컴퓨팅의 확산과 AI 기술의 발전은 기업에게 막대한 기회를 제공하는 동시에 새로운 보안 숙제를 던져주었다. 특히, 민감한 데이터가 클라우드상에서 처리됨으로써 발생할 수 있는 잠재적 위협은 데이터 프라이버시 및 규제 준수의 핵심 쟁점으로 떠올랐다. 암호화는 우리가 가진 최선의 방패였지만, 치명적인 빈틈이 있었다. 저장된 데이터(data at rest)는 암호화된다. 네트워크를 타고 이동하는 데이터(data in transit)도 TLS(Transport Layer Security)로 보호된다. 그런데 CPU가 연산을 수행하는 그 순간만큼은 데이터가 반드시 평문(plain text) 상태로 메모리에 올라와야 한다. 수십 년 동안 이 순간은 암호화의 손이 닿지 않는 사각지대였다. 이러한 가운데 기밀 컴퓨팅은 데이터 보안 패러다임을 한 단계 끌어올리는 혁신적인 기술로 주목받고 있다. 기밀 컴퓨팅 컨소시엄(CCC)2)은 이 기술을 다음과 같이 정의한다. "하드웨어 기반의 신뢰 실행 환경(TEE: Trusted Execution Environment)에서 연산을 수행함으로써 사용 중인 데이터(data in use)를 보호하는 것." 기존의 데이터 보안 방식은 데이터가 저장되거나 전송될 때 암호화를 통해 보호하는 데 중점을 두었다. 하지만 데이터가 실제 CPU 메모리에서 처리되는 순간 데이터는 일반적으로 평문 형태로 존재하여 악의적인 공격자나 심지어 클라우드 서비스 제공업체에도 노출될 수 있는 잠재적 취약점을 가지고 있다. 기밀 컴퓨팅은 CPU 칩 내부에 외부에서 접근할 수 없는 격리된 실행 영역을 만들고, 그 안에서만 민감한 데이터를 평문 상태로 처리한다. 운영체제도, 하이퍼바이저도, 클라우드 제공업체 관리자도, 물리적으로 서버에 접근한 사람도 이 영역 안의 데이터를 열람할 수 없다. 그림 1 처리 중에도 보호되는 데이터 (출처: 엔비디아) 이 기술이 지금 주목받는 이유는 크게 세 가지로 들 수 있다. 첫째, 클라우드 보편화에 따른 보안 우려이다. 기업들은 클라우드의 효율성을 원하지만, 가장 민감한 워크로드를 제3자에게 맡기는 것을 꺼린다. 금융기관, 의료기관, 정부 기관은 클라우드 전환을 주저하거나 가장 중요한 데이터는 온프레미스에 남겨두는 하이브리드 전략을 택해왔다. 기밀 컴퓨팅은 클라우드 제공업체 스스로도 고객 데이터에 접근할 수 없다는 것을 기술적으로 보장함으로써 이 우려를 해소한다. 둘째, 규제의 강화다. EU의 GDPR, 2024년부터 단계적으로 적용되기 시작한 EU AI 액트, 미국의 주별 프라이버시 법안들이 데이터 처리의 모든 단계에서 보안을 입증하도록 압박하고 있다. 2024년 NIST는 사이버보안 프레임워크(CSF) 2.03)에 사용 중인 데이터 보호 지침을 추가했고, PCI DSS4) v4.0.1은 휘발성 메모리를 포함한 데이터-인-유즈 보호 가이드라인을 명시적으로 포함시켰다. 기밀 컴퓨팅의 원격 증명(attestation)은 이러한 컴플라이언스 요건을 기술적으로 증명하는 유력한 수단이다. 셋째, AI 시대의 데이터 딜레마다. AI 모델을 학습하고 추론하는 데 필요한 가장 가치 있는 데이터는 대부분 민감한 정보다. 의료 기록, 금융 거래, 기업 내부 문서. 나아가 AI 모델 가중치 자체도 수억 달러를 투자해 만든 보호해야 할 핵심 자산이 됐다. 앞서 언급한 삼성 사례는 이 문제의 대표적인 한 예이다. AI가 기업 운영의 핵심 인프라가 될수록, AI 워크로드의 보안은 선택이 아닌 필수가 된다. 2. 핵심기술: TEE 신뢰 실행 환경(TEE: Trusted Execution Environment)의 핵심 개념은 “엔클레이브(enclave)”다. CPU 내부에 격리된 메모리 영역을 만들고, 그 안에서 실행되는 코드와 데이터는 외부에서 읽거나 수정할 수 없다. 운영체제 커널도, 하이퍼바이저도 접근이 차단된다. 심지어 엔클레이브를 실행하는 프로세스의 나머지 부분도 그 내부를 들여다볼 수 없다. 이것이 가능한 이유는 데이터가 L1/L2/L3 캐시를 거쳐 RAM에 저장될 때 CPU 칩 레벨에서 자동으로 암호화되고, 복호화는 오직 CPU 내부에서만 이루어지기 때문이다. 즉, 일반 운영체제와 완벽하게 분리된 실행 컨텍스트를 제공한다. TEE의 구현 방식은 프로세스 기반 격리에서 가상 머신 기반 격리로 진화해 가고 있다. 프로세스 기반 격리 (Application Enclave) 초기 기밀 컴퓨팅 기술을 대표하는 방식으로, 애플리케이션을 '신뢰할 수 없는 부분'과 '신뢰할 수 있는 부분(Enclave)'으로 나누어 설계한다. 민감한 데이터를 다루는 코드와 데이터만 엔클레이브 내부에 로드되며, 이 영역은 CPU 내부의 하드웨어 로직에 의해 보호된다. OS나 커널조차도 엔클레이브 메모리에 직접 접근할 경우 무의미한 암호화된 데이터만 보게 되거나 접근이 차단된다. 공격 표면(Attack Surface)이 매우 작아 보안성이 높지만, 이를 제대로 활용하기 위해서는 기존 애플리케이션을 엔클레이브와 호환되는 코드로 수정해야 하는 개발 부담이 있다. 인텔 SGX(Software Guard Extensions)5)가 대표적인 예이며 TEE를 개척한 선구자로 볼 수 있다. 가상 머신 기반 격리 (Confidential VM) 엔클레이브 메모리 크기의 제한(초기 128MB)과 높은 코드 수정 비용, 캐시 블리드6)나 포셰도우7)와 같은 사이드 채널 취약점을 해결하기 위해 최근 클라우드 환경에서 주류로 부상한 방식이다. VM 전체를 하나의 TEE로 간주하여 보호한다. 인텔 TDX(Trusted Domain Extensions), AMD SEV(Secure Encrypted Virtualization)가 대표적인 예이다. VM 전체를 격리함으로써 기존 애플리케이션을 수정하지 않아도 TEE 환경에서 실행할 수 있는 것이 장점이다. VM의 모든 메모리 페이지가 암호화되어, VM의 리소스를 관리하는 하이퍼바이저조차 VM 내부의 메모리 내용이나 CPU 레지스터 상태를 읽을 수 없다. VM 방식을 사용하면 소위 ‘리프트 앤 시프트(Lift and Shift)'가 가능하여, 기존 워크로드를 코드 수정 없이 그대로 보안 환경으로 이전할 수 있다. 이는 기밀 컴퓨팅 대중화에 결정적인 역할을 하고 있다. 메모리 암호화 및 키 관리 TEE에서 사용중인 데이터가 보호될 수 있도록 하는 기반 기술은 메모리 암호화 기술이다. 데이터가 CPU 코어 내부의 L1/L2 캐시에 있을 때는 평문 상태로 연산되지만, L3 캐시를 벗어나 메인 메모리(DRAM)로 이동할 때는 즉시 암호화된다. 이를 위해서는 암호화를 위한 키 생성 및 관리, 그리고 메모리의 무결성 보호가 중요하다.
원격 증명 TEE가 존재한다고 해서 충분하지 않다. 원격의 사용자가 "이 TEE가 진짜이고, 기대하는 코드가 그 안에서 변조 없이 실행되고 있다"는 것을 어떻게 확인할 수 있는가에 대한 답을 하는 것이 ‘원격 증명(Remote Attestation)’의 역할이다. TEE는 자신의 실행 상태(코드, 설정, 하드웨어 환경)를 서명된 보고서로 만들어 외부에 제출한다. 이 서명은 CPU 제조사의 루트 키에서부터 시작하는 신뢰 체인으로 검증된다. "신뢰하지 않아도 된다, 검증하면 된다"는 기밀 컴퓨팅의 핵심 가치 제안이 바로 여기서 나온다. 이는 최근 보안 주류 패러다임으로 자리잡고 있는 제로 트러스트 보안 모델과도 일맥상통한다.
주요 기술 기업 동향 앞서 언급했듯이 TEE의 사실상 효시로 볼 수 있는 인텔 SGX가 있고, 이는 가상머신 기반의 TDX로 진화했다. AMD SEV는 가상머신 기반의 격리를 TEE의 주류 기술로 끌어올리는 데 큰 역할을 했다. 메모리 암호화뿐만 아니라 레지스터값까지 암호화하고, 또한 메모리 무결성 보호를 위한 공격에 대비한 방어 수단을 제공한다. AMD SEV는 마이크로소프트 애저, 구글 GCP, 아마존 AWS를 비롯한 주요 클라우드에서 이미 상용 서비스로 제공되고 있다. ARM의 트러스트존(TrustZone)은 스마트폰과 임베디드 장치에서 TEE를 구현하는 기술이다. 프로세서를 '일반 세계'와 '보안 세계'로 분리해, 지문 인식, 생체 인증, DRM, 모바일 결제 같은 민감한 작업을 ‘보안 세계’에서만 처리한다. 삼성 녹스(Knox), 애플 시큐어 엔클레이브 등이 이를 기반으로 한다. 스마트폰 잠금 해제, 삼성페이·애플페이 결제, 패스키 인증이 모두 이 기술 위에서 동작한다. 엔비디아 H100은 GPU 최초로 하드웨어 기반 TEE를 지원한다.9) AI 학습과 추론은 CPU가 아닌 GPU에서 이루어지며, 수십억 파라미터의 모델 가중치와 입력 데이터가 GPU 메모리에 올라간다. H100의 기밀 컴퓨팅 모드에서는 GPU 메모리가 암호화되고, GPU와 CPU 간 PCIe 버스 통신도 보호된다. 기밀 컴퓨팅 모드에서의 성능 오버헤드는 대부분의 LLM 추론 작업에서 5% 미만으로 측정됐으며, 2024년 10월 마이크로소프트 애저는 엔비디아 H100 기반 기밀 VM을 정식 출시했다.10) 3. 에이전트 AI: 기밀 컴퓨팅의 본격적인 시험대 챗봇이 질문에 답하는 수준을 넘어, AI가 스스로 계획을 세우고, 도구를 호출하고, 여러 단계의 작업을 자율적으로 수행하는 에이전트 AI 시대로의 전환은 기밀 컴퓨팅을 선택적 보안 강화 수단에서 필수 인프라로 격상시킨다. 에이전트 AI와 보안 위협 에이전트 AI는 기존 AI와 근본적으로 다른 세 가지 특성을 갖는다. 첫째, ‘자율성(autonomy)’이다. 인간의 개입 없이 수십 개의 연속적 결정을 내리고 행동으로 옮긴다. 둘째, ‘메모리(persistent memory)’다. 여러 세션에 걸쳐 컨텍스트를 유지하며, 과거 상호작용과 사용자 정보를 기억한다. 셋째, ‘도구 접근(tool access)’이다. 이메일, 캘린더, 코드 저장소, 데이터베이스, 결제 시스템까지 외부 시스템과 연결되어 실제 세계에서 행동한다. 이 세 가지가 결합되면 AI는 단순한 소프트웨어가 아니라 매우 강력한 ‘디지털 행위자’가 된다. 에이전트는 사용자의 이메일을 읽고, 일정을 수정하고, 코드를 작성하고, 파일을 전송하고, 금융 거래를 실행할 수 있다. 이는 어떤 인간 직원보다 넓은 접근 권한을 가질 수 있다는 의미다. 보안 전문가들은 에이전트 AI를 '자율성을 가진 내부자 위협(autonomous insider threat)'으로 규정한다.11) 에이전트를 실행하는 기업이 에이전트가 실제로 무슨 코드를 실행하는지, 어떤 데이터에 어떻게 접근하는지를 기술적으로 보장할 수 없다면, 에이전트 AI의 대규모 도입은 보안의 관점에서 러시안 룰렛에 가깝다. OWASP GenAI 보안 프로젝트는 2025년 12월 에이전트 AI의 10대 보안 위험을 발표했다.12) 그 중 가장 위협적인 세 가지는 다음과 같다.
현대의 에이전트 AI 시스템은 단일 에이전트가 아닌 다중 에이전트 파이프라인으로 구성되는 경우가 많다. 오케스트레이터 에이전트가 하위 에이전트들에게 작업을 위임하고, 각 하위 에이전트가 또 다른 도구나 에이전트를 호출한다. 이 체인에서 핵심 질문이 생긴다. 에이전트 B는 에이전트 A의 지시를 어떻게 신뢰하는가? A가 이미 공격자에게 탈취됐다면? 기존 소프트웨어 보안 모델에서 이 신뢰 문제는 API 키나 토큰으로 처리되지만, 자율적으로 행동하는 에이전트 간의 신뢰는 훨씬 복잡한 문제다. 기밀 컴퓨팅의 원격 증명은 각 에이전트가 "나는 변조되지 않은 코드를 신뢰할 수 있는 하드웨어에서 실행 중이다"라는 것을 암호학적으로 증명하게 함으로써 이 질문에 답한다. 에이전트를 격리하기 위한 사례 앤쓰로픽의 “기밀 추론(Confidential Inference) 시스템”이라는 연구 보고서를 발표했다.13) 이 시스템에서 모델 가중치는 모델 소유자의 키 관리 시스템(KMS)으로 암호화되어 배포된다. 추론 서버의 TEE가 시작되면 자신의 원격 증명 보고서를 KMS에 제출하고, KMS는 이를 검증한 후에만 복호화 키를 TEE 내부로 보낸다. 클라이언트는 TEE의 공개키로 입력 데이터를 암호화해 전송하고, TEE 내부에서만 복호화가 이루어진다. 결과적으로 모델 가중치와 사용자 입력 모두 TEE 외부에서는 평문으로 존재하지 않는다. 앤쓰로픽은 이를 통해 클로드 사용자에게 AI 서비스 제공업체조차 입력 데이터를 볼 수 없다는 사실을 기술적으로 보장한다. 이외에도 업계는 에이전트 AI를 위한 기밀 컴퓨팅 솔루션을 빠르게 구체화하고 있다. 안주나 시큐리티(Anjuna Security)는 에이전트를 'TEE 안에 격리된 프로세스'로 실행시키고, 런타임 시 정책을 강제하는 '에이전트 감독자' 아키텍처를 제안한다.14) 에이전트가 어떤 데이터에 접근하고 어떤 행동을 취하는지를 하드웨어 수준에서 감시하고 제한한다. 오패크(OPAQUE)는 TEE 기반의 기밀 에이전트를 발표했는데, RAG 파이프라인의 모든 단계가 TEE 안에서 이루어져 검색된 문서부터 생성된 응답까지 전 과정이 암호화된다는 것을 강조한다.15) 마이크로소프트 애저는 다중 테넌트 AI 에이전트 환경을 위한 기밀 컴퓨팅 업데이트를 발표하며, 서로 다른 조직의 에이전트가 동일한 클라우드 인프라에서 실행되어도 각자의 데이터와 모델이 완전히 격리되는 아키텍처를 제공한다.16) 에이전트 시대에 기밀 컴퓨팅이 제공하는 것 - 요약 에이전트 AI와 기밀 컴퓨팅의 결합을 통해 제공되는 안전장치는 다음과 같이 정리될 수 있다.
이는 곧 에이전트 AI가 신뢰받기 위해 필요한 최소한의 보안 요구사항이기도 하다. 에이전트 AI가 기업과 사회의 핵심 인프라로 자리 잡는 속도에 비례해, 기밀 컴퓨팅의 중요성도 더욱 커질 것이다. 4. 기밀 컴퓨팅 생태계 동향 기밀 컴퓨팅 생태계에서 매우 중요한 역할을 하는 곳으로 기밀 컴퓨팅 컨소시엄(CCC)을 들 수 있다. CCC는 2019년 리눅스재단 산하에 설립된 비영리 컨소시엄이다. 기밀 컴퓨팅 기술의 표준화와 오픈소스 생태계 구축을 목표로 한다. 인텔, AMD, ARM, 구글, IBM, 마이크로소프트, 레드햇이 창립 멤버로 참여했고, 이후 엔비디아, 메타, 화웨이 등이 합류했다. 2024년에는 후지쯔와 틱톡이 프리미어 멤버로 가입했다. 틱톡의 가입이 다소 상징적으로 보일 수 있는데, 이는 미국 정부의 데이터 프라이버시 우려를 받는 기업이 기밀 컴퓨팅을 기술적 해답으로 우회하려는 시도로 읽을 수 있다. CCC에서 관리하는 주요 오픈소스 프로젝트는 다음과 같다.
글로벌 빅 클라우드 3사는 기밀 컴퓨팅을 핵심 차별화 요소로 삼기 시작했다. 마이크로소프트 애저는 매우 광범위한 포트폴리오를 보유하고 있다. 인텔 SGX 기반 DC 시리즈부터 TDX 기반 DCesv5, 엔비디아 H100 기반 기밀 VM까지 다양하며, 애저 컨피덴셜 레저(Ledger)와 애저 원격증명 같은 관리형 서비스도 제공한다. 구글 클라우드는 2024년 구글 클라우드 넥스트에서 AI 워크로드를 위한 기밀 컴퓨팅 확장을 발표했고, A3 컨피덴셜 VM(H100 기반)과 GKE 컨피덴셜 노드로 쿠버네티스 워크로드까지 보호 범위를 넓혔다. AWS는 니트로(Nitro) 시스템을 기반으로 기밀 컴퓨팅을 구현하며, 독립적인 외부 보안 검증을 통해 기밀 컴퓨팅 기능을 공개했다. 5. 향후 과제 및 시사점 기밀 컴퓨팅이 앞으로 풀어야 할 과제도 적지 않다.
우리나라에서도 다양한 데이터 정책과 정부가 추진하는 AI 전략에서 기밀 컴퓨팅은 매우 중요한 의미를 가지고 있다. 이 중 몇 가지를 들어보겠다.
디지털 시대의 신뢰는 오랫동안 사회적 계약과 법적 규제에 의존해 왔다. "데이터를 다루는 조직을 믿어야 한다"는 전제가 모든 디지털 서비스 이용의 기반이었다. 최근 쿠팡 사태와 같은 대규모 개인정보 유출 사태는 계약 및 법적 규제에 의한 ‘신뢰’의 한계를 명백히 드러내는 사례로 볼 수 있다. 기밀 컴퓨팅은 이러한 한계를 기술적으로 극복할 수 있는 가능성을 열었다. 특히 인간의 감시와 통제가 점점 더 어려워지는 에이전트 AI 시대의 최소한의 안전장치로서의 기밀 컴퓨팅은 핵심 인프라 기술로 자리 잡게 될 것이다. 참고문헌 1) AI타임스, “삼성, 챗GPT 데이터 유출 후 임직원 AI 사용 금지”, 2023.5.3 2) https://confidentialcomputing.io/ 3) https://nvlpubs.nist.gov/nistpubs/CSWP/NIST.CSWP.29.pdf 4) Payment Card Industry Data Security Standard의 약자로, 비자, 마스터카드 등 주요 카드사들이 카드 소지자의 데이터를 보호하기 위해 제정한 글로벌 보안 규정이다. 5) https://www.intel.co.kr/content/www/kr/ko/products/docs/accelerator-engines/software-guard-extensions.html 6) 캐시 블리드(Cachebleed)는 인텔 프로세서의 L1 데이터 캐시에서 발생하는 부채널 공격(Side-Channel Attack)의 일종으로, 암호화 과정에서 비밀키를 탈취하는 취약점을 말한다. 7) 포셰도우(Foreshadow)는 인텔 SGX 환경을 무력화할 수 있는 추측 실행(Speculative Execution) 기반의 보안 취약점을 말한다. 8) 와인 양조에서 포도가 익기 시작하는 시점을 나타내는 용어인 ‘Veraison’에서 따 왔다고 하며 ‘VERificAtIon of atteStatiON’의 약자임을 주장한다. https://www.veraison-project.org/book/introduction.html 9) Nvidia Technical Blog,“Confidential Computing on NVIDIA H100 GPUs for Secure and Trustworthy AI”, Aug 03, 2023 10) Azure Blog, “General Availability: Azure confidential VMs with NVIDIA H100 Tensor Core GPUs”, Sep 24, 2024 11) Computer World, “As AI agents go mainstream, companies lean into confidential computing for data security”, Jul 21, 2025 12) “OWASP GenAI Security Project Releases Top 10 Risks and Mitigations for Agentic AI Security”, Dec 9, 2025 13) Anthrophic, “Confidential Inference Systems - Design principles and security risks”, Jun 2025 14) https://www.anjuna.io/ 15) PR Newswire, “OPAQUE Unveils Confidential Agents with Turnkey RAG Workflows, Reinventing Trust and Security in AI”, Jun 17, 2025 16) Markaicode, “Securing Multi-Tenant AI Agents: Microsoft Azure's Confidential Computing Update”, Feb 22, 2026
이슈리포트_2026-02호.pdf (1 MB)
|
||