02 ​에이전트 네이티브 시대의 클라우드 인프라

│윤대균 아주대학교

1. 들어가며

기업의 AI 도입은 이제 실험 단계를 넘어 실제 사용 환경으로 확산되고 있다. 2026년 IDC AI 네트워킹 특별 보고서에 따르면, 북미 기업의 44%가 향후 1년 내 21개 이상의 AI 애플리케이션을 배포할 계획이며, 32%의 기업이 이미 AI를 "실질적으로 활용(substantial use)"하고 있다고 응답했다. 더 이상 AI가 실험실의 기술이 아니라 비즈니스 운영의 핵심 인프라로 자리 잡고 있다는 의미다.

그러나 실제로 AI 프로젝트가 파일럿에서 프로덕션으로 전환되는 비율은 정체 상태다. 샌드박스에서 성공한 프로젝트가 프로덕션에서 실패하는 원인은 모델의 성능이 아니라 인프라에 있다. 현재의 클라우드 인프라는 동일한 입력에 항상 동일한 결과를 내는 결정론적(deterministic) 마이크로서비스를 위해 설계되었다. 반면 에이전트 AI 워크로드는 상태를 유지하며 자율적으로 판단하고 행동한다. 같은 질문에도 매번 다른 경로로 추론하고 다른 도구를 호출할 수 있는 이 확률적 특성은, 기존 인프라가 전제하는 거의 모든 가정을 깨뜨린다.

이 글은 클라우드 인프라가 에이전트 AI 시대에 맞춰 어떻게 진화해야 하는지를 다룬다. 에이전트 스프롤(Agent Sprawl)이라는 새로운 현상이 만들어내는 거버넌스 문제를 제시하고 이를 해결하기 위한 인프라 수준의 핵심 요소로 “디스커버리”, “아이덴티티”, “인가”, “관찰성”, “연결성”을 살펴본다. 그리고 이 모든 것을 가능하게 하는 오픈 표준 생태계의 현황과 국내 AI 인프라 전략에 대한 시사점을 논의한다.

2. 클라우드 네이티브에서 에이전트 네이티브로

2.1 패러다임 전환

엔터프라이즈 기술은 클라우드 네이티브 마이크로서비스의 결정론적 세계에서 에이전틱 AI의 확률적·자율적 세계로 전환하고 있다. 이 전환은 소프트웨어의 구축, 보안, 연결, 운영 방식 전반을 재정의한다.

표 1 클라우드 네이티브 vs. 에이전트 네이티브 인프라 비교

클라우드 네이티브 환경에서는 서비스 인스턴스가 살아 있고 헬스체크를 통과하면 요청은 코드에 정의된 대로 처리되어 예측 가능한 응답을 반환한다. 트래픽 패턴 역시 사용자와 애플리케이션 프론트엔드 사이에서 대체로 예측 가능하다. 반면 에이전트 네이티브 환경에서는 에이전트가 메모리를 유지하고 복잡한 추론 루프를 수행하며, 어떤 도구를 호출할지 자율적으로 결정한다. “정상” 상태의 에이전트도 환각을 일으키거나 무한 루프에 빠지거나, 악의적 프롬프트에 의해 데이터를 유출할 수 있다. 에이전트는 근본적으로 새로운 종류의 워크로드이며, 상태, 아이덴티티, 연결성, 거버넌스에 대한 새로운 요구사항을 수반한다.

2.2 프로덕션 전환 장벽

AI 프로젝트가 "선택적 활용(select use)"에서 "실질적 활용(substantial use)"로 이행하는 과정이 정체되는데에는 여러 장벽이 있기 때문이다. IDC 조사에서 반복적으로 상위에 오르는 장벽은 다음과 같다.

• 보안 및 거버넌스: 거의 모든 산업 분야에서 1위로 꼽히는 장벽이다. 분산 AI 워크로드와 에이전틱 AI에 대한 보안 우려가 가장 크다.

• 가시성 부족: “AI 워크로드에 대한 가시성 및 제어 부재”가 새롭게 주요 장벽으로 부상했다. AI 트래픽이 증가하면서 네트워크 내부에서 무슨 일이 일어나는지 파악하지 못하고 있다.

• 비용 및 복잡성: 스케일링 과정에서 "솔루션의 비용과 복잡성"이 주요 장애물로 작용한다.

• 통합 문제: 새로운 AI 워크로드를 레거시 환경과 통합하는 어려움이 비용 문제만큼 높은 순위를 차지한다.

흥미로운 점은 이러한 장벽에 대한 기업의 대응 방식이다. 통합 플랫폼에 대한 선호도가 빠르게 역전되고 있다. 2024년에는 64%의 기업이 플랫폼 솔루션을 선호했으나, 2025년에는 55%가 업계 베스트오브브리드(best of breed), 즉, 보안은 전문 보안 벤더, 관찰성은 데이터독(Datadog), 모델 서빙은 특화 플랫폼처럼 영역별 최적 솔루션을 조합하는 방식을 선택하고 있다. 기존의 통합 플랫폼으로는 에이전틱 워크플로우를 충분히 관리할 준비가 되어 있지 않다는 인식이 반영된 결과다. 그럼에도 불구하고 베스트오브브리드 솔루션을 통합할 수 있는 확장 가능한 플랫폼에 대한 수요는 여전히 높다.

2.3 “쉬프트 다운” 전략

에이전틱 AI에서는 워크로드의 비결정론적 특성으로 인해 복잡성이 폭발적으로 증가한다. 이 복잡성을 개발자에게 떠넘기는 “쉬프트 레프트(shift left)” 접근은 한계가 있다. 대신, 인가, 보안, 네트워킹의 복잡성을 인프라 계층으로 내려보내는 “쉬프트 다운(shift down)” 전략이 필요하다.

쉬프트 다운은 플랫폼이 아이덴티티 발급, 보안 연결, 정책 적용, 관찰성을 자동으로 처리하는 것을 의미한다. 에이전틱 애플리케이션에서 발생하는 수많은 짧은 시간 동안 연결되는 서비스를 수용하려면 인프라의 저스트인타임(just-in-time) 자동 프로비저닝이 필수적이다. 에이전트가 인간의 개입 없이 자체 코드와 서비스를 배포할 수 있어야 하기 때문이다.

이러한 복잡한 활동은 인프라로 내려보내고 적절한 인프라 자원과 서비스를 자동으로 묶음으로써, 에이전트 네이티브 클라우드 도입의 핵심 병목인, 보안 위험과 통합 복잡성을 해소할 수 있다.

3. 에이전트의 인터넷: 거버넌스 과제

3.1 에이전트 스프롤

에이전트는 전례 없는 속도로 개발되고 있으며, 이질적인 프레임워크, 프로토콜, 도구, 제공자, 그리고 다른 에이전트로 구성된 방대한 생태계에 의존한다. 이 현상을 '에이전트 스프롤(Agent Sprawl)'이라 부르며, 보안, 거버넌스, 운영에 전례 없는 도전을 야기한다. 과거 가상 머신(VM)이나 컨테이너가 무분별하게 늘어나 관리 사각지대를 만들었던 ‘VM 스프롤’, '컨테이너 스프롤’의 에이전트 버전이라 할 수 있다.

AI 워크로드는 고도로 분산되어 있다. 에이전트, 도구, 모델이 온프레미스, 다수의 클라우드 제공사, 인터넷에 걸쳐 배포된다. 특히 주목해야 할 것은 '클라이언트 에이전트’의 확산이다. 커서(Cursor), 클로드 데스크탑/코드, 제미나이 CLI, 코덱스, VS코드 등 데스크탑 도구를 활용하는 코딩 및 생산성 에이전트가 기업 및 사용자 터미널에서 직접 실행되고 있다. 이러한 클라이언트 에이전트는 기업 네트워크 경계 밖에서 동작하며, 임시적(ephemeral)이고, 임의의 프레임워크를 사용하며, 자율적으로 실행된다. 기존 거버넌스 체계로는 이들을 관리하기 극히 어렵다.

3.2 거버넌스 체계의 변환

클라이언트 에이전트는 매우 치명적일 수 있는 세 가지 위험 요소를 지니고 있다. 이를 '치명적 삼중주(lethal trifecta)'라 부르기도 한다.

• 기업 데이터 접근: 사내 문서, 코드, 데이터베이스에 대한 접근 권한을 보유한다.

• 외부 연결: 서드파티 도구와 퍼블릭 인터넷 상의 LLM에 연결한다.

• 행동 실행: 코드 실행, 파일 전송, API 호출 등 실제 작업을 수행한다.

강건한 거버넌스 없이는 이러한 클라이언트 에이전트가 민감한 데이터를 유출하거나 직원의 전체 권한을 사용해 비인가 행동을 수행하는 '보이지 않는 내부자(invisible insider)'로 활동할 수 있다. 에이전트 스프롤은 민감 데이터 유출, 개인정보 노출, 규제 위반, 의도하지 않은 파괴적 행동 등의 위험을 수반하게 되며 기업의 경우 브랜드 평판이 심하게 손상되어 영업활동을 못하게 될 수도 있다.

에이전틱 애플리케이션의 거버넌스를 각각의 개발 프레임워크에서 추구하면, 프레임워크마다 제각기 다른 거버넌스 정책이 우후죽순처럼 사일로 형태로 만들어진다. 이를 통합하는 것은 사실상 불가능에 가깝다. 또한 프레임워크 수준의 거버넌스는 보안 통제에 대한 책임을 개발자에게 떠넘기게 되어 신뢰와 컴플라이언스 측면에서 대외적인 신뢰를 담보하기 어려워진다.

이에 반해 프레임워크 단위가 아닌 클라우드 인프라 수준에서 거버넌스가 갖추어지면 에이전트 배포를 위한 공통 표면에서의 통제를 균형있게 구현할 수 있다. 특히 집중해야 할 우려를 적절히 특화/분리하여 통제함으로써 전체적인 균형을 유지하면서 거버넌스의 효능감도 높일 수 있다. 이는 곧 전반적인 거버넌스 체계의 신뢰도를 향상시키는 결과로 나타날 것이다. 인프라 주도 거버넌스는 유비쿼터스하고, 프레임워크에 독립적이며, 표준 기반이고, 확장 가능한 특성을 갖는다.

4. 에이전트 네이티브 인프라의 핵심 요소

기존 클라우드 인프라는 컨테이너와 API를 실행하고 연결해 주는 ‘배관’ 역할에 머물렀다. 에이전트 네이티브 클라우드에서는 인프라가 에이전트의 정체를 파악하고, 권한을 부여하며, 행동을 감시하는 능동적 역할을 맡아야 한다. 즉 에이전트를 VM이나 컨테이너처럼 인프라가 직접 관리하는 핵심 단위로 다루어야 한다는 뜻이다. 그림은 이러한 에이전트 네이티브 인프라의 계층 구조를 보여준다.

그림 2 에이전트 네이티브 인프라의 계층 구조와 핵심 요소

4.1 표준화된 디스커버리: 레지스트리

에이전틱 애플리케이션 거버넌스 모델의 핵심에는 도구, 에이전트, 모델의 레지스트리가 있다. 모든 A2A(Agent-to-Agent) 카드와 MCP(Model Context Protocol) 역량이 등록되는 레지스트리 시스템은 에이전트의 인터넷에서 반드시 필요한 ‘자동 디스커버리’를 위한 기본 요소이며, 이는 확장 가능하여야 한다.

이러한 레지스트리는 거버넌스 정책이 의존하는 “신뢰의 원천(source of truth)”이기도 하다. 에이전트와 도구의 디스커버리는 자율적 에이전틱 애플리케이션을 구성하는 비결정론적 연결의 출발점이다. 디스커버리 메커니즘의 철저한 거버넌스를 통해 에이전틱 애플리케이션의 자율성과 민첩한 비결정성을 유지하면서도 효과적으로 보안을 확보할 수 있다.

월드 와이드 웹에서 DNS가 핵심적인 역할을 하듯, 에이전트 생태계에서도 에이전틱 서비스의 아이덴티티와 검증된 등록을 위한 연합된 권한(federated authority)을 인프라 컴포넌트로 제공해야 한다. A2A와 MCP 프로토콜 정의는 물론, 오픈소스 에이전트 레지스트리 API 표준이 선결되어야 특정 벤더에 관계없이 에이전트 디스커버리가 가능하다. 이 오픈소스 에이전트 레지스트리 API는 MCP 서버, 에이전트, 스킬을 퍼블리싱 하고 발견하며 공유할 수 있는 보안 연합 레지스트리를 가능하게 한다.

4.2 에이전트 아이덴티티

에이전트는 자율적이고 비결정론적이며, 수명이 짧고 일시적일 수 있다. 특정 IP 주소 간 트래픽만 허용하는 식의 전통적인 네트워크 정책과 같은 기존 보안 관행은 이 복잡성에 대응하기 어렵다. 따라서 에이전트 아이덴티티는 IP 주소나 호스트와는 관계없는, 민첩한 인증 메커니즘을 필요로 하며, 이는 기존의 서비스 계정이나 사용자 아이덴티티와는 구별되는 매우 새로운 유형이다.

에이전트 아이덴티티는 다음 세 가지 특성을 갖추어야 한다.

• 자동 프로비저닝: 런타임 인스턴스에 자동으로 연결되며, 강력한 인증서 기반 증명을 제공한다.

• 세분화된 접근 제어: 특정 리소스나 도구에 대한 세밀한 IAM(Identity and Access Management) 정책을 가능하게 한다.

• 위임된 권한: OAuth 토큰을 통해 에이전트가 사용자를 대신하여 행동할 수 있다.

업계는 이러한 수준의 아이덴티티를 구현하기 위해 CNCF에서 졸업한 프로젝트인 SPIFFE(Secure Production Identity Framework for Everyone) 오픈소스를 활용하는 방향으로 움직이고 있다. 단기적으로 유효한 아이덴티티 확보를 위해 SVID(SPIFFE Verifiable Identity Document)를 발급/사용할 수 있으며 이를 바탕으로 조직 간 경계, 그리고 다양한 환경에 걸쳐서 서비스의 아이덴티티를 보장하게 된다. 워크로드는 이 문서 기반의 JWT 토큰 서명이나 TLS 등을 통해 상호 인증한다.

에이전틱 흐름의 인가 규칙은 에이전트 아이덴티티와 사용자 아이덴티티를 결합해야 한다. 에이전트가 도구 접근 권한을 가지더라도 도구가 접근하는 정보는 사용자에 따라 다를 수 있기 때문이다. 이러한 “아이덴티티의 조합”이 에이전틱 통신의 실제 접근 권한을 결정한다.

표 2 에이전트 네이티브 환경의 세 가지 아이덴티티 유형

4.3 인가와 정책 집행

에이전트가 다양한 위치와 폼팩터(서버리스, 쿠버네티스, 관리형 런타임)에서 증가함에 따라, 트랜잭션과 연결의 인증/인가는 인프라 수준에서 수행해야 한다. 연결 가능한 경로를 특정할 수 없을 정도로 다양하기 때문에 개발자가 이러한 인증/인가를 모두 책임지고 구현할 수 없다.

업계는 에이전틱 시대의 확장 가능한 데이터 플레인 표준으로 엔보이(Envoy) 프록시를 주목한다. 엔보이는 전통적인 L7 프록시에서 '에이전틱 레이어 프록시’로 진화하고 있다. 엔보이 인프라는 다음 기능을 제공한다.

• 인증: JWT 토큰 또는 TLS 종단 처리를 통한 인증

• 외부 인가 필터(ext_authz): 확장 가능한 인가 서비스를 호출하여 요청의 인가 여부를 확인. SPIFFE 아이덴티티와 에이전틱 시맨틱스를 수용하도록 확장 가능

• 프로토콜 심층 검사: MCP, A2A, gRPC 등 에이전틱 프로토콜의 JSON-RPC 및 gRPC 페이로드를 분석하여 에이전트의 실제 의도(예: 특정 도구 실행)를 파악

데이터 플레인 확장성은 에이전틱 애플리케이션을 지원하는 인프라의 핵심 속성이다. 다양한 산업에서 에이전틱 AI 활용 수준이 성숙해가면서 보안, 거버넌스, 관측 방식에 대한 “이해”도 진화한다. 이러한 확장 가능성을 염두에 두고 설계된 탄력적 플랫폼은 운영 단순성을 일관되게 유지하면서도 기술 변화에 대응할 수 있다.

4.4 런타임 보호: AI 가드레일

에이전트는 확률적이기 때문에, AI 가드레일이 네트워크 경로 상에서 ‘AI 방화벽’ 역할을 수행해야 한다. 가드레일은 사용자-에이전트 경로와 에이전트-도구 경로 모두에서 프롬프트 인젝션, PII(개인식별정보) 유출, 악성 URL 등을 검사한다. 보안 관리자는 개발자가 재정의할 수 없는 필수 '바닥 설정(floor settings)'을 적용하여 거버넌스의 관심사를 개발자와 분리하여 구현할 수 있다.

엔보이의 외부 처리 필터(ext_proc)를 통해 가드레일을 데이터 플레인에 쉽게 주입할 수 있다. 클라우드 서비스 파트너 사의 최고 수준의 보안 서비스를 데이터 경로에 직접 주입함으로써, 애플리케이션 코드 변경 없이 런타임에서 프롬프트를 검사하고 정화할 수 있다.

4.5 관측성: 트래픽 가시성에서 의사결정 가시성으로

기존 네트워크 모니터링 도구는 패킷, 바이트, TCP 연결을 주시한다. 이 '트래픽 가시성’은 비결정론적 에이전트를 디버깅하거나 추론 루프에 빠진 에이전트를 파악하는 데 부족하다. 에이전트 네이티브 클라우드는 관측성을 “의사결정 가시성(decision visibility)”으로 전환해야 한다.

비결정론적 실행 추적이 핵심이다. 전통적 소프트웨어에서 요청 추적은 결정론적 함수 호출을 따라간다. 에이전틱 시스템은 실행 경로, 도구 선택, 메모리 검색 등에서 다양한 패턴을 보인다. 하나의 사용자 요청이 다수의 LLM 호출을 트리거하고, 동적으로 선택된 경로를 따라 실행되며, 명시적으로 프로그래밍되지 않은 중간 논리 단계를 수립할 수 있다. 특화된 의사결정 추적과 추론 경로 분석 없이는 운영팀이 프로덕션 장애 시 디버깅할 수 없는 불투명한 '블랙 박스’를 마주하게 된다.

“멀티 에이전트 조정의 병목”도 중요한 과제다. 오케스트레이터-워커 패턴에서 중앙 지능이 하위 도메인 전문 에이전트에 작업을 위임하는 구조에서는 '사일런트 워커 실패(워커가 상태 보고 없이 충돌하여 교착 상태 유발)'나 ‘역량 불일치(오케스트레이터가 워커의 도구 범위를 초과하는 작업 배정)’ 같은 위험이 발생한다.

업계에서는 오픈텔레메트리(OpenTelemetry)가 AI 텔레메트리 수집의 표준으로 수렴되고 있다. 오픈텔레메트리는 AI 특화 네임스페이스로 적극 확장 중이다.

• gen_ai. 네임스페이스*: AI 특화 계측의 핵심으로, 모델 및 제공자 정보, 연산 유형(채팅 vs. 도구 실행), 비용 및 성능 모니터링을 위한 토큰 사용량 등을 표준화한다.

• ai.agent. 네임스페이스*: 에이전트 아이덴티티와 컨텍스트 포착, 추론 과정의 단계 추적을 위한 신규 규약이다.

• 도구 및 검색 규약: 에이전트가 외부 도구 및 지식 소스와 상호작용하는 방식을 추적한다.

클라우드 인프라에서의 포괄적인 오픈텔레메트리 계측을 통해 토큰 메트릭(요청당 입력 vs. 출력 토큰 사용량), 비용 귀속(어떤 팀 또는 에이전트가 추론 비용 발생), 추론 트레이스(호출이 실패한 이유뿐 아니라 에이전트가 해당 호출을 결정한 이유)를 추적할 수 있어야 한다.

에이전트 네이티브 클라우드는 관측(에이전트가 무엇을 했는지에 대한 텔레메트리 수집)과 평가(얼마나 잘 했는지에 대한 체계적 평가)를 결합하는 ‘에이전트옵스(AgentOps)’ 전략을 채택해야 한다. 즉 에이전트가 어떻게 판단을 하고 이에 따라 어떤 행동을 하는지 파악할 수 있어야 조직에서 에이전틱 애플리케이션 운영 비용을 최적화할 수 있다. 그만큼 관측은 에이전트 네이티브 클라우드 인프라에서 새로운 차원의 핵심 기능이다.

4.6 연결성

IDC 조사에 따르면 분산 AI 워크로드를 지원하기 위해 네트워크 엣지의 대역폭 수요가 51% 증가할 것으로 전망된다. 대부분의 조직이 하이브리드 또는 멀티클라우드 모델로 운영하고 있어, 클라우드간 서로 교차되는 복잡한 네트워크 연결을 가정하게 된다. 이 때 지연 문제는 에이전틱 애플리케이션 성능에 직접적인 영향을 준다. 일반적으로 에이전트는 인지(Perceive), 계획(Plan), 행동(Act), 반영(Reflect) 루프로 동작한다. 이 루프의 각 단계에서 발생하는 지연이 누적되어 에이전트의 추론 및 응답 능력을 저하시킨다. 지연의 대부분은 추론 과정에서 발생하며, 인프라는 이 주된 지연 원인을 해소하기 위한 인텔리전트 라우팅을 제공해야 한다.

오픈소스 커뮤니티에서는 쿠버네티스 게이트웨이 API 추론 확장과 llm-d 프로젝트를 통해 모델 서빙 성능 최적화를 추구하고 있다. 이전에 처리된 프롬프트를 이해하여 프롬프트 프리픽스가 이미 캐시된 가속기로 트래픽을 유도하거나, 추론의 프리필-디코드 단계와 가속기별 메트릭을 파악하여 그에 맞게 라우팅할 수 있도록 인프라가 진화하고 있다.

5. 나가며

국내에서도 국가 AI 데이터센터 구축과 GPU 확보가 활발히 진행 중이다. 그러나 물리적 인프라 확보만으로는 충분하지 않다. 확보된 컴퓨팅 자원 위에서 에이전틱 워크로드가 안전하고 효율적으로 실행되려면, 에이전트 네이티브 거버넌스 계층이 반드시 갖추어져야 한다.

특히, 앞서 언급한 에이전트 네이티브 인프라 핵심기술을 확보하기 위한 오픈 소스 기반 표준 생태계에 적극적으로 참여해야 한다. 클라우드 환경에서의 데이터 주권 문제도 에이전트 아이덴티티 기반의 접근 제어와 결합될 때 보다 완전한 해법을 찾을 수 있다. 국내 AI 반도체 기업이 글로벌 시장을 겨냥하고 있는 상황에서, 이들 표준과의 호환성은 하드웨어 경쟁력만큼이나 중요하다. 표준 수립 과정에 국내 기업과 기관이 적극 참여하는 것은 향후 국내 AI 인프라의 글로벌 호환성과 경쟁력을 좌우할 수 있다.

또한, 에이전트 옵스에 대한 본격적인 검토가 필요하다. 에이전틱 AI의 비결정론적 특성은 예측 불가능한 비용구조를 야기한다. 오픈텔레메트리 기반의 토큰 메트릭, 비용 귀속, 추론 트레이스를 인프라 수준에서 제공하는 것은 국가 AI 컴퓨팅 자원의 효율적 운영과도 직결된다.

참고문헌

1) IDC. (2026). 2026 IDC Special Report on AI in Networking. (본 글의 메인 참고문헌인 “Cloud Infrastructure in the Agent-Native Era”를 통해 인용한 것임)

2) 클라우드 기반 애플리케이션 및 인프라를 위한 통합 모니터링 및 분석(관측, Observability) 플랫폼.

3) https://spiffe.io/

4) https://www.envoyproxy.io/

5) https://opentelemetry.io/

6) https://gateway-api-inference-extension.sigs.k8s.io/

7) “llm-d: a Kubernetes-native high-performance distributed LLM inference framework”, https://llm-d.ai/