02 ​AWS re:Invent 2023에서 발표한 AI 관련 기술과 서비스

│한상기 테크프론티어 대표

들어가며

클라우드 기업 이벤트 중에 연말에 열리는 아마존 AWS의 리인벤트는 클라우드 기술과 서비스 진화를 들여다보기 위해 가장 중요한 행사이다. 2023년에는 11월 27일부터 12월 1일까지 라스베이거스에서 열렸는데 기조연설, 강연, 이노베이션 토크, AWS 빌더 랩스 등 다양한 프로그램을 제공했다. 디지털 이슈 리포트에서는 매년 이 행사를 요약하는 글을 게재했는데 이번에는 올해 가장 뜨거운 이슈였던 AI와 관련한 제품이나 기술에 초점을 맞춰 정리하고자 한다. 

아마존 Q

아마존도 생성형 AI 기반의 어시스턴트 시장에 대해 모른 척할 수가 없는 상황이다. 특히 기업 시장에서 마이크로소프트가 애저 오픈AI 서비스를 통해서 새로운 시장 경쟁력을 보이는 것을 그대로 볼 수가 없었을 것이다. 이번에 발표한 Q는 ChatGPT와 유사하게 ‘회사의 정보 저장소, 코드 및 엔터프라이즈 시스템에 있는 데이터와 전문 지식을 사용하여 긴급한 질문에 대한 관련성 높은 답변을 빠르게 얻고, 문제를 해결하고, 콘텐츠를 생성하고, 조치를 취할 수 있도록 도와주는’ 서비스라고 주장했다.

그림 1 아마존 Q의 화면 사례 [출처: AWS]

아마존 Q와 채팅을 통해 즉각적이고 관련성 높은 정보와 조언을 제공하여 작업을 간소화하고, 의사 결정 속도를 높이며, 직장에서 창의성과 혁신을 촉진하는 데 도움을 주겠다는 것이다. 특히 40개 이상의 인기 있는 엔터프라이즈 애플리케이션 및 문서 저장소와 연결하는 기본 커넥터를 제공한다. 여기에는 아마존 S3, 세일즈포스, 구글 드라이브, 마이크로소프트 365, 서비스나우, 지메일, 슬랙, 아틀라시안, 젠데스크 등을 포함한다.

그러나 Q의 가장 큰 강점은 AWS에 통합되어 AWS와 관련한 많은 질문이나 문제 해결 방법, 그리고 프로그래밍 도움을 준다는 점으로 보인다. 또한 다른 생성형 AI와 마찬가지로 Q를 이용하면 콘텐츠 제작, 검색 간소화, 요약 생성, 주요 인사이트 추출이 가능하다고 얘기한다. 예를 들어 “1분기와 2분기의 최신 고객 만족도 보고서 두 개를 분석하고 두 보고서 간의 주요 차이점을 파악해 주세요.” 같은 질문이다. 

그림 2 세이지메이커에 관한 질문에 대답하는 Q [출처: AWS]

Q라는 이름에 대해서 아담 셀립스키는 챗봇의 대화형 특성을 고려해 'Q'라는 이름을 '질문'이라는 단어에서 따왔다고 설명했다. 또한 은밀하고 유용한 도구를 만드는 제임스 본드 소설의 캐릭터 Q와 강력한 '스타트렉' 인물의 이름에서 따온 것이라고 덧붙였다.

응용 영역별로 보면 기업에는 40개 이상의 내장 커넥터를 통해 회사 데이터, 정보 및 시스템에 연결하여 비즈니스에 맞게 맞춤화할 수 있다. 마케터, 프로젝트 및 프로그램 관리자, 영업 담당자 등 비즈니스 사용자는 맞춤형 대화를 나누고, 문제를 해결하고, 콘텐츠를 생성하고, 조치를 취하는 등의 작업을 수행할 수 있다.

Q를 AWS 자체에 활용하면 AWS Well-Architected Framework의 패턴, 모범 사례, 문서화, 솔루션 구현에 대한 전문가로서, 새로운 서비스와 기능을 탐색하고, 익숙하지 않은 기술을 학습하고, 솔루션을 더 쉽고 빠르게 설계할 수 있도록 도와준다. Q는 AWS 관리 콘솔, 인기 IDE 등 AWS를 사용하는 모든 곳에서 사용할 수 있으며, 기존 워크플로우에 쉽게 통합되어 혁신을 가속하는 데 도움이 된다.

아마존 퀵사이트(QuickSight)는 대화형 대시보드, 페이지 매김 보고서, 임베디드 분석, 자연어 쿼리 기능을 제공하는 클라우드용으로 구축된 통합 비즈니스 인텔리전스(BI) 서비스이다. 퀵사이트에서 Q는 매력적인 시각 자료를 신속하게 구축하고, 인사이트를 요약하고, 데이터 질문에 답하고, 자연어를 사용하여 데이터 스토리를 구축하는 제너레이티브 BI 기능을 사용하여 비즈니스 분석가와 비즈니스 사용자의 생산성을 높인다.

컨택 센터 서비스인 아마존 코넥트(Connect)에서는 고객 서비스 상담원이 더 나은 고객 서비스를 제공할 수 있도록 도와준다. Q는 관련 회사 콘텐츠와 함께 고객과의 실시간 대화를 사용하여 상담원이 고객을 더 잘 지원하기 위해 해야 할 말이나 조치를 자동으로 추천한다.

곧 공개할 서플라이 체인에서는 재고 관리자, 공급 및 수요 계획자 등은 공급망에서 어떤 일이 일어나고 있는지, 왜 그런 일이 일어나고 있는지, 어떤 조치를 취해야 하는지에 대한 지능적인 질문을 하고 답변을 얻을 수 있다. 또한 다양한 공급망 선택의 장단점을 이해하기 위해 가정 시나리오를 탐색할 수 있다.

엔비디아와 생성형 AI에서 파트너십 확장

AWS는 원래 2024년에 출시될 예정이었던 엔비디아의 GH200(그레이스 호퍼) 칩을 배포하는 최초의 클라우드 제공업체가 될 것이며 엔비디아는 GH200이 인기 있는 H100 칩보다 메모리가 3배 더 많다고 밝혔다. AWS 리인벤트 컨퍼런스에서 AWS CEO 아담 셀립스키의 기조연설에 깜짝 게스트로 참석한 엔비디아 CEO 젠슨 황은 엔비디아의 AI '팩토리' DGX 클라우드를 AWS에 제공할 것이라고 발표했다.

양사는 차세대 GPU, CPU, AI 소프트웨어가 탑재된 엔비디아의 최신 멀티노드 시스템부터 AWS 니트로 시스템의 고급 가상화 및 보안, 탄력적 패브릭 어댑터(EFA) 상호 연결, 울트라클러스터 확장성 등 기초 모델을 학습하고 생성형 AI 애플리케이션을 구축하는 데 이상적인 엔비디아와 AWS의 최고 기술을 결합할 계획이다. 

발표 내용을 보면 다음과 같다.

• AWS는 새로운 멀티노드 NV 링크 기술이 적용된 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 클라우드에 도입하는 최초의 클라우드 제공업체가 될 것이다. 엔비디아 GH200 NVL32 멀티노드 플랫폼은 32개의 그레이스 호퍼 슈퍼칩과 엔비디아 NV링크 및 NV스위치 기술을 하나의 인스턴스로 연결한다. 이 플랫폼은 아마존의 강력한 네트워킹(EFA)과 연결된 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스에서 사용할 수 있으며, 고급 가상화(AWS 니트로 시스템) 및 하이퍼스케일 클러스터링(Amazon EC2 울트라클러스터)을 지원하여 공동 고객이 수천 개의 GH200 슈퍼칩으로 확장할 수 있도록 지원한다.

• 엔비디아와 AWS가 협력하여 AWS에서 엔비디아의 서비스형 AI 학습을 위한 엔비디아 DGX 클라우드를 호스팅한다. GH200 NVL32를 탑재한 최초의 DGX 클라우드는 개발자에게 단일 인스턴스 최대 규모의 공유 메모리를 제공할 것이다. AWS의 DGX 클라우드는 1조 개 이상의 파라미터에 달하는 최첨단 생성 AI 및 대규모 언어 모델의 학습을 가속한다.

• 엔비디아와 AWS는 프로젝트 세이버(Ceiba)에서 협력하여 세계에서 가장 빠른 GPU 기반 AI 슈퍼컴퓨터인 GH200 NVL32 및 아마존 EFA 인터커넥트를 갖춘 대규모 시스템을 설계하고 있으며, AWS가 엔비디아의 자체 연구 개발팀을 위해 호스팅하고 있다. 16,384개의 엔비디아 GH200 슈퍼칩을 탑재하고 65 엑사플롭의 AI를 처리할 수 있는 이 동종 최초의 슈퍼컴퓨터는 엔비디아가 차세대 AI 혁신의 물결을 주도하는 데 사용될 것이다.

• AWS는 EC2 인스턴스 3종을 추가로 출시할 예정이다: 대규모의 최첨단 생성형 AI 및 HPC 워크로드를 위한 엔비디아 H200 텐서 코어 GPU 기반의 P5e 인스턴스, AI 미세 조정, 추론, 그래픽 및 비디오 워크로드와 같은 광범위한 애플리케이션을 위한 엔비디아 L4 GPU 및 엔비디아 L40S GPU 기반의 G6 및 G6e 인스턴스이다. G6e 인스턴스는 특히 생성형 AI 지원 3D 애플리케이션을 연결하고 구축하기 위한 플랫폼인 엔비디아 옴니버스를 사용하여 3D 워크플로우, 디지털 트윈 및 기타 애플리케이션을 개발하는 데 적합하다.

생성형 AI를 적용한 전사(Transcribe) 기능

아마존은 전사 기능 제품에 새로운 언어를 추가해 100개 언어에 대한 통화 전사 내용을 생성할 수 있다. 블로그에서 밝혔듯이 100개 이상 언어에서 수백만 시간 분량의 레이블 없는 오디오 데이터를 학습했으며 자체 알고리듬을 사용해 다양한 언어와 억양으로 사람의 음성 패턴을 학습했다. 

이번 발표에서는 여러 언어에서 이전 버전에 비해 정확도가 20~50% 향상되었고, 자동 구두점, 사용자 지정 어휘, 자동 언어 식별 및 사용자 지정 어휘 필터를 제공한다. 또한 오디오 및 비디오 형식과 시끄러운 환경에서도 음성을 인식할 수 있다. 

AI를 적용한 레드시프트 (RedShift)

레드시프트는 SQL을 사용하여 여러 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에서 정형 데이터 및 비정형 데이터를 분석하고 AWS가 설계한 하드웨어 및 기계 학습을 사용해 어떤 규모에서든 최고의 가격 대비 성능을 지원하고자 하는 서비스이다.

이번 행사에서는 AI를 적용해 효율성 최적화와 생산성을 높일 수 있다는 기능을 제시했다. 레드시프트 서버리스는 더 스마트해져서 쿼리의 복잡성, 빈도, 데이터 세트 크기 등의 차원에 따라 능동적으로 용량을 자동 확장하여 맞춤형 성능 최적화를 제공한다. 이를 통해 데이터 웨어하우스 인스턴스를 튜닝하는 시간을 줄이고 데이터에서 가치를 창출하는 데 더 많은 시간을 할애할 수 있다.

두 번째는 레드시프트 쿼리 에디터의 아마존 Q 생성형 SQL로 자연어 프롬프트에서 SQL 권장 사항을 생성하도록 했다. 이를 통해 데이터에서 인사이트 추출 시 생산성을 높일 수 있다고 말한다. 사용자 의도, 쿼리 패턴 및 스키마 메타데이터를 분석해 레드시프트 내에서 일반적인 SQL 쿼리 패턴을 직접 식별해서 사용자가 쿼리 작성 프로세스를 더욱 빠르게 진행할 수 있으며, 조치할 수 있는 데이터 인사이트를 파악하는 데 걸리는 시간을 단축할 수 있다. 사용자는 아마존 Q 생성형 SQL에서 제공하는 대화식 인터페이스를 통해 현재 데이터 관련 권한 범위 내에서 자연어로 쿼리를 제출할 수 있다. 

그림 3 판매 데이터 분석을 위한 레드시프트에 AI 활용 [출처: AWS]

AWS 클린 룸스 ML

AWS 클린 룸스의 새로운 기능으로 고객과 고객의 파트너가 서로 원시 데이터를 복사하거나 공유하지 않고도 수집 데이터에 머신 러닝(ML) 모델을 적용할 수 있도록 도와준다. 이 새로운 기능을 사용하면 민감한 데이터를 계속 보호하면서 ML 모델을 사용하여 예측 인사이트를 생성할 수 있다.

룩얼라이크를 사용하면 자체 맞춤형 모델을 학습시킬 수 있으며, 파트너를 초대하여 소량의 레코드 샘플을 가져와 협업하고 모든 사람의 기본 데이터를 보호하면서 유사한 레코드의 확장된 세트를 생성할 수 있다. 몇 달 안에 AWS 클린 룸스 ML은 의료 서비스 모델을 출시할 예정이다. 이는 내년에 AWS 클린 룸스 ML이 지원할 여러 모델 중 첫 번째 모델이 될 것이다.

클린 룸스 ML을 사용하면 인사이트를 생성할 다양한 기회를 얻을 수 있다. 예를 들어

• 항공사는 충성도 높은 고객에 대한 신호를 파악하고, 온라인 예약 서비스와 협업하며, 유사한 특성을 가진 사용자에게 프로모션을 제공할 수 있다.

• 자동차 대출 기관과 자동차 보험사는 기존 리스 소유자와 특성을 공유하는 잠재적 자동차 보험 고객을 식별할 수 있다.

• 브랜드와 퍼블리셔는 시장 내 고객의 유사 세그먼트를 모델링하고 관련성이 높은 광고 경험을 제공할 수 있다.

• 연구 기관과 병원 네트워크는 기존 임상시험 참가자와 유사한 후보자를 찾아 임상시험을 가속할 수 있다(곧 출시 예정).

아래 그림은 AWS 클린 룸스 ML을 사용하는 워크플로우를 나타낸다.

그림 4 클린 룸스 ML 워크플로우 [출처: AWS]

클린 룸스 ML을 사용하면 복잡하고 시간이 많이 소요되는 ML 모델을 직접 구축할 필요가 없다. 클린 룸스 ML은 맞춤형 프라이빗 ML 모델을 학습하므로 데이터를 보호하면서 수개월의 시간을 절약할 수 있다. 또한 ML 모델을 빌드하기 위해 데이터를 공유할 필요가 없어서 데이터셋과 고객 정보를 보호할 수 있다. 

학습 데이터셋 정의 후 유사(lookalike) 모델을 만드는데 파트너의 데이터셋에서 유사한 프로필을 찾는 데 사용하는 ML 모델이다. ML 모델 조정은 유사 모델 생성 후 클린 룸스 협업에서 사용하도록 구성하는데 사용자와 파트너가 적용하는 ML 모델 결과를 조정해 예측 인사이트를 얻을 수 있는 유연한 제어 기능을 제공한다. 이때 유사 세그먼트 만들기를 선택하고 협업에 연결된 유사 모델을 통해 인사이트 생성을 시작할 수 있다. 

데이터존(DataZone) 신규 생성형 AI 기능

데이터 검색 자동화를 위한 데이터존용 생성형 AI 기술 도입이 이루어진 자동화 기능 평가판을 발표했다. 이 기능을 통해 조직 데이터에 문맥을 제공하기 위해 필요한 시간을 절약하고, 데이터 카탈로그 작성 프로세스를 자동화한다. 이는 아마존 베드락의 LLM 모델을 기반으로 하며 데이터 자산 및 해당 스키마에 대한 자세한 설명을 생성하고 분석적 사용 사례를 제안한다. 

아래 그림처럼 비즈니스 메타데이터 탭에서 요약 생성을 선택하면 테이블 및 메타데이터를 설명하는 콘텐츠가 생성된다. 이 권장 사항을 수락, 편집 및 거부할 수도 있으며, 스키마 탭을 선택하면 새로운 설명 권장 사항 및 이름도 볼 수 있다. 생성된 메타데이터를 검토하고 권장 사항을 수락, 편집 또는 거부할 수 있는 기능도 있다.

그림 5 요약 생성 사례 [출처: AWS]

이 새로운 기능은 데이터 검색 가능성을 개선하고 데이터 소비자와 생산자 간의 주고받는 커뮤니케이션을 줄인다. 향후 광범위한 데이터 인사이트를 기반으로 더 풍부한 검색 경험을 갖게 되리라는 것이 아마존의 주장이다.

퀵사이트에서 아마존 Q – 생성형 BI 기능을 이용한 쉬운 데이터 통찰력 제고

비즈니스 사용자는 이제 데이터를 검토하고 공유가 가능한 설득력 있는 스토리를 생성하고, 몇 초 만에 데이터에서 얻은 주요 인사이트를 보여주는 대시보드 핵심 요약을 확인하며, 대시보드 및 보고서에 데이터 관련 질문에 대해 새롭게 설계된 Q&A 경험을 통해 자신 있게 답변할 수 있다.

요약하면 다음과 같다.

• 스토리 — 인사이트 제시 및 공유할 수 있는 새롭고 시각적으로 매력적인 방법이다. 자연어 프롬프트를 사용하여 몇 분 만에 스토리를 자동 생성하고, 포인트 앤 클릭 옵션을 사용하여 사용자를 지정하며, 다른 사람들과 안전하게 공유할 수 있다.

• 핵심 요약 — 아마존 Q는 이 새로운 기능을 통해 대시보드의 주요 내용을 이해하는 데 도움이 된다.

• 데이터 Q&A — 이 기능은 새롭고 사용하기 쉬운 자연어 Q&A 환경을 제공하여 기존 대시보드 및 보고서에서 제공되는 내용 이상으로 질문에 대한 답변을 얻을 수 있도록 지원한다.​

예를 들어 “전반적인 영업 실적 동향에 대한 스토리를 작성해 주세요. 제품 및 리전별로 데이터를 분류하세요. 판매 개선을 위한 몇 가지 전략을 제안해 주세요.” 또는 “리전별 판매 동향을 활용하여 수익을 증대시킬 기회를 찾아내는 마케팅 전략을 작성하세요.”와 같은 질문에 Q는 매출 증대 전략을 포함하여 구체적인 데이터 인사이트를 탐구하는 스토리를 구축할 수 있다.

이러한 구축을 마치면 비즈니스 사용자는 AI 기반 재작성 기능으로 강화된 포인트 앤 클릭 도구를 사용해 메시지를 다듬고, 아이디어를 추가하며, 중요한 세부 정보를 강조할 수 있는 텍스트 편집기로 스토리를 사용자가 정의할 수 있다. 스토리는 이메일을 통해 다른 퀵사이트 사용자와 쉽고 안전하게 공유할 수도 있다. 

Q 구축 메뉴를 사용하면 클릭 한 번으로 핵심 내용을 요약할 수 있다. 퀵사이트는 흥미로운 사실과 통계를 자동으로 파악한 다음 LLM을 사용해 흥미로운 추세에 대한 내용을 작성할 수 있다. 

개선된 세이지메이커와 세이지메이커 스튜디오

새로운 세이지메이커 스튜디오 웹 기반 인터페이스는 더 빠르게 로드되며, 선택한 IDE와 관계없이 선호하는 통합 개발 환경(IDE)과 세이지메이커 리소스 및 도구에 대한 일관된 액세스를 제공한다. 이제 세이지메이커 스튜디오에는 주피터 랩(JupyterLab)과 RStudio 외에도 Code-OSS (비주얼 스튜디오 코드 오픈 소스) 기반의 완전 관리형 코드 편집기가 포함된다.

이번에 발표한 개선된 세이지메이커 스튜디오 웹 기반 인터페이스는 선호하는 IDE를 시작하고 세이지메이커 도구에 액세스하여 모델을 빌드, 교육, 조정 및 배포하기 위한 명령 센터 역할을 한다. 이제 세이지메이커 스튜디오에서 세이지메이커 교육 작업 및 엔드포인트를 보고 세이지메이커 점프스타트를 통해 파운데이션 모델(FM)에 액세스할 수 있다. 또한 더 이상 스튜디오를 수동으로 업그레이드할 필요가 없다.

Code-OSS 기반의 새로운 코드 편집기는 브라우저에서 바로 코드 에디터를 실행하고 비주얼 스튜디오 코드용 AWS 툴킷에 접근할 수 있다. 또한 아마존 코드위스퍼러 및 코드구루에서 제공하는 AI 기반 코딩 컴패니언 및 보안 검사 도구를 사용할 수 있다. 

그림 6 세이지메이커 스튜디오의 웹 기반 인터페이스

세이지메이커 캔버스는 데이터 탐색, 분석, 시각화 및 변환을 위한 포괄적인 데이터 준비 기능을 보완하기 위해 파운데이션 모델(FM) 기반 자연어 지침 사용을 지원하며, 새로운 추론 기능을 사용하면 동일한 세이지메이커 엔드포인트에 하나 이상의 FM을 배포하고 각 FM에 예약되는 가속기 수와 메모리양을 제어할 수 있다. 

세이지메이커 클러리파이(Clarify)에 파운데이션 모델 평가 기능을 출시했으며, 이를 사용해 정확성, 견고성, 창의성, 사실적 지식, 편향 및 독성과 같은 지표를 기반으로 몇 분 만에 FM을 평가, 비교 및 선택할 수 있다. 

아마존 베드락의 추가 기능들

베드락 플레이그라운드 환경에서 다양한 모델을 실험하고 더 빠르게 반복하기 위한 모델의 자동 평가 기능이 나왔다. 자동 모델 평가 기능을 사용하면 콘텐츠 요약, 질문 및 답변, 텍스트 분류, 텍스트 생성 등의 특정 작업에 대해 자체 데이터를 가져오거나 선별된 내장 데이터 세트 및 사전 정의된 지표를 사용할 수 있다. 이를 통해 모델 평가 벤치마크를 직접 설계 및 실행하는 번거로운 수고를 덜어준다. 평가 작업이 완료되면 모델 평가 보고서에서 결과를 검토할 수 있다.

두 번째는 타이탄 이미지 생성기(프리뷰)와 아마존 타이탄 멀티모달 임베딩스를 발표했다. 또한 타이탄 텍스트 라이트와 타이탄 텍스트 익스프레스가 베드락에서 정식 출시했다. 타이탄 모델은 아마존 자체의 AI와 ML을 위한 모델을 말한다.

그림 7 베드락의 모델 자동 평가 기능 [출처: AWS]

베드락에는 얼마 전에 앤쓰로픽이 발표한 클로드 2.1 모델을 지원한다고 했으며, 가드레일을 제시해 책임 있는 AI 정책에 맞춘 보호 장치를 구현한다고 발표했다. 또한 베드락 에이전트가 정식 출시되었으며 이는 다단계 작업을 조정해 생성형 AI 애플리케이션 개발을 가속하는 데 도움이 된다.

베드락의 자체 데이터를 사용해 비공개로 안전하게 FM을 파인 튜닝하고 지속적인 사전 학습 기능 역시 정식 출시했다. 검색 증강 생성(RAG)을 위한 날리지 베이스를 정식 출시해 완전 관리형 RAG 경험을 제공한다고 선언했으며 고객 서비스 통화 자동 요약, 생성형 AI 앱 구축에 도움이 되는 스텝 기능과 새로운 API들도 공개했다. 

참고문헌

1) New York Times, “Amazon Introduces Q, an A.I. Chatbot for Companies,” Nov 28, 2023

2) Amazon, “AWS and NVIDIA Announce Strategic Collaboration to Offer New Supercomputing Infrastructure, Software, and Services for Generative AI,” Nov 29, 2023

3) The Verge, “AWS’s transcription platform is now powered by generative AI,” Nov 28, 2023

4) https://aws.amazon.com/ko/redshift/