02 사이버 보안 및 거버넌스를 위한 LLM 도입 전략 체크리스트
│윤대균 아주대학교 교수
1. 들어가며
대규모 언어 모델(LLM)은 인공지능 기술의 급속한 발전을 상징하는 핵심 요소로 부상했다. ChatGPT와 같은 LLM 기반 서비스의 대중화로 기업과 조직은 이 기술을 활용하여 업무 효율성을 높이고 혁신을 추구하고 있다. 그러나 이러한 기회와 함께 새로운 위험과 도전과제도 등장했다. LLM은 기존의 AI 시스템과는 다른 독특한 특성이 있는데, 방대한 양의 데이터로 학습되어 인간과 유사한 수준으로 혹은 더 유창하게 문장을 생성할 수 있지만, 동시에 예측 불가능성과 ‘환각’ 현상 등의 문제도 내포하고 있다. 이에 따라 보안, 개인정보 보호, 윤리적 사용 등에 관한 새로운 고려 사항들이 대두되었다.
소프트웨어 애플리케이션과 웹 보안 취약점을 연구하는 비영리 단체인 OWASP(Open Web Application Security Project)에서는 최근 관심이 급부상하고 있는 LLM의 보안 취약점에 대해서도 심도 있는 연구를 진행하고 있다. 이에 LLM 애플리케이션의 10대 보안 취약점을 선정하여 계속 업데이트하는 중이다. 이에 대해서는 2024년 4월 디지털서비스 이슈리포트에서 소개한 바 있다. OWASP에서는 LLM 애플리케이션을 개발하거나 사용하는 조직의 경영진, 기술진, 사이버 보안 및 법률 담당자 등이 이의 취약점을 제대로 이해하고, 이를 바탕으로 사이버 보안 전략을 수립하는데 도움이 될 수 있도록 체크리스트를 만들어 공개하였다. 여기에는 다음과 같은 내용들이 포함된다.
LLM 관련 보안 위험을 식별하고 평가하는 체계적인 방법 제공
AI 거버넌스 프레임워크 구축을 위한 지침 제시
LLM 구현 및 운영 과정에서 고려해야 할 핵심 보안 사항 안내
관련 법적, 윤리적 문제에 대한 인식 제고
궁극적으로 이 체크리스트는 조직이 LLM 기술을 안전하고 책임감 있게 도입하여 혁신을 추구하면서도 잠재적 위험을 최소화할 수 있도록 돕는 것을 목표로 한다.
2. LLM과 관련된 위협 유형
LLM(AI)과 관련된 다양한 위협을 유형별로 구분해 보면 다음과 같다.
그림 1 AI 위협 유형 (그림 출처: OWASP)
2.1. AI 모델을 사용하지 않았을 때의 위협
AI 모델을 사용하지 않는 것 자체도 하나의 위협으로 구분한 것이 흥미롭다.
경쟁력 저하: AI 기술을 도입하지 않으면 경쟁사에 비해 시장 경쟁력이 떨어질 수 있다. AI를 활용한 데이터 분석 및 자동화가 생산성 향상과 비용 절감에 이바지하는 상황에서, 이를 도입하지 않으면 효율성에서 뒤처질 위험이 크다.
고객 신뢰도 감소: 고객들은 점점 더 개인화되고 즉각적인 서비스를 기대한다. AI 모델을 사용하지 않으면 이러한 기대를 충족시키지 못할 가능성이 있으며, 이는 고객 신뢰도와 만족도를 감소시킬 수 있다.
혁신 정체: AI는 혁신의 주요 동력이 되고 있다. AI를 활용하지 않으면 새로운 아이디어와 솔루션을 개발하는 데 한계가 생기고, 결국 시장에서 뒤처질 위험이 있다.
운영 효율성 감소: AI를 사용하면 많은 운영 프로세스를 자동화하고 최적화할 수 있다. 이를 도입하지 않으면 운영 효율성이 떨어지고, 비용이 증가하며, 이는 궁극적으로 수익성에 부정적인 영향을 미칠 수 있다.
2.2 AI 법적 및 규제 위협
AI 기술 사용과 관련한 법적 및 규제적 위협은 다음과 같다.
규제 불이행: 각국 정부와 규제 기관은 AI 기술 사용과 관련된 법률과 규제를 점점 더 강화하는 추세다. 이는 AI 기술을 공격적으로 도입하는 데 걸림돌로 작용할 수 있다.
프라이버시 침해: AI는 대량의 데이터를 처리하므로, 특히 개인정보 보호와 관련된 규제 위반 가능성이 높다.
지식재산권 침해: AI 모델이 생성하는 콘텐츠나 데이터의 출처에 대한 명확한 정의가 부족한 경우, 저작권이나 상표권 침해와 같은 법적 문제가 발생할 수 있다.
책임 문제: AI 시스템의 의사 결정에 오류가 발생했을 때, 그 책임이 누구에게 있는지에 대한 명확한 기준이 부족할 수 있다. 이는 법적 책임 소재를 명확히 하는 데 어려움을 초래할 수 있다.
2.3 AI 모델을 활용한 위협
AI 모델을 악용하여 발생할 수 있는 위협을 의미한다.
자동화된 공격: AI 기술을 사용하면 공격자들이 자동화된 공격을 더 쉽게 수행할 수 있다. 예를 들어, AI를 활용한 자동화된 피싱 이메일 생성은 대량의 피싱 공격을 단시간에 실행할 수 있게 한다.
신종 악성코드 생성: AI를 사용하면 새로운 유형의 악성코드를 자동으로 생성하고, 이를 탐지하기 어렵게 만들 수 있다.
딥페이크: AI를 사용하여 합성한 이미지나 영상을 이용한 딥페이크는 사람들을 속이기 쉬운 신뢰성 높은 가짜 콘텐츠를 만들 수 있다. 이는 특히, 명예훼손, 사기, 정치적 선전 등 다양한 범죄에 악용될 수 있다.
정교한 해킹 시도: AI는 공격자가 시스템을 해킹하는 데 필요한 복잡한 패턴과 행동을 예측하고 학습하여 정교한 해킹 시도를 가능하게 한다. 이는 기존 보안 시스템의 취약점을 악용하여 시스템에 침투할 가능성을 높인다.
2.4 AI 모델에 대한 위협
AI 모델 자체가 직면하는 위협을 포함한다.
데이터 유출 및 조작: AI 모델은 대규모 데이터를 학습하는데, 이 과정에서 훈련 데이터나 모델 자체가 외부로 유출되거나 악의적으로 조작될 위험이 있다. 이는 모델의 신뢰성과 안전성을 훼손할 수 있다.
적대적 공격: AI 모델에 대한 적대적 공격은 모델이 학습한 데이터를 기반으로 공격자가 특정 결과를 의도적으로 왜곡할 수 있게 한다. 예를 들어, 공격자는 입력 데이터를 조금만 수정해도 모델이 잘못된 출력을 하게 만들 수 있다.
신뢰성 저하: AI 모델은 비결정적인 특성으로 인해 동일한 입력에 대해 일관성 있는 출력이 보장되지 않는다. 이는 모델의 신뢰성을 저하해 비즈니스 의사 결정이나 보안 운영에 혼선을 줄 수 있다.
2.5 AI 모델로부터의 위협
AI 모델 자체에서 발생하는 위협을 포함한다.
모델의 편향성: AI 모델이 학습한 데이터에 포함된 편향된 정보는 모델이 편향된 예측을 하게 만들 수 있다. 이는 공정성을 해치고, 특정 그룹에게 불이익을 줄 수 있다.
모델의 환각: AI 모델은 종종 비현실적이거나 존재하지 않는 정보를 생성하는 '환각' 문제를 일으킬 수 있다. 이러한 환각은 잘못된 의사 결정을 유도할 수 있으며, 특히 이를 중대한 상황에 적용하면 심각한 위험을 초래할 수 있다.
보안 취약점: AI 모델은 복잡한 알고리듬과 대규모 데이터를 사용하기 때문에, 보안 취약점이 발생할 수 있다. 이러한 취약점은 외부 공격자가 모델을 악용하거나 데이터를 훼손할 수 있는 기회를 제공할 수 있다.
이러한 위협들은 AI 기술의 도입과 활용에서 반드시 고려해야 할 중요한 요소들로, 조직은 이를 효과적으로 관리하고 대응하기 위한 포괄적인 보안 전략과 정책을 마련해야 한다.
3. LLM 도입 및 배포 전략
LLM 도입을 위한 주요 단계 및 이의 배포 및 확산을 위한 전략을 살펴본다.
3.1 LLM 도입 및 배포를 위한 단계별 전략
LLM을 배포하기 위한 전략은 여러 단계로 나뉜다.
첫 번째 단계는 회복 탄력성을 우선으로 한 전략(Resilience First Strategy)을 수립하는 것이다. 이는 LLM 배포 시 발생할 수 있는 잠재적인 위협과 리스크를 식별하고, 이를 신속하게 대응할 수 있도록 준비하는 것을 목표로 한다.
위협 모델링을 통한 즉각적인 위협 식별: LLM의 잠재적인 악용 사례를 파악하여, 이를 바탕으로 위협 모델링을 수행한다. 이를 통해 즉각적인 위협 요소를 사전에 식별할 수 있다.
내부 또는 외부 취약 사례 검토: 조직 내외부에서 발생할 수 있는 취약 사례를 검토하여, 해당 사례에 대한 위협 모델을 작성하고 이를 바탕으로 통제가 제대로 되는지 검증한다. 이를 통해 예상치 못한 보안 취약점을 발견하고 적절한 조처를 할 수 있다.
환경 스캔 및 감시: 조직의 환경을 지속해서 스캔하고 감시하여, 비인가 애플리케이션의 발생 여부를 감시한다. 이를 통해 이상 징후를 빠르게 탐지하고, 신속하게 대응할 수 있다.
두 번째 단계는 LLM이나 생성형 AI(GenAI) 사용과 관련된 내용을 반영하여 기존 정책을 업데이트하는 것이다.
계약서, 비밀 유지 계약서(NDA), 보안 정책 검토: 조직의 기존 계약서, NDA, 보안 정책을 검토하여 LLM이나 GenAI의 사용 또는 위협을 반영하도록 업데이트한다. 이를 통해 법적 및 보안 위험을 최소화한다.
세 번째 단계는 보안 인식 교육과 개발자, 법무 담당자, 기타 직원들을 대상으로 한 교육을 업데이트하는 것이다.
네 번째 단계는 경영진, 비즈니스 리더 및 기타 이해관계자와 협력하여 LLM이나 GenAI 솔루션의 전략을 수립하는 것이다.
리더와 협력하여 전략 수립: 경영진과 비즈니스 리더, 기타 이해관계자와 협력하여 LLM이나 GenAI 솔루션의 전략을 수립하고, 이를 통해 조직의 목표를 달성할 방법을 모색한다.
위험 완화 및 대응 전략 구현: 리더들과 협력하여 LLM 배포와 관련된 위험을 식별하고, 이에 대한 대응 전략을 수립하고 실행한다. 이를 통해 예상치 못한 상황에 신속히 대응할 수 있도록 한다.
다섯 번째 단계는 제3자와의 AI 솔루션에 대한 위험 관리 프로그램을 업데이트하는 것이다.
마지막 단계는 조직의 요구와 상황에 맞는 배포 전략을 선택하는 것이다. 이는 퍼블릭 클라우드, 프라이빗 클라우드, 하이브리드 클라우드, 온프레미스 등의 옵션 중에서 선택할 수 있다.
배포 옵션 평가: 조직의 데이터 민감도, 보안 요구 사항, 비용 등을 고려하여 적절한 배포 옵션을 선택한다. 이를 통해 LLM을 효과적으로 운영하고, 비즈니스 목표를 달성할 수 있다.
이 단계별 가이드는 매니저가 LLM 배포 과정에서 주요 고려 사항을 이해하고, 효과적인 전략을 수립하는 데 도움을 줄 것이다. 각 단계는 조직의 특성과 요구에 맞게 유연하게 조정될 수 있다.
3.2 LLM 도입 및 배포 유형
LLM을 도입 및 배포하는 방식은 해당 기업 또는 조직의 요구사항에 따라 다양한 옵션이 가능하다. 도입의 시급성, 조직의 기술 역량, 예산, 데이터, 사이버 보안 요구사항 등 상황을 고려하여 선택하여야 한다. 이들 유형은 다음과 같다.
공개 API 접근:
오픈AI, 앤쓰로픽 등 외부 업체가 제공하는 API를 통해 LLM에 접근하는 방식으로 별도의 모델 구축 없이 신속하게 원하는 목적에 맞게 도입할 수 있다는 것이 장점이다. 사용량 기반 과금 모델에 따른 과도한 비용이 발생할 수 있으며 모델에 대한 제어 권한이 제한적이다. 따라서 데이터 프라이버시 및 보안 문제가 발생할 가능성이 높다.
라이센스를 받은 모델:
벤더로부터 LLM 라이선스를 획득하여 내부 시스템에 직접 배포 및 운영을 하는 것으로 모델에 대한 높은 제어 권한을 바탕으로 데이터 프라이버시 및 보안을 강화할 수 있다. 단, 조직 내 기술적 전문성이 있어야 하며, 직접 운영하는 데에 따르는 높은 비용을 감수해야 한다.
사전 학습 모델:
범용 기초 모델(Foundation Model)을 사용하고, 필요에 따라 추가 학습(fine-tuning)을 통해 커스터마이징이 가능하다. 독자적인 커스텀 모델 대비 구축 시간을 단축할 수 있다.
미세 조정된 모델:
검증된 모델을 기반으로 자체 데이터를 활용하여 추가 학습을 진행하는 것으로 특정 도메인에 특화하여 모델 성능을 향상할 수 있다. 위 사전 학습 모델과 유사하나 커스터마이즈 폭이 좀 더 넓다.
맞춤 모델:
특정 목적에 맞춰 처음부터 모델 아키텍처를 설계하고 구축하는 것으로 최고 수준의 맞춤이 가능하여 조직의 수요에 최적화할 수 있지만, 이를 위해서는 막대한 투자와 시간이 필요하다.
4. 체크리스트
OWASP의 원문서에서는 LLM의 보안과 거버넌스를 위해 고려해야 할 사항을 13가지 타입으로 분류하여 각각에 대해서 세부 항목을 제시하고 있다. 본 리포트에서는 각 타입의 의미를 간략히 설명하는 수준에서 정리하고자 한다.
3.AI 자산관리
AI 자산관리는 내/외부에서 생성된 조직 내의 모든 AI 관련 자산을 체계적으로 관리하는 것을 목표로 한다. 이는 LLM을 포함한 AI 모델, 데이터 소스, 툴, 그리고 이들의 소유자와 상태를 종합적으로 관리하는 프로세스가 필요하다. 이를 통해 조직은 AI 자산 현황을 명확히 파악하고, 필요한 경우 적절한 보호 조치를 취할 수 있다. 제로 트러스트 보안 모델의 출발점이 정확한 자산 파악인 것과 마찬가지로 여기서도 똑같이 적용될 수 있다. SBOM(Software Bill of Material) 표준 및 도구의 활용도 여기에 포함된다.
4.AI 보안 및 프라이버시 교육
AI 보안 및 프라이버시 교육은 조직 내 모든 직원이 LLM과 관련된 보안 위험과 프라이버시 문제를 이해하고, 이에 대한 대응 방법을 숙지하는 것을 목표로 한다. 교육 내용에는 AI 기술의 기본 원리, 보안 인식, 개인정보 보호법 준수, 그리고 LLM의 윤리적 사용에 관한 내용이 포함된다. 이를 통해 조직 내에서 AI 사용에 대한 책임 의식을 높이고, 보안 사고를 예방할 수 있다.
5. 비즈니스 케이스 수립
비즈니스 케이스 수립은 LLM 도입의 타당성을 평가하고, 이를 통해 비즈니스 목표를 달성하기 위한 계획을 세우는 과정이다. 이는 LLM이 제공하는 경제적 가치, 예상 비용, 리스크, 그리고 투자 수익률을 평가하는 것을 포함한다. 이를 통해 조직은 LLM의 도입이 실제로 비즈니스에 어떤 긍정적인 영향을 미칠지 명확히 이해하고, 전략적으로 접근할 수 있다.
6.거버넌스
거버넌스는 LLM 사용과 관련된 모든 활동을 관리하고 감독하는 체계적인 절차를 구축하는 것을 의미한다. 이는 데이터 관리, AI 시스템의 책임 및 권한 분배, 정책 수립, 그리고 법적 및 규제적 요구사항을 준수하는 것을 포함한다. 이를 통해 조직은 LLM 사용의 투명성을 보장하고, 법적 및 윤리적 문제를 예방할 수 있다.
7.법적 고려 사항
법적 고려 사항은 LLM의 사용과 관련된 법적 위험을 식별하고, 이에 대한 대응 방안을 마련하는 것을 목표로 한다. 이는 제품 보증, 이용 약관, 지식재산권 보호, 개인정보 보호 규정 준수, 그리고 책임 소재 명확화 등을 포함한다. 이를 통해 조직은 법적 분쟁을 예방하고, LLM 사용과 관련된 법적 책임을 명확히 할 수 있다. 제대로 이행되지 않으면 회사나 조직의 존립을 위태롭게 할 수 있으므로 가장 면밀하게 검토되어야 할 분야다.
8.규제 준수
규제 준수는 LLM 사용과 관련된 모든 법적 및 규제적 요구사항을 충족하는 것을 의미한다. 이는 국가나 지역별로 다른 AI 관련 법률과 규정을 준수해야 하며, 데이터 보호법, 개인정보 보호법, 그리고 AI 시스템의 투명성 및 윤리적 사용을 보장하는 규제를 포함한다. 이를 통해 조직은 법적 리스크를 최소화하고, 규제 기관의 요구에 맞는 AI 시스템을 운영할 수 있다.
9.LLM 솔루션 사용 및 구현
LLM 솔루션 사용 및 구현은 LLM을 조직의 인프라에 통합하고 운영하는 전 과정을 다룬다. 이는 LLM의 배포, 데이터 보안, 접근 제어, 모델 유지 보수, 그리고 성능 최적화 등을 포함한다. 이를 통해 조직은 LLM을 효과적으로 활용하여 비즈니스 프로세스를 개선하고, 데이터 기반 의사 결정을 강화할 수 있다.
10.테스트, 평가, 검증, 확인 (TEVV)
TEVV는 LLM의 기능성과 보안성을 검증하기 위한 전반적인 테스트 및 평가 과정이다. 이는 모델의 성능 평가, 보안 취약점 테스트, 데이터 무결성 검증, 그리고 결과의 일관성 평가 등을 포함한다. 이를 통해 조직은 LLM이 예상대로 동작하고, 보안 기준을 충족하는지 확인할 수 있다.
11.모델 카드 및 리스크 카드 (Model Cards and Risk Cards)
모델 카드와 리스크 카드는 LLM의 투명성과 신뢰성을 보장하기 위한 도구다. 모델 카드는 LLM의 설계, 데이터, 성능, 편향성, 그리고 사용 제한 사항을 문서로 만든 것이며, 리스크 카드는 모델 사용 시 발생할 수 있는 잠재적 위험 요소와 이를 완화할 수 있는 전략을 기술한 문서다. 이를 통해 LLM 사용자가 모델의 특성과 리스크를 명확히 이해하고, 안전하게 활용할 수 있도록 돕는다.
12.RAG: LLM 최적화
LLM 최적화는 LLM의 성능을 개선하고, 특정 도메인이나 사용 사례에 맞게 모델을 튜닝하는 과정을 의미한다. 이는 모델의 정확도 향상, 응답 시간 단축, 리소스 사용 효율화 등을 포함한다. 이를 통해 조직은 LLM의 활용도를 극대화하고, 비즈니스 요구에 맞는 최적의 성능을 달성할 수 있다. 예를 들면, 검색 증강 생성(RAG)을 활용하여 새로운 정보를 업데이트 함으로써 지속적인 모델 학습을 지원할 수 있다.
13.AI 레드팀 훈련
AI 레드팀 훈련은 LLM의 보안성을 평가하기 위해 공격 시나리오를 시뮬레이션하고, 잠재적인 보안 취약점을 탐지하는 것을 말한다. 이는 실제 공격자가 시스템을 어떻게 공격할 수 있는지에 대한 이해를 높이고, 보안 방어 체계를 강화하는 데 도움이 된다. 이를 통해 조직은 LLM의 보안성을 지속해서 평가하고, 개선할 수 있다.
이 체크리스트는 LLM을 안전하고 효율적으로 운영하기 위한 종합적인 지침을 제공하며, 각 항목은 조직이 LLM 도입 및 운영 과정에서 직면할 수 있는 다양한 도전과제를 효과적으로 관리하는 데 도움이 된다.
5. 마치며
많은 분야에서 LLM 활용은 더 이상 피할 수 없는 선택지가 되어가고 있다. LLM이 가지고 있는 잠재적 문제점 및 보안 취약성에도 불구하고 대부분 조직에서 LLM을 이미 도입해서 쓰거나 혹은 도입을 고려할 수밖에 없는 것이 현실이다. LLM을 본격적으로 비즈니스에 활용하기 위해서는 책임 있는 AI 사용 원칙을 준수하고, LLM의 취약점을 사전에 식별하여 대응하는 것이 필수적이다. 이번 글에서 소개한 OWASP 문서는 사이버 보안 관점에서 LLM 도입 및 배포 전략을 수립할 때 반드시 검토되어야 할 지침을 담고 있다. 물론 모든 이슈를 완벽하게 커버한다고는 할 수 없고 LLM 자체가 매우 빠르게 진화하고 있으므로 앞으로도 계속 업데이트될 것임을 문서에서도 언급하고 있다.
LLM 도입 및 배포 전략은 조직의 목표와 사이버 보안 요구사항에 따라 신중하게 수립되어야 한다. 조직이 보유한 기술 역량 및 자본력에 따라 다양한 옵션을 고려하여야 한다. 앞서 소개한 퍼블릭 API, 라이선스 모델, 맞춤형 훈련, 온프레미스 배포 등 다양한 옵션의 장단점을 고려하여 조직에 맞는 최적의 도입 및 배포 방식을 선택해야 한다. LLM의 보안성을 강화하고 법적 위험을 최소화하기 위해서 문서에서 제시한 체크리스트를 활용할 수 있다.
LLM의 보안과 거버넌스는 단순한 기술적 문제를 넘어 조직의 지속가능성과 신뢰성을 보장하는 중요한 요소이다. LLM을 통해 취할 수 있는 비즈니스 가치 대비 잠재적 위협을 균형 잡힌 시각으로 점검하며 LLM 도입 및 확산 전략을 수립하여야 한다.
참고문헌
1) https://owasp.org/www-project-top-10-for-large-language-model-applications/
2) 윤대균, “OWASP LLM 10대 보안 취약점”, 디지털서비스 이슈리포트 2024년 4월
3) OWASP, “LLM AI Cybersecurity & Governance Checklist”, Feb 19, 2024
