​06 mcp를 이용해서 llm 서비스 만들기 - 예제와 함께

│정채상 메가존 클라우드 기술 자문 엔지니어

들어가며 - llm 이후

최근 몇 년간 대형 언어 모델(llm)은 눈부신 발전을 이루며 ai의 패러다임을 바꿔 놓았다. gpt, 클로드, 제미나이와 같은 llm들은 단순 질의응답을 넘어, 문서 요약, 코드 작성, 창작물 제작 등 복잡한 작업을 능숙하게 처리하고 있으며, 연구실을 넘어 실제 비즈니스와 서비스 현장에서도 핵심적인 역할을 수행한다.

하지만 llm 단독으로는 여전히 한계가 존재한다. 모델 자체는 방대한 학습 데이터를 기반으로 추론하지만, 실시간으로 변화하는 데이터 연동, 최신 정보 반영, 외부 시스템 api 호출과 같은 기능은 직접 수행할 수 없다. 예를 들어 현재 날씨 정보나 특정 기업의 실시간 재무 데이터를 분석하는 작업은 llm 혼자서 처리하기 어려운데, 이러한 간극을 메우기 위해 새로운 기술적 접근이 필요하게 되었다.

이번 글에서는 이에 소개되는 mcp(model context protocol)를 이용해서 어떻게 llm 기반의 채팅 서비스에 추가적인 기능들을 할 수 있는지 예제와 함께 살펴보도록 하겠다.

mcp의 역할과 확장성

그림 1 mcp 이전과 이후의 llm에서의 서비스 연동 

llm의 한계를 극복하기 위해 등장한 것이 바로 mcp이다. 2024년 앤스로픽에서 처음 소개된 mcp는 llm이 외부 시스템, api, 데이터베이스 등과 안전하게 연결되도록 돕는 것을 목표로 시작했는데, 이후 오픈ai, 구글 등 다른 주요 ai 기업들이 이를 채택하면서, mcp는 llm 생태계의 사실상 표준으로 자리 잡고 있다.

mcp는 llm을 독립적인 존재가 아닌, 다양한 기능을 가진 외부 시스템과 연동되는 하나의 핵심 모듈로 만들어 준다. 예를 들어, 날씨 정보를 제공하는 서비스를 구축할 때 llm은 사용자의 질문을 이해하고, mcp는 이를 외부 날씨 api와 안전하게 연결하여 실시간 데이터를 가져온다. 이 과정에서 모델은 데이터 접근에 직접 관여하지 않으며, mcp가 데이터 전달과 결과 통합을 전담한다.

이러한 접근 방식은 다음과 같은 장점이 있다.

• 유연성: 다양한 외부 api나 도구를 llm에 쉽게 연결할 수 있다.

• 효율성: llm이 불필요한 추론을 줄이고, 필요한 정보만 정확하게 요청하도록 한다.

• 안정성: llm의 환각(hallucination) 현상을 줄이고, 신뢰할 수 있는 정보를 기반으로 응답을 생성하도록 돕는다.

이러한 mcp는 기업이 특정 llm에 종속되는 이슈를 완화하면서 서비스의 확장성 및 유연성을 극대화하는 솔루션을 가능하게 한다.

mcp를 활용한 서비스 구현: 날씨 서비스

mcp의 작동 원리를 이해하기 위해 실제 코드들로 날씨 서비스를 구현해 본다. 이 서비스는 llm이 사용자의 요청을 분석하여 실제 날씨 정보를 제공하는 외부 api를 호출하고, 그 결과를 바탕으로 응답을 생성한다.

도구(tool) 정의와 핸들러 구현

파이썬으로 구현하는 예제에서는 mcp 프레임워크를 사용한다. 이를 사용하면, 도구의 메타데이터와 실제 로직을 분리하여 관리할 수 있는데, 여기서 도구 메타데이터는 llm에게 전달되는 정보로, 도구의 이름과 설명, 필요한 매개변수를 정의한다. 자세하게 적을수록 정확한 때 도구가 불리고, llm이 이후에 입력 변수들을 채우는 데 쓰인다.

그림 2 날씨 도구의 메타데이터 정의

실제 외부 api(openweathermap)를 호출하여 데이터를 가져오는 함수를 작성한다. 이 함수는 llm이 직접 호출하는 것이 아니라, 조건이 만족되었을 때 mcp 서버가 호출한다.

그림 3 open weathermap을 호출하는 날씨 도구의 구현 예제

mcpserver에 도구 등록 및 실행

mcpserver는 도구의 메타데이터와 핸들러를 연결하고, 사용자 요청부터 최종 응답까지의 전체 과정을 관리하는 역할을 한다.

그림 4 mcpserver 등록 및 실행 예

각 llm별 통합 예제

mcpserver는 내부적으로 각 llm 공급자의 api에 맞춰 tool 객체와 핸들러를 변환하는 어댑터 패턴을 사용한다. 개발자는 아래와 같은 내부 구현을 신경 쓸 필요 없이, 동일한 register_tool() 인터페이스를 사용하면 된다.

openai llm

openai는 tools 매개변수를 사용해 함수 호출 정보를 받는다. mcpserver는 등록된 도구 메타데이터를 오픈ai의 json 스키마 형식으로 변환하여 요청에 포함한다.

그림 5 오픈ai에서 호출하는 mcpserver 등록 및 실행 예

anthropic api (tool use)

앤스로픽은 'tool use' 기능을 통해 유사한 스키마를 사용한다. mcpserver는 tool 객체를 클로드 api의 tools 매개변수에 맞는 형식으로 변환한다.

그림 6 앤스로픽에서 호출하는 mcpserver 등록 및 실행 예

gemini api (function calling)

제미나이는 'function calling' 기능을 지원한다. mcpserver는 tool 객체를 gemini.generativemodel 의 tools 매개변수에 전달할 수 있는 functiondeclaration 객체로 변환한다.

그림 7 google gemini api에서 호출하는 mcpserver 등록 및 실행 예

주의할 점들

llm과 mcp를 활용하여 서비스를 개발할 때는 몇 가지 중요한 고려 사항이 있다. 이 점들을 간과하면 예측하지 못한 오류나 보안 문제가 발생할 수 있다. 아래의 주의 사항들을 잘 따르면, llm과 mcp를 활용한 서비스의 안정성, 신뢰성, 그리고 사용자 만족도를 크게 높일 수 있다.

• 명확한 설명: llm이 사용자의 의도를 정확히 파악하고 올바른 도구를 선택하도록, 각 도구(함수, api)에 대한 설명(desfalseion)을 명확하고 구체적으로 작성해야 한다. 이 설명은 단순히 기능 요약에 그치지 않고, 도구의 목적, 사용 시기, 필요한 변수(arguments)와 그 형식, 그리고 예상되는 반환 값까지 상세히 포함해야 한다.

• 보안 및 제어: llm이 호출할 수 있는 함수는 신뢰할 수 있는 것으로 제한해야 하며, 접근 제어와 인증을 철저히 해야 한다. 특히, 금융 거래나 개인 정보 접근과 관련된 민감한 함수는 더욱 엄격하게 관리해야 한다. 또한, 외부에 공개된 공용 mcp나 api를 사용할 때는 해당 서비스의 보안 정책과 데이터 처리 방식을 충분히 검토해야 하는 등, llm이 악의적인 프롬프트에 의해 민감한 함수를 호출하거나, 민감한 정보를 외부에 노출하지 않도록 사용자의 입력과 llm의 출력에 대한 검증 로직을 반드시 구현해야 한다.

• 오류 처리: 외부 api 호출은 네트워크 문제, 서버 오류 등으로 인해 실패할 수 있으므로, 이에 대한 오류 처리 로직을 견고하게 구현하는 것이 매우 중요하다. llm에게 단순히 "api 호출 실패"라고 전달하는 것만으로는 부족하다. api 응답 코드(예: 404, 500)에 따라 구체적인 오류 메시지를 생성하고, 이를 llm에게 전달해 사용자에게 더 유용한 피드백을 제공하도록 해야 한다. 예를 들어, "해당 지역의 날씨 정보를 찾을 수 없습니다." 또는 "일시적인 서버 오류가 발생했습니다. 잠시 후 다시 시도해 주세요."와 같은 안내를 llm이 생성하도록 유도하는 것이 좋다.

• 지연 시간(latency): mcp는 외부 api 호출을 통해 응답을 생성하므로, 단순 텍스트 생성보다 응답 시간이 길어질 수 있다. 여러 개의 api를 순차적으로 호출하거나, 복잡한 연산을 수행할 경우 지연 시간이 더욱 늘어난다. 따라서 사용자 경험(ux)을 고려하여 적절한 로딩 메시지를 표시하거나, 비동기 처리를 통해 지연 시간을 최소화하는 설계가 필요하다.

• 비용 관리: 외부 api 사용에는 비용이 발생하는 경우가 많다. llm이 불필요하게 많은 api를 호출하거나, 반복적인 요청을 보내지 않도록 효율적인 도구 선택과 사용 로직을 설계해야 한다. api 호출 횟수나 비용을 모니터링하고, 특정 임곗값을 초과할 때 경고를 보내거나 호출을 제한하는 시스템을 구축하는 것도 중요하다.

맺으며 - 이후 전망

mcp는 llm을 단순한 텍스트 생성기를 넘어, 현실 세계와 상호작용하는 강력한 자동화 에이전트로 진화시키는 핵심 기술이다. 이 기술은 llm의 언어 이해 능력에 실시간 데이터 연동, 외부 시스템 제어 같은 실제적인 '행동'을 부여한다. 예를 들어, 사용자의 요청을 받아 회사의 재무 데이터를 분석하고, 특정 조건에 따라 보고서를 자동으로 생성하거나, 복잡한 비즈니스 프로세스를 단계적으로 처리하는 것이 가능해진다.

이러한 변화는 비즈니스 자동화, 고객 서비스, 데이터 분석 등 다양한 분야에서 llm의 능력을 극대화하며, 인간과 기계의 상호작용을 훨씬 더 자연스럽고 효율적으로 만든다. 특히, 이전에 사용되던 rag(retrieval-augmented generation, 검색 증강 생성) 방식이 mcp에 통합되고 있다는 점은 주목할 만하다. rag는 외부 지식을 검색해 llm의 답변 정확도를 높이는 기술로, 초기에는 별도의 프레임워크로 구현되었지만, 이제는 mcp의 핵심적인 기능 중 하나로 자연스럽게 흡수되고 있다. mcp는 단순히 api를 호출하는 것을 넘어, rag처럼 방대한 데이터베이스에서 필요한 정보를 찾아 llm에 제공하는 기능까지 포괄하며, llm이 더 넓은 맥락에서 정확한 정보를 활용하도록 돕는다.

결국 mcp는 llm 기반 애플리케이션의 가능성을 무한히 확장하며, 우리가 직면하게 될 다음 세대 소프트웨어의 근간이 될 것이다. 이 기술 트렌드를 이해하고 활용하는 것이 미래의 경쟁력을 확보하는 중요한 열쇠가 될 것이다.

참고문헌

1) https://www.descope.com/learn/post/mcp