유능한 인재 못지않은 AI에이전트, 일본에서 활용 확대

생성형 AI를 사용한 AI에이전트가 최근 일본기업 내 확대되는 추세
업무 자동화 측면에서 효율성을 높여 앞으로도 성장 기대


생성형 AI를 활용한 AI 에이전트가 주목받고 있다. AI 에이전트는 사용자가 자연어로 입력한 지시를 대규모 언어 모델(LLM)이 해석하고, 적절한 수단을 선택해 자율적으로 작업을 수행하는 시스템이다.

일본에서는 독자적인 AI 에이전트 개발에 적극 나선 선진 기업들이 다양한 분야에서 혁신을 이끌고 있다. 이들은 고객 서비스, 업무 자동화, 데이터 분석 등 실질적인 활용 사례를 통해 기술력을 강화하며 경쟁력을 확보하고 있다. 이 글에서는 일본 기업들의 AI 에이전트 개발과 적용 사례를 살펴본다.

<AI에이전트>
환경과 상호작용하고, 데이터를 수집하고, 그 데이터를 사용해 미리 정해진 목표 달성을 위한 작업을 스스로 결정해 수행하는 소프트웨어 프로그램. 목표는 사람이 설정하지만, 그 목표를 달성하기 위해 수행해야 할 최적의 행동은 AI 에이전트가 스스로 선택한다. 흔히 AI 비서라고 표현한다.


영업 제안 자료를 자동 작성

KDDI 애자일개발센터(KAG)는 영업사원을 지원하기 위한 AI 에이전트 기능을 갖춘 시스템 ‘회의록파쿤’을 개발 중이다. 이 시스템은 2024년 9월 실증 테스트를 완료했는데, AI 기술을 활용해 상담 녹음 데이터에서 회의록을 자동 생성하는 기능과, 생성된 회의록 및 웹 검색에서 수집한 데이터, 사내 상품 데이터를 참조해 영업 제안 자료 초안을 자동 작성하는 기능을 제공한다.

AI 에이전트 기능은 특히 제안 자료 초안 생성에 활용된다. 사용자가 특정 회의록을 선택하면 시스템은 제안 자료 생성을 위한 맞춤형 프롬프트를 제시한다. 이후 프롬프트를 전송하고 몇 초 안에 고객사의 과제를 추출, 분석해 회의록 및 검색 결과에서 도출된 정보를 바탕으로 과제 해결에 적합한 자사 상품을 제안한다. 이를 통해 영업사원이 고객 맞춤형 제안 자료를 보다 신속하고 효과적으로 준비할 수 있도록 지원한다.

기능 구현을 위해 오픈소스 프레임워크인 ‘LangChain’을 사용해 ‘ReAct(Reasoning and Acting)’의 구조를 도입했다. ReAct는 사용자의 지시를 달성하기 위해 필요한 행동과 그에 대한 이유를 LLM이 스스로 사고하도록 설계된 방식이다. LLM은 스스로 세운 행동계획에 따라 프로세스를 처리한다.

예를 들어, LLM이 "고객의 기업 정보를 검색한다"는 행동 계획을 세운 경우, 이를 수행하기 위해 "미리 설정된 툴 중 웹 검색 툴을 선택해 사용해야 한다"는 판단을 내린다. 이후 웹 검색 툴을 실행하고, 필요한 작업을 반복해 행동 계획을 완성한다. 이런 구조는 사용자 지시를 더 체계적으로 이행할 수 있는 기반을 제공한다.

회의록파쿤에 적용된 LLM으로는 미국 Anthropic의 ‘Claude 3 Opus’가 채택됐다. Claude 3는 답변 성능에 따라 세 단계의 모델이 있으며, Opus는 최상위 모델로 가장 높은 성능을 제공한다. LLM의 성능이 낮을 경우 행동 계획이 부실하거나 불충분할 가능성이 있기 때문에, AI 에이전트의 성능은 LLM의 품질에 크게 의존한다.

신청 문의를 일원화

TIS는 사내 신청 업무를 효율화하기 위해 AI 에이전트 개발에 힘쓰고 있다. 이 시스템은 사내 신청 문의 담당자를 AI 에이전트로 일원화하고, 요청에 따라 적절한 사내 시스템에서 데이터를 가져와 작업을 자동으로 수행하는 방식으로 설계되고 있다. 예를 들어, 직원이 "다음에 받아야 할 교육을 선택해 예약해 주세요"라고 입력하면, AI 에이전트는 이를 해석해 직원의 기술 습득 정보를 검색한 뒤, 교육 예약 시스템에 접속해 필요한 교육을 자동으로 예약하는 과정을 수행하게 된다. TIS는 이러한 AI 에이전트를 사내 시스템과 연결할 때 보안 설계의 중요성을 강조한다. 특히, 직급별 권한을 엄격히 설정해 AI 에이전트가 열람 권한이 없는 데이터를 처리하거나 잘못된 정보를 제공하는 일이 없도록 해야 한다는 점을 강조하고 있다.

한편, 세종테크놀로지(Saison Technology)는 사내 데이터 분석을 간소화하기 위해 AI 에이전트 ‘ChatDDP’를 개발했다. 이 회사는 기존의 데이터 분석 시스템으로 ‘데이터 드리븐 플랫폼’을 이용해 왔다. 이 플랫폼은 구매와 근태 등 사내 데이터를 축적하고 분석해 직원들의 데이터 활용을 촉진하기 위한 목적으로 도입됐다. 그러나 기존에는 SQL(Structured Query Language, 데이터 분석 명령어 중 하나) 작성이나 BI 대시보드 구축과 같은 기술적 장벽이 존재해 일부 직원에게만 활용이 제한됐다. 이에 활용도를 높이기 위해 LangChain을 이용한 AI 에이전트를 구현했다. 개발한 AI 에이전트는 사용자가 자연어로 질의하면 LLM이 SQL을 생성해 실행하고, 데이터베이스의 데이터에서 그래프를 자동으로 생성한다. 예를 들어 "부서별 유급휴가 평균 취득 일수를 알려줘"라는 질문을 하면 AI 에이전트가 사내 데이터를 가져와 그래프를 생성한다. LLM에는 미국 OpenAI의 ‘GPT-4o’를 활용했다.

SaaS 기업들은 AI 에이전트 서비스를 제공

대형 SaaS* 업체들은 다양한 AI 에이전트를 고객사가 활용할 수 있도록 제공하고 있다. 세일즈포스 재팬은 올해 10월 자율형 AI 에이전트인 '에이전트포스(Agentforce)'의 일본 서비스를 시작했다. 에이전트포스는 그동안 사용 기업의 직원이 직접 수행해야 했던 업무 중 일부를 지원한다. 예를 들어, 영업에서 잠재 고객 목록을 선별하고 상담 일정을 설정하는 등의 작업을 자동으로 처리할 수 있다. 사용자는 자연어 또는 로우코드를 통해 AI 에이전트의 작업 범위를 미리 설정한다. 만약 설정된 범위를 벗어난 업무가 발생하면, AI 에이전트는 해당 업무를 직원에게 인계한다.
* 주: SaaS (Software as a Service, 서비스형 소프트웨어): 소프트웨어를 기기에 설치하지 않고 온라인으로 액세스해 사용 가능한 형태로 서비스 제공

<주요 대형 SaaS 업체의 AI 에이전트 관련 대응>

기업명	개요
Oracle	ERP 및 HR 등의 업무용 SaaS “Oracle Cloud Applications”에서 50개 이상의 AI 에이전트 제공. 인사, 회계 외에도 공급망 관리 및 고객 관리 등의 업무용 AI 에이전트 마련
Salesforce	“Agentforce”라는 이름으로, 사전 설정된 AI 에이전트 및 AI 에이전트 개발 도구를 마련. 2024년 10월 30일부터 일본 내 제공 시작
SAP	대화형 AI “Joule”의 기능을 강화해, AI 에이전트를 도입할 방침 발표. 클레임 관리 및 재무 회계 프로세스 등에서 AI 에이전트를 마련
ServiceNow	고객 서비스 관리 및 IT 서비스 관리용 AI 에이전트 제공을 발표. 2024년 중 제공 예정. AI 에이전트 관리 도구도 마련
UiPath	업무 자동화를 지원하는 로봇과 협동해 작동하는 에이전트를 개발하는 “Agent Builder”를 발표. 2024년 12월부터 기존 사용자 대상 자세한 정보 공개 예정

 

AI 에이전트는 생성형 AI를 채팅과 같은 단일 기능에만 적용하는 것이 아니라 '경비 정산 프로세스'와 같은 일련의 업무 프로세스 자동화에 적용하는 것이 특징이다. 따라서 하나의 AI 에이전트가 아닌 여러 개의 AI 에이전트가 협력해 업무를 지원한다. 이에 따라 각 기업은 '고객 응대'와 같은 업무 프로세스 단위별로 생성형 AI를 제공할 방침이다.

오라클의 '근무조 관리 어시스턴트'는 단순히 직원들의 희망 사항을 듣고 근무조를 편성하는 데 그치지 않고, 관련 법규를 고려한 근무조 편성을 지원한다. 오라클은 이 외에도 '직원 채용 어드바이저', '복리후생 분석가' 등 인사, 공급망 관리(SCM), 회계 등 분야에서도 여러 AI 에이전트를 발표하고 있다.

업무 프로세스에 따라 미리 정의된 AI 에이전트 외에도, 대부분의 기업은 자체 AI 에이전트 개발 도구를 제공하고 있다. 세일즈포스는 'Agent Builder'라는 개발 도구를 마련했으며, 업무 자동화 지원 로봇 관리 기능을 제공하는 UiPath도 AI 에이전트 개발 지원을 위한 도구와 AI 에이전트 관리 툴을 제공할 예정이다.

앞으로 더 많은 SaaS 기업이 업무 자동화를 위해 AI 에이전트 기능을 늘려갈 것으로 보인다. 각 기업은 AI 에이전트의 정확도를 높이기 위해 데이터 관리용 데이터베이스나 RAG(검색 확장 생성) 지원 기능 등의 제공도 계획하고 있다.

시사점

AI 에이전트 개발 시 주의할 점으로는 크게 ①사용량과 ②로그 추적이 있다. AI 에이전트에 정통한 J사의 책임자는 KOTRA 도쿄IT지원센터와의 인터뷰에서 ①사용량에 대해 "단순한 질의응답에 비해 사용량이 상당히 증가하게 돼, 그에 따른 비용이 반영된다"라고 지적했다. 아울러 ②로그 추적은 AI 에이전트에서 특히 중요하다. LLM이 사용자의 지시를 받아 어떻게 행동 계획을 세우고 처리를 실행했는지를 파악하지 않으면, AI 에이전트의 정확도를 높이기 위해 어떤 공정을 수정해야 할지 알 수 없게 된다. 앞서 언급한 KAG는 로그를 추적하기 위해 LLM의 응답 내용을 중앙에서 관리할 수 있는 Langfuse라는 툴을 사용하고 있다. Langfuse를 통해 LLM이 어떤 행동 계획을 세우고 어떤 처리를 수행했는지를 단계별로 기록할 수 있다. KAG는 이 로그를 바탕으로 LLM이 호출하는 툴의 사용 조건을 지정하는 프롬프트 등을 개선하고 있다.

생성형 AI를 활용해 일련의 업무 처리를 자동화하는 AI 에이전트는 앞으로 더욱 확대될 것으로 보인다. LangChain 등의 프레임워크를 이용해 자사 맞춤형으로 개발하는 것 외에도, AWS와 마이크로소프트 등이 제공하는 AI 에이전트 개발자를 위한 매니지드 서비스를 활용하면 더 손쉽게 개발할 수 있다. 또한, 개발이 어렵다면 앞서 언급한 SaaS 업체들이 제공하는 AI 에이전트를 활용하는 것도 하나의 방법이다. 제2막에 접어든 생성형 AI 시장에서 AI 에이전트의 보급과 확산은 어떤 방향으로 진행될지 그 귀추가 주목된다.



https://me2.do/xbAPj2EF