JP모건은 2017년 COiN부터 최근 LLM 스위트까지 거의 10년간 AI 자동화를 쌓아왔고, 지멘스는 공장에 AI 에이전트를 투입했다…파일럿에 머문 기업과 핵심 업무를 재설계한 기업 사이, 2026년 AX의 실체를 데이터로 짚었다

딜로이트가 2025년 8~9월 실시해 2026년 1월 발표한 '스테이트 오브 AI 인 더 엔터프라이즈' 조사에 따르면, AI를 활용해 신제품 개발이나 핵심 프로세스, 비즈니스 모델을 근본적으로 재구상하고 있다는 기업은 34%였다. 핵심 프로세스를 AI 중심으로 재설계하고 있다는 응답은 30%, 기존 업무 프로세스에 거의 변화가 없는 표면적 활용 단계에 머물러 있다는 응답은 37%였다. 이 조사는 24개국의 디렉터급 이상 경영진 3,235명을 대상으로 진행됐다. AI 도구 접근성은 빠르게 확대됐지만, 이를 업무·사업모델 재설계로 연결한 기업은 아직 3분의 1 수준이라는 의미다.

맥킨지가 2025년 여름 실시해 그해 11월 발표한 글로벌 AI 실태조사에서도 유사한 흐름이 확인된다. 최소 한 개 업무 기능에서 AI를 정기적으로 쓰는 기업은 88%로 전년의 78%에서 늘었지만, 이를 전사적 가치 창출 수준까지 확산한 조직은 소수에 그쳤다. 응답 기업의 3분의 2는 여전히 실험 또는 파일럿 단계에 머물러 있다고 답했고, AI가 기업 손익(EBIT)에 영향이 있다고 답한 비율은 39%였다(대부분 개선 폭은 5%포인트 미만). '쓴다'는 것과 '성과를 낸다' 사이의 이 간극은 2026년 들어서도 이어지는 글로벌 AX의 핵심 변수로 지목된다.

배경: '도입의 시대'에서 '재설계의 시대'로

2023~2024년 글로벌 기업의 AI 도입이 챗봇과 코파일럿 중심의 생산성 도구 보급에 집중됐다면, 2025년 이후의 AX는 업무 프로세스 자체를 AI 중심으로 재설계하고, 사람 대신 다단계 작업을 자율 수행하는 '에이전틱 AI(Agentic AI)'를 실전 배치하는 단계로 이동하고 있다. 맥킨지 조사에서 응답 기업의 62%가 AI 에이전트를 최소한 실험 단계에서 사용 중이라고 답했고, 23%는 일부 영역에서 에이전트를 확산 단계로 끌어올렸다고 밝혔다. 다만 개별 업무 기능 단위로 보면 에이전트를 실제 확산 수준까지 운영하는 조직은 10% 안팎에 머무는 것으로 조사됐다. 가트너가 CIO를 대상으로 별도 실시한 조사에서는 AI 에이전트를 실제 배치했다고 답한 기업이 17%로 나타났다. 다만 조사기관마다 '도입' '확산' '실전 배치'의 정의와 측정 단위가 달라 수치를 직접 비교하는 데는 한계가 있다. 다만 실험·접근성 확대에 비해 핵심 업무 재설계와 전사 확산이 더디다는 방향성만큼은 여러 조사에서 공통적으로 확인된다.

투자 규모는 가파르게 늘고 있다. 딜로이트 조사에 따르면 2025년 한 해 동안 기업 내 직원들의 AI 접근성은 50% 확대됐다. AI 실험의 40% 이상을 실제 운영(프로덕션) 환경으로 전환했다고 답한 기업은 현재 25%였으며, 향후 3~6개월 내 이 수준에 도달할 것으로 기대한다는 응답은 54%로 나타났다. 이는 실제 달성치가 아니라 조사 시점의 기업 전망치라는 점에 유의할 필요가 있다.

반면 기대와 현실의 괴리를 보여주는 데이터도 있다. 기업용 AI 기업 라이터(WRITER)가 리서치기관 워크플레이스 인텔리전스와 공동으로 실시해 2026년 4월 발표한 'AI 어답션 인 더 엔터프라이즈' 조사(2025년 12월~2026년 1월 진행, C레벨 경영진 1,200명·직원 1,200명 등 총 2,400명 대상)에 따르면, 응답 경영진의 79%가 AI 도입 과정에서 전년 대비 두 자릿수 늘어난 수준의 어려움을 겪고 있다고 답했다. 경영진의 75%는 자사의 AI 전략이 실질적 지침이라기보다 '보여주기'에 가깝다고 인정했으며, 생성형 AI에서 유의미한 투자수익(ROI)을 거두고 있다는 응답은 29%에 그쳤다. 화려한 선언과 실제 성과 사이의 간극이 그만큼 크다는 방증이다.

확산 속도 자체는 역대 어떤 기술보다 빠르다. 스탠퍼드대 인간중심AI연구소(HAI)가 2026년 4월 발표한 AI 인덱스에 따르면, 생성형 AI는 대중 시장 출시 3년 만에 인구 대비 53%의 사용률에 도달해 개인용 컴퓨터나 인터넷보다 빠른 보급 곡선을 그렸다. 문제는 이 개인 차원의 확산이 조직 차원의 성과로 곧바로 이어지지 않는다는 점이다. MIT 미디어랩 프로젝트 NANDA가 2025년 7월 발표한 '더 젠AI 디바이드: 스테이트 오브 AI 인 비즈니스 2025' 보고서는 경영진 인터뷰 52건, 설문 153건, 공개된 AI 도입 사례 300여 건을 분석한 결과, 분석 대상 생성형 AI 파일럿의 95%가 측정 가능한 손익(P&L) 효과에 이르지 못했다고 진단하며 이를 '생성형 AI 격차(GenAI Divide)'로 명명했다. 이는 전체 기업을 대표하는 무작위 표본조사가 아니라 사례 분석 기반이라는 점을 감안할 필요가 있지만, 기술 성능보다 현업 업무흐름 통합과 조직의 학습 역량이 성과를 가른다는 지적은 다른 조사 결과와도 궤를 같이한다.

사례 ①: JP모건체이스…10년 축적의 AX, '450개 실전 유스케이스'로 앞서가는 금융권

금융권에서 가장 앞선 AX 사례로는 미국 JP모건체이스가 꼽힌다. 이 은행의 AX는 하루아침에 이뤄진 것이 아니라 오랜 축적의 결과다. JP모건은 2017년 법률 문서 분석 플랫폼 'COiN'을 도입해 당시 연간 36만 시간이 들던 상업대출 계약 검토 업무를 자동화했다. 이후 2024년 초 사내 생성형 AI 플랫폼 'LLM 스위트(LLM Suite)'를 출시해 전 세계 23만 명 이상의 임직원에게 확대 배포했고, 최근에는 두 흐름을 다수의 실전 AI 유스케이스로 전사에 확장하는 단계에 있다. 회사 측에 따르면 현재 450개 이상의 AI 유스케이스가 실제 운영 단계에 있으며, 2026년 말까지 이를 1,000개로 확대한다는 계획이다.

성과도 구체적 수치로 공개되고 있다. 포브스가 2026년 7월 전한 내용에 따르면, LLM 스위트를 사용하는 직원들은 30~40%의 업무 효율 개선을 보고하고 있으며, 제이미 다이먼 최고경영자(CEO)는 이 같은 AI 이니셔티브 전반을 통해 비용 절감을 포함해 연간 최대 20억 달러 상당의 사업 가치를 창출하고 있다고 밝혔다. 주목할 점은 JP모건의 접근 방식이다. 더 디지털 뱅커, 에머지(Emerj) 등 복수 매체에 따르면 JP모건은 오픈AI·앤스로픽 등 복수 공급사의 모델을 보안 통제 환경 안에서 용도별로 선택해 쓰는 구조를 택했고, 규제 산업 특성에 맞춰 데이터 보호와 컴플라이언스를 플랫폼 설계 단계부터 내재화했다. 도구 배포에 그치지 않고 자산관리 어드바이저의 고객 미팅 준비, 성과평가 초안 작성 등 실제 업무 흐름 깊숙이 AI를 심는 방식으로 확산 속도를 높이고 있다는 평가다. 2017년의 단발성 자동화 사례가 아니라, 거의 10년에 걸쳐 자동화 경험을 축적하며 생성형 AI로 확장해온 궤적이라는 점이 JP모건 사례의 핵심이다.

사례 ②: 지멘스…공장 현장에 투입된 '산업용 AI 에이전트'

제조업에서는 독일 지멘스가 산업 현장형 AX의 기준점을 제시하고 있다. 지멘스는 생성형 AI 기반 '인더스트리얼 코파일럿'을 자사 공장과 고객사에 확산해 왔으며, 티센크루프 오토메이션 엔지니어링에서는 엔지니어들의 코드 품질과 개발 속도 개선 효과가 보고됐다. 2026년 6월에는 산업 데이터·워크플로·AI 에이전트를 하나의 통제된 시스템으로 묶는 '인텔리전스 센터 X'를 공개했다. 지멘스가 밝힌 초기 도입 고객 사례에서는 수작업 부담을 최대 95% 줄이고 생산 이슈 해결 속도를 최대 85% 높인 것으로 전해졌는데, 이는 회사가 공개한 초기 사례 기반 수치로 산업·공정·도입 범위에 따라 실제 효과는 달라질 수 있다.

지멘스의 전략 방향은 명확하다. AI의 다음 격전지는 사무실이 아니라 물리적 세계, 즉 공장·전력망·인프라라는 것이다. 이를 위해 엔비디아와 손잡고 '산업용 AI 운영체제' 구축을 추진 중이며, 독일 에를랑겐 전자공장을 첫 번째 청사진으로 삼아 2026년부터 세계 최초의 완전 AI 기반 적응형 제조 사이트 구축을 단계적으로 추진하고 있다. 실제로 2026년 4월에는 엔비디아의 피지컬 AI 스택을 기반으로 한 휴머노이드 로봇이 이 에를랑겐 공장에서 8시간 이상 자율 물류 작업을 수행하는 실증에 성공하며 첫 이정표를 보여줬다. CES 2026에서는 펩시코와 함께 미국 내 제조·물류 시설을 고정밀 3D 디지털 트윈으로 전환해 공장 운영과 공급망 전반을 시뮬레이션하는 협력 사례를 공개하기도 했다. 175년간 축적된 산업 데이터와 도메인 전문성을 프런티어 AI 기업들이 넘볼 수 없는 해자(垓子)로 삼겠다는 계산이다.

분석: 성과를 내는 기업의 세 가지 공통점

선진기업 사례와 주요 조사 데이터를 종합하면, AX에서 실질 성과를 내는 기업들의 공통점은 크게 세 가지로 요약된다. 첫째, 도구 도입이 아니라 워크플로 재설계에서 출발한다. 맥킨지에 따르면 AI로 손익 개선 5% 이상을 달성한 'AI 고성과 기업'은 전체의 6% 안팎에 불과한데, 이들은 다른 기업 대비 약 3배 높은 비율로 업무 흐름 자체를 근본적으로 재설계한 것으로 나타났다. 하나의 핵심 업무를 처음부터 끝까지(엔드투엔드) AI 중심으로 다시 짠 뒤 이를 횡으로 확산하는 방식이 성공 확률을 높인다는 것이 딜로이트의 진단이기도 하다.

둘째, 거버넌스와 '휴먼 인 더 루프' 체계를 확산에 앞서 구축한다. 맥킨지 조사에서 고성과 기업의 65%는 사람이 AI 산출물을 검증하는 절차를 명문화하고 있었던 반면, 그 외 기업은 23%에 그쳤다. 에이전틱 AI 확산의 최대 걸림돌로 보안·리스크가 규제 불확실성보다 앞서 지목되는 상황에서, 통제 체계는 속도를 늦추는 비용이 아니라 확산을 가능케 하는 전제조건이 되고 있다. 셋째, 효율만이 아니라 성장을 목표로 설정한다. 맥킨지는 AI에서 가장 큰 가치를 얻는 기업들이 비용 절감과 함께 성장·혁신을 목표에 포함하는 경향이 있다고 분석했다. 실제 JP모건은 절감액뿐 아니라 어드바이저 1인당 고객 대응 확대를, 지멘스는 신규 소프트웨어 사업 확장을 AX의 성과 지표로 병행 관리하고 있다.

산업별 확산 속도는 일률적이지 않다. 기술·소프트웨어, 금융, 통신 업종은 실전 배치를 주도하는 축에 속한다. 반면 제조·에너지처럼 물리적 설비와 운영기술(OT)이 결합된 산업은 데이터 연결과 레거시 시스템 통합의 난도가 높아 확산 방식 자체가 다르다. 헬스케어는 다소 복합적인 사례다. 맥킨지 조사에서 헬스케어 리더의 85%가 생성형 AI를 이미 도입했거나 탐색 중이라고 답할 만큼 관심도는 높지만, 실제 에이전트를 프로덕션에 배치한 비율은 다른 업종 대비 낮은 수준에 머무는 것으로 나타나 '탐색은 빠르지만 실전 배치는 더딘' 업종으로 분류된다. 다만 제조업은 지멘스 사례에서 보듯 디지털 트윈, 예지보전, 공정 최적화 등 물리적 자산과 결합할 때 창출되는 가치의 절대 규모가 크다는 점에서, 후발로 분류되는 산업의 추격이 본격화되는 2026~2027년이 산업 지형 재편의 변곡점이 될 수 있다는 관측이 나온다.

전망: 2026년 하반기 체크포인트

딜로이트는 2026년 말이 되면 최소 한 개 핵심 기능에서 파일럿을 넘어 재설계된 운영으로 이행한 기업과 그렇지 못한 기업 간 격차가 실적 데이터와 이사회 안건에서 가시화될 것으로 내다봤다. 딜로이트 조사에서 이사회에 AI 가치 창출을 정기 보고하고 있다고 답한 기업은 4%에 그쳤는데, 딜로이트는 이 관행이 연말까지 대형 상장사에는 사실상 기대되는 역량으로 자리잡을 것으로 전망했다. 한국 기업 입장에서 주목할 체크포인트는 세 가지다. 첫째, 에이전틱 AI의 실전 배치율이다. 가트너 조사에서는 17%, 맥킨지의 업무 기능별 확산 기준에서는 10% 안팎으로 나타나 조사기관마다 정의가 다른데, 두 지표 모두 하반기 중 얼마나 상승하는지가 차세대 AX 경쟁의 속도를 가늠하는 공통 척도가 될 수 있다. 둘째, 산업별 격차다. 기술·금융 업종이 앞서가는 가운데 제조·에너지 업종의 추격 속도는 국내 주력 산업의 대응 시점을 판단하는 준거가 될 수 있다. 셋째, ROI 측정 체계의 표준화다. 도입률이 아니라 사이클 타임, 의사결정 구조, 산출물 품질의 변화를 추적하는 기업만이 AX 투자의 지속 가능성을 입증할 수 있다는 것이 주요 컨설팅사들의 공통된 조언이다. '얼마나 많이 도입했는가'가 아니라 '무엇을 다시 설계했는가'가 2026년 하반기 글로벌 AX 평가의 기준이 되고 있다. 전사 도입률 경쟁이 사실상 마무리된 지금, 국내 기업이 벤치마킹해야 할 대상은 선진기업의 도구 목록이 아니라 하나의 핵심 업무를 끝까지 재설계해 본 그들의 실행 경로 그 자체다.