가능성의 미학 수용하기: CIO의 생성형 AI 도입을 향한 모험

저는 GenAI(생성형 AI)의 혁신적 힘을 직접 목격한 CIO로서 이 기술을 도입하는 것이 현대 엔터프라이즈에 선택이 아닌 전략적 필수 요소라고 솔직하게 말할 수 있습니다. IT 리더로서 우리는 비용, 규모, 경험이라는 세 가지 측면에서 최적화에 힘쓰고 있습니다. GenAI의 장점은 각각의 가능성에 대한 규칙을 지원하는 것은 물론 이러한 규칙을 다시 작성할 수 있는 잠재력을 가지고 있다는 것입니다.

자동화 업계의 리더로서 GenAI를 사용한 경험은 거대한 혁신의 파도를 타는 것과 비슷했습니다. 이러한 변화의 홍수를 헤쳐 나가기 위해서는 민첩성, 용기, 사전 대응적 사고방식이 요구됩니다. 하지만 더 중요한 것은 1년 전만 해도 불가능해 보였던 기회의 세계가 이제 열렸다는 점입니다.

IT 분야의 리더로서, 우리는 미래를 기다릴 여유가 없습니다. 우리는 미래를 만들어 나가야 합니다. GenAI의 세계로 첫발을 내딛는 것을 고려 중이거나 이미 그 길을 걸어온 사람에게 인사이트를 얻고자 한다면 이 블로그가 도움이 될 것입니다. 이 블로그 시리즈에서는 GenAI를 도입하기까지의 여정, 직면한 과제와 우리가 거둔 성과에 대해 공유하고자 합니다. GenAI가 여러분에게 선사하는 놀라운 기회를 활용할 수 있는 영감을 드리고자 합니다.

1장: Automation Anywhere의 생성형 AI 여정의 시작

이 여정을 시작했을 때 우리는 GenAI를 도입한 최초의 엔터프라이즈 중 하나였습니다. 도입 초기에는 많은 혼란과 우려가 있었습니다. 1년 전 GenAI를 도입하기 시작했을 때를 돌이켜보면 기업들은 이 기술이 무엇을 할 수 있는지, 그에 따른 위험은 무엇인지에 대해 회의적이었습니다. GenAI가 비즈니스에 어떤 도움을 줄 수 있을지에 대한 의문과 불확실성이 존재했습니다. 여러모로 클라우드 기술의 발전과 도입을 반영하는 상황이었습니다.

하지만 우리에게는 옆에서 지켜보기만 하며 천천히 나아가는 것은 선택지가 아니었습니다.

선택의 여지가 없었던 것은 두 가지 이유였는데, 바로 우리의 문화와 산업의 특성이었습니다. 새로운 것을 시도하는 문화는 Automation Anywhere에 깊이 뿌리내리고 있습니다. 최전선에서 나아가겠다는 우리의 약속은 '고객 제로'라는 프로그램으로 공식화되어 운영되고 있습니다. 이 프로그램을 통해 우리 자신을 실험의 대상으로 삼고, 이해를 높이며, 고객에게 제공할 수 있는 검증된 솔루션 개발을 이행합니다. 그래서 GenAI가 출시되자마자 바로 시작하고 싶었습니다. 하지만 그렇다고 해서 당시 상황의 엄청난 규모에 대비할 수는 없었습니다.

지능형 자동화 분야의 리더로서 GenAI의 등장은 업계에 혼란을 일으켰기 때문입니다.

2장: 혼란에 직면하고 위험을 수용하기

혼란은 많이 사용되는 중요한 단어입니다. 하지만 이번 케이스에서는 GenAI가 모든 분야에 가져온 지각 변동을 이보다 더 잘 표현할 수 있는 단어가 떠오르지 않습니다. 지능형 자동화 업계에 종사하는 우리에게는 GenAI의 도입은 즉각적인 혼란을 야기했습니다.

이러한 혼란에 대한 초기 반응은 분명히 두려움이었습니다. 하지만 우리는 이 기술의 미래 궤적이나 시장이 나아갈 방향을 예측할 수 있는 수정 구슬을 가진 것처럼 운영하지 않았습니다. 진정한 용기는 두려움이 없는 것이 아니라, 두려움에도 불구하고 나아갈 수 있는 능력을 발휘하는 것이라고 우리는 믿었습니다.

거버넌스와 엔터프라이즈 보안을 책임지고 있는 CIO로서 제 관점에 대해 항상 질문을 받습니다. 아직 모든 해답이 없는 상황에서 어떻게 GenAI를 배포할 수 있을까요? 모바일 기술에서 iPhone이 가져온 광범위한 변화와 같은 기술 혁명이 일어날 때마다 모든 제어 기능을 완벽하게 파악할 수는 없다는 점을 기억하는 것이 중요합니다. 혼란이 먼저 발생합니다.

특히 도입 초기에 가장 많이 제기된 우려는 개인 정보 보호와 보안에 관한 것이었습니다. CIO로서 GenAI와 같은 신기술을 도입할 때 가장 염려되는 것은 의심할 여지 없이 데이터 보안입니다. 무단 액세스나 오용으로부터 개인 식별 정보 또는 독점 비즈니스 정보 등 민감한 데이터를 보호하는 것이 가장 중요합니다.

GenAI를 통해 엔터프라이즈 데이터 보안에 잠재적인 위협이 있다는 것을 알게 되었습니다. 그렇다면 우리는 어떻게 대응했을까요? 데이터 개인 정보 보호의 경우, 그 의미를 더 잘 이해하고 구체적인 해결책을 개발할 수 있을 때까지 공개 데이터 또는 민감하지 않은 데이터만 다루기로 결정했습니다.

우리의 여정은 새로운 질문과 맞닥뜨리는 연속이었습니다. 그리고 대부분의 질문에 대해서는 아직 만족스러운 답을 찾지 못했습니다. 답변이 나올 때까지 기다릴 것인지, 아니면 스스로 답을 찾아낼 것인지 결정해야 했습니다. 미리 힌트를 드리자면 돌이켜보니 우리가 직면했던 모든 문제와 장벽에 대한 해결 방법이 있었습니다.

3장: 기회에 맞게 계획과 기대치 재설정하기

몇 달 후 우리는 자체적으로 더 많은 연구를 수행하고 나서 GenAI가 가진 잠재력의 크기와 기회를 완전히 깨달았습니다. 그래서 GenAI 여정의 이 시점에서 우리는 깨달음과 리셋의 단계에 도달하게 됐습니다. 해군 특수 부대가 예상치 못한 상황에 효과적으로 대응하기 위해 수행하는 첫 번째 원칙은 현재 자신이 처한 상황과 현실을 인식하는 것입니다. 우리는 모든 계획을 접고 모든 것을 다시 시작해야 한다는 것을 깨달았습니다. 저는 개인적으로 GenAI가 모든 것을 변화시킨다고 해도 과언이 아니라는 것을 증명할 수 있습니다.

우리는 싸울 준비가 되어 있었습니다. 전력을 다해 깊이 파고들어야 했습니다. 회사로서, 기술 플랫폼으로서 우리가 하는 일의 핵심인 자동화의 구성 요소를 살펴보고 GenAI가 어디에 영향을 미칠 수 있고 어떻게 도움이 될 수 있는지 알아봤습니다. 그리고 당연하게도 그 해답이 모든 곳(everywhere)임을 금방 깨닫게 되었습니다.

예를 들어 기존의 자동화 입력은 미리 정형화된 정보에 의존하여 제한적이었고, 비정형 데이터는 비즈니스 프로세스 자동화에 사용하기 전에 사전 훈련이 필요했습니다. 이제 사전 훈련 없이도 상상할 수 있는 거의 모든 형식의 데이터와 정보를 입력할 수 있습니다. GenAI 덕분에 출력물도 어떤 형태로든 만들 수 있습니다. 이는 이미지나 슬라이드 데크 등이 될 수 있습니다. 프로세스를 위한 일련의 규칙인 자동화 자체도 궁극적으로는 정의하고 프로그래밍할 필요가 없어졌습니다. 그 대신 GenAI와의 자연어 대화를 통해 과거 데이터를 참조하여 상황에 맞게 생성할 수 있습니다.

GenAI는 자동화의 기존 한계를 뛰어넘었습니다.

우리는 비즈니스와 제품 궤적의 모든 요소를 재평가하기 시작했습니다. 기존 계획과 투자는 엄청난 잠재력과 가속화를 활용하기 위해 전환되었습니다. 이러한 변화의 현실이 비즈니스와 제품 개발의 일상적인 활동으로 확산되면서 새로운 계획은 새로운 OKR(목표 및 핵심 결과 지표)을 의미하게 되었습니다.

기술 스택도 혼란을 경험했습니다. 우리에게 필요한 도구와 기술도 있었고, 더 이상 투자하고 싶지 않은 도구와 기술도 있었습니다. 그럼 어떤 GenAI 툴이 필요할까요? 그리고 일상 업무에 포함된 GenAI로 새로운 작업 방식을 지원하는 기술은 무엇일까요?

4장: 가능성의 미학 수용하기

2023년 4월이었습니다. 우리는 GenAI에 대해 많은 것을 배웠습니다. 하지만 우리가 알고 있는 지식에는 여전히 상당한 공백이 있었습니다. 이 시점에서 우리는 상황을 수습하고 가정을 세우고자 하는 충동을 억제했습니다. 기반이 형성되기 시작하는 것을 볼 수 있었기 때문에 그 위에 무언가를 구축하고자 하는 유혹이 컸습니다. 하지만 그것은 잘못된 방향이었을 것입니다. 아직 기반 자체가 충분하지 않았기 때문입니다.

더 많은 그림을 완성하기 위해서는 더 많은 것을 발견하고 우리가 몰랐던 것을 파악하는 것이 중요하다는 것을 알았습니다. 그래서 본격적으로 실험을 시작했습니다.

실제로 건전한 경쟁을 통한 에너지를 활용하고 직원들이 각자의 분야별 전문성을 발휘하여 발굴하고 드러낼 수 있는 GenAI의 실제 적용 사례를 찾기 위해 ‘데모 로얄(Demo Royale)’이라는 이름의 전사적 경연 대회를 개최했습니다. 전체 직원의 절반 가까이가 이 행사에 참여했습니다. 제출된 200개 이상의 세부적인 유스케이스 중에서 수상자를 결정하기는 매우 까다로웠습니다.

결국 1위는 동점으로 결정되었고, 우승자에게는 1만 달러의 상금이 수여되었습니다. 모두가 이 기술을 실험하고 활용하면서 수많은 아이디어와 열정, 그리고 우리가 할 수 있는 일에 대한 비전이 형성되었습니다. 그 영향은 빙산의 일각에 불과했습니다.

이 대회를 통해 만들어진 파일럿에서 고객 지원팀과 IT팀은 고객과 사내 직원을 위한 L1 및 L2 지원을 엔드투엔드로 자동화하는 데 영감을 얻었습니다. 글로벌라이제이션팀은 동영상 콘텐츠의 언어 번역을 자동화했고, 마케팅팀은 고객 케이스 연구 작성 프로세스를 자동화했습니다. IT 조직에서는 사내 버전의 AI 비서인 ‘Jarvis’를 출시했습니다.

5장: 올바른 GenAI 모델로 기반 구축하기

그럼 어떻게 해야 할까요? GenAI의 여정에서 우리는 마침내 이 사소하지 않은 질문에 도달했습니다. 이 시점에서 우리는 GenAI를 운영하기 위한 구성 요소를 발견하고 기반을 다지기 시작했습니다.

우리의 아이디어와 유스케이스를 현실화하기 위해서는 GenAI 전문가가 될 팀을 선택해야 했습니다. 이들이 가진 다양한 역량은 어디에 배치해야 할까요? 어떤 팀 또는 비즈니스 부서가 조직 내부의 허브, 즉 GenAI의 본거지가 될까요? 가장 간단하게 시작할 수 있는 곳은 자동화팀인 CoE였습니다. CoE는 이 프로젝트를 지속적으로 진행하고 있으며, 이들은 매일 최전선에서 GenAI 기술을 체험하고 배우며 강화하고 있습니다.

자동화팀은 빠르게 성장했으며, 여전히 학습 중입니다. 그리고 우리는 비즈니스팀에서 제안하는 아이디어와 기회를 수용하기 시작했습니다. 우리는 GenAI로 이러한 자동화를 실제로 구축하기 시작했습니다. 저는 GenAI를 사용한 계약서 검토 자동화 사례를 좋아합니다. 자동화를 사용하여 4천 시간을 절약할 수 있다는 것은 대단한 일입니다. 하지만 여러 가지 면에서 더 중요한 것은 팀 간의 불만을 없애고 프로세스에서 발생하는 마찰을 없애는 방법입니다.

우리는 정책에 대한 선택을 해야 했습니다. 직원들에게 허용되는 것과 허용되지 않는 것에 대해 어떻게 안내할 수 있을까요? 무료로 제공되는 서드파티 AI 앱을 사용하도록 허용해야 할까요? 이들이 원하는 AI 모델을 내부용으로 사용할 수 있나요? AI 지원 앱을 사용하면서 어떤 종류의 데이터를 공유할 수 있나요?

그리고 ‘어떤 LLM(대규모 언어 모델)에 투자해야 할까요?’라는 또 다른 중요한 질문에 직면했습니다. 이를 위해 오랜 파트너 중 한 곳에 연락하여 실제로 두 가지 모델을 선택하게 되었습니다. 또한 올바른 데이터 세트로 훈련하여 엔터프라이즈 지식을 모델로 확장한다는 것의 가치도 알게 되었습니다.

이 이야기에서 가장 복잡한 부분은 선택한 LLM을 훈련하고 세부 조정하는 것이라고 해도 과언이 아닙니다.

GenAI는 정확도와 ‘할루시네이션’의 위험이 있으며, 이는 훈련된 전문 지식 범위 밖에서 GenAI를 적용할 때 발생할 가능성이 높습니다. 우리의 경험에 따르면 선택한 모델을 자체 엔터프라이즈 데이터로 훈련하는 것은 필수적입니다. 그리고 물론 모델도 테스트해야 합니다. 테스트는 거듭하는 것이 중요합니다.

개인 정보 보호 제어 문제를 다시 말씀드리는 건 IT 리더들 사이에서 이에 대한 논의가 계속되고 있기 때문입니다. 우리는 GenAI의 보안 및 개인 정보 보호 문제의 복잡성이 기본 모델, 제공업체, 서드파티 구성 요소를 비롯한 계층 구조에서 비롯된다는 사실을 알게 되었습니다. 그렇기 때문에 초기에 이미 커뮤니티에 공개적으로 공유된 민감하지 않은 데이터로 작업하기로 했습니다. 이는 민감한 데이터를 AI 프롬프트와 공유하기 전에 데이터를 마스킹하는 방법을 찾을 때까지의 계획이었습니다.

여정 중에 내린 또 하나의 중요한 결정은 ‘우리의 데이터는 절대로 조직 외부로 유출하지 않는다’는 것이었습니다. 일부 AI 모델 제공업체는 이러한 모델을 훌륭하게 만들어내고 있지만, 우리 데이터를 맡기기에는 지나치게 생소합니다. 즉, 누가, 왜 액세스를 얻었는지에 대한 완전한 제어와 가시성을 확보할 수 있도록 서버에서 모델을 호스팅해야 했습니다.

고객을 위해 지속적으로 개발해 온 결과, 기업이 보안, 개인 정보 보호, 정확성 제어를 달성하는 가장 효과적인 방법은 안전한 지능형 자동화 플랫폼을 통해 GenAI를 활용하는 것임을 알게 됐습니다. 이 플랫폼은 내장된 거버넌스 및 가드레일을 통해 시스템과 사용자 전반에 걸친 엔드투엔드 오케스트레이션을 용이하게 하여 GenAI를 안전하고 효과적으로 사용할 수 있는 기반을 마련합니다.

흥미롭게도 자동화 성공 플랫폼에 GenAI를 통합하여 내장 엔터프라이즈 보안, 거버넌스, 감사 추적, 규정 준수 도구를 제공함으로써 GenAI를 안전하게 사용하고 GenAI 사용과 관련된 가드레일을 만들 수 있도록 하는 데 상당한 진전을 이루었습니다.

6장: 혁신의 운전석에서

지금 제가 가장 기대하는 것은 우리가 광범위한 혁신 경쟁을 벌이고 있다는 점입니다. GenAI는 AI의 대중화를 가속화시켜 자동화를 앞당겼습니다. 어떻게 일을 완수할 것인가가 AI의 일차적 질문이 됩니다. 자동화와 결합된 것을 처음 본 순간을 기억하시나요? 자동화의 힘과 능력을 경험하고 나면 비즈니스 프로세스를 다시는 예전과 같은 방식으로 바라볼 수 없게 됩니다.

그리고 이제 GenAI에서도 같은 일이 일어나고 있습니다. 그것은 바로 AI 우선 사고방식입니다. GenAI는 모든 사람이 이 기능을 사용할 수 있도록 지원하기 때문입니다. AI의 지능과 자동화의 실행력의 결합은 완벽한 조화를 이룹니다. 이제 복잡하고 비용이 많이 들고 시간이 많이 소요되는 전문가 수준의 개발과 AI 모델링의 장벽은 사라졌습니다. 마치 무제한 AI 뷔페와도 같습니다.

여기서 자세히 설명하지는 않겠지만, 이는 엔터프라이즈 기술 요구 사항에 대한 구매와 구축 간의 논쟁을 다시 불러일으킵니다. 아직은 구축이 기본 접근 방식이 될 정도는 아니지만 다시 검토되고 있으며, 해결하려는 문제에 따라 더 경제적이고 확장 가능한 실제 옵션이 될 수 있습니다. 특히 이제 워크플로를 GenAI 대화형 인터페이스와 결합할 수 있게 되면서 UI에 대한 필요성이 변화하고 있습니다.

우리는 여전히 많은 가치를 발견하고 있습니다. 현재 Automation Anywhere는 비즈니스 파트너와 협력하여 아이디어를 구상하고 향후 로드맵을 구축하는 데 투자하고 있습니다.

GenAI 여정 선도하기

이 경계에서 저는 GenAI가 기술이라는 점을 항상 명심하고 싶습니다. 즉, 조직을 위해 AI를 활용할 수 있는 권한과 책임은 CIO에게 있다는 뜻입니다. 예측에 따르면 향후 4~5년 동안 AI 도입이 급증할 것으로 예상되며, CIO의 80%가 AI를 활용할 준비를 갖추고 있습니다.

CIO인 저에게 이 여정은 일생일대의 모험입니다.

엔터프라이즈의 GenAI 여정을 주도하고 싶다면 지금이 바로 고민을 직시하고 앞으로 나아가 이끌 수 있는 시기입니다. 저희의 이야기가 여러분의 여정에 도움이 되기를 바라며, 이 길을 함께하고 있는 CIO와 기술 리더들의 의견을 언제나 환영합니다. 더 많은 질문과 답변이 발견되는 대로 공유해 드리겠습니다. 그렇다면 지금 여러분을 망설이게 하는 것은 무엇인가요?