지능형 문서 처리의 혁명: 생성형 AI와 대규모 언어 모델의 부상

문서 처리는 항상 노동 집약적이고 많은 시간을 소모하는 작업이었습니다. 문서의 유형을 파악하고, 이를 담당자에게 전달하고, 적합한 정보를 추출하는 과정을 모두 수작업으로 진행해야 했습니다. 지난 수십 년 동안 우리는 OCR(광학 문자 인식)을 활용해 이미지를 텍스트로 변환한 다음 다양한 수준의 복잡성을 지닌 IDP(지능형 문서 처리) 솔루션으로 OCR 텍스트로부터 적합한 필드를 추출해 왔습니다.

최근에는 ML(머신 러닝) 알고리즘을 활용해 정형, 반정형, 비정형 문서로부터 데이터를 추출하는 모델을 훈련하여 영역별 OCR 및 규칙 기반 키/값 쌍 추출과 같은 기존 데이터 추출 방법을 향상하는 방식이 사용되고 있습니다. 하지만 이러한 기존 방식을 활용하려면 각 부문에 특화된 ML 모델이 필요하며 방대한 분량의 훈련 데이터를 수동으로 라벨링해야 하는 경우가 많습니다. 따라서 해당 모델을 구축하고 유지하는 데 많은 시간과 자원이 소모되고는 합니다.

생성형 AI와 LLM의 출현

IDP 부문의 끊임없이 발전하는 환경에서, 최근 AI 기술의 발전은 기업들이 문서 추출 솔루션을 개발하고 관리하는 방식에 혁신적인 변화를 가져왔습니다. 지난 12개월 동안 IDP 시장은 생성형 AI 출현 및 LLM(대규모 언어 모델)의 통합에 의해 전례 없는 변화를 겪었습니다. 이러한 혁신에 의해 시장에는 혁명이 일어났으며, 기존에는 자동화로 처리할 수 없었던 문서까지도 소화할 수 있는 가능성이 열렸습니다.

Deep Analysis의 선임 애널리스트이자 저명한 IDP 시장 전문가인 댄 루카리니는 "생성형 AI는 IDP의 오랜 역사에서 가장 중요한 변화입니다"라고 말합니다. "컴퓨터가 처음으로 인간의 개입, 훈련 샘플, 사전 지식 없이도 문서를 분류하고 데이터를 추출할 수 있게 된 겁니다. AI 용어로는 이를 제로샷 학습이라고 하는데, 쉽게 말하면 사전 노출 및 훈련이 없어도 컴퓨터가 문서를 인식할 수 있다는 뜻입니다."

OpenAI의 GPT 시리즈와 Google의 Vertex AI와 같은 LLM이 등장함에 따라 문서 데이터 입력 자동화 분야에는 완전히 새로운 가능성이 열렸습니다. 이러한 모델은 방대한 양의 데이터를 학습하기에 개별 데이터 요소는 물론 미묘한 맥락까지도 포착할 수 있으므로 복잡한 비정형 문서도 능숙하게 처리할 수 있습니다. 또한 사전 훈련을 하거나 규칙을 정의하지 않더라도 다양한 종류의 문서로부터 정보를 추출할 수 있습니다.

기존 방법론 활용하기

LLM이 조직의 문서 처리 자동화를 혁신하고 있는 것은 사실이지만, 정형 및 반정형 문서로부터 데이터를 추출할 때는 Zonal OCR, 키/값 쌍 추출, 머신 러닝과 같은 기존의 도구들이 여전히 가장 적합합니다. 이러한 입증된 데이터 추출 기술은 LLM과 결합하여 반정형 문서 추출 방법을 보완하고 비정형 문서에 대한 모델 구축의 필요성을 대체할 수 있습니다.

루카리니는 GPT-4와 같은 파운데이션 LLM이 데이터 세트에 맞게 미세 조정된 머신 러닝 모델을 대체할 수 있느냐는 질문을 많이 받는다고 하며 다음과 같이 말했습니다. "당분간은 어렵습니다. 파운데이션 LLM은 너무 자주 환각을 일으켜 신뢰성이 떨어집니다. 그래서 완벽한 데이터 정확성을 요구하는 일반적 IDP 애플리케이션에는 적합하지 않습니다. 또한 대량의 문서를 판독하는 데 너무 큰 비용이 듭니다. 따라서 정확도와 비용 측면에서 판별 ML 모델은 여전히 최고의 선택지입니다."

생성형 AI를 통한 효율성 극대화

하지만 생성형 AI를 IDP 제품의 코파일럿으로 활용한다면 작업 시간을 단축할 수 있습니다. 예컨대 정규식이나 코딩을 모르는 최종 사용자도 생성형 AI 프롬프트를 사용해 새로운 문서 모델을 만들고 미세 조정할 수 있기 때문입니다. 또한 생성형 AI를 활용해 문서를 레이블링하면 학습 과정을 신속하게 진행할 수 있습니다. 많은 사용자가 심층 탐색을 통해 혁신적 활용법을 발견하고 있기에, IDP 부문에서 생성형 AI의 활용도와 영향력은 계속 증가하고 있습니다.

최근 생성형 AI와 LLM은 가히 혁명적으로 발전하고 있습니다. 이는 기존의 IDP 시장을 보완하면서도 혁신하고 있으며, 문서 중심의 비즈니스 프로세스를 자동화할 새로운 가능성을 열었습니다. 이처럼 새로운 혁신을 기존의 추출 방법과 결합해 활용한다면 조직은 문서 워크플로를 간소화하고 새로운 차원의 효율성과 생산성을 달성할 수 있을 것입니다.