高度な文書処理の革命：生成 AI と大規模言語モデルの台頭

文書の処理は、以前からずっと手間と時間のかかる作業でした。文書の特定、適切な宛先への送信、関連情報の抽出を手作業で行う必要があります。何十年もの間、光学文字認識 (OCR) を使用して画像をテキストに変換し、多かれ少なかれ複雑さを伴う高度な文書処理 (IDP) のソリューションを利用して、OCR で変換したテキストから関連する領域を抽出してきました。

最近では、構造化文書、半構造化文書、非構造化文書からデータを抽出できるよう、機械学習 (ML) アルゴリズムを活用して、Zonal OCR やルールベースのキー/値ペア抽出といった従来のデータ抽出方法を訓練モデルで改善しています。しかし、こういった従来の方法では、ドメイン固有の ML モデルの訓練や、大規模な訓練データの手作業での広範なラベル付けが必要になることが多く、維持と構築に多大な時間とリソースを消費していました。

生成 AI と LLM の登場

IDP が進化し続けるなか、AI テクノロジーの近年の進歩が、組織が文書抽出ソリューションを開発および維持する方法に変革をもたらしています。生成 AI の登場と大規模言語モデル (LLM) の統合により、ここ 12 か月間で市場に前例のない変化が見られました。この変革は、市場を一変させるだけでなく、これまで自動化できなかった文書の自動化に新たな可能性をもたらしています。

Deep Analysis 社のシニアアナリストであり、IDP 市場の専門家として知られる Dan Lucarini 氏は次のように述べています。「生成 AI は IDP の長い歴史の中で特に重大な変化をもたらす唯一の存在です。人間の介入も訓練用サンプルも事前の知識もなしに、コンピュータで文書を分類してデータを抽出することが、初めて可能になりました。AI の用語で、これはゼロショット学習と呼ばれます。つまり、事前の遭遇や訓練がなくても、文書が認識されるということです。」

OpenAI の GPT シリーズや Google の Vertex AI といった LLM の導入により、文書データの入力を自動化する新たな可能性が生まれました。これらのモデルは、膨大な量のデータで訓練されており、個々のデータ要素だけでなく、文脈に応じたニュアンスも把握できるため、複雑な非構造化文書の処理が上達します。また、事前の訓練やルールの定義付けを必要とせずに、さまざまな文書から情報を抽出することも可能です。

従来の方法の活用

LLM が組織による文書処理の自動化に革命をもたらしているとはいえ、Zonal OCR、キー/値ペア抽出、機械学習などの従来の方法は、今もなお構造化文書や半構造化文書からデータを抽出する最適なツールです。こうした実績のある抽出技術を LLM で補完できます。半構造化文書の抽出方法の不足を補い、非構造化文書のモデルを構築する必要性はなくなります。

Lucarini 氏は次のように話しています。「GPT-4 のような基礎的な LLM は、データセットに合わせて微調整された機械学習モデルに取って代わるのかという質問をよく受けますが、すぐに取って代わることはありません。基礎的な LLM はたびたび幻覚を見せるので、100% のデータ精度が求められる典型的な IDP アプリケーションに使えるほど信頼できません。また、大量の文書を読み込ませるには相当な費用がかかります。差別化された ML モデルが、正確性とコストにおいて依然として最適な選択肢です。」

生成 AI による効率の最大化

生成 AI は、IDP 製品の時間の節約に役立つツールでもあります。たとえば、正規表現やコーディングの知識のないエンドユーザーは、生成 AI プロンプトを使用して新しい文書モデルを作成し、微調整できます。また、文書からラベルを提案することで、訓練の期間を短縮することもできます。ユーザーは探求を進めていくうちに、IDP 内で生成 AI 用の革新的なアプリケーションを次々と見いだし、その実用性と効果を絶えず拡大していきます。

最近の生成 AI と LLM の進歩はまさに革命的です。市場を補完すると同時に市場に混乱をもたらし、文書集約型のビジネスプロセスを自動化する新たな可能性を開きました。従来の抽出方法に統合されたこのイノベーションを活用することで、組織は文書処理のワークフローを合理化し、新たなレベルの効率性と生産性を実現できます。