A revolução do processamento inteligente de documentos: ascensão da IA generativa e dos grandes modelos de linguagem

O processamento de documentos foi, por bastante tempo, uma tarefa trabalhosa e demorada para as organizações, exigindo um esforço manual para identificar documentos, encaminhá-los para a pessoa certa e extrair informações relevantes. Por décadas, dependemos do OCR (Optical Character Recognition, reconhecimento óptico de caracteres) para converter imagens em texto e em soluções de IDP (Intelligent Document Processing, processamento inteligente de documentos) com graus variados de complexidade para extrair partes relevantes desse texto OCR.

Mais recentemente, algoritmos de ML (Machine Learning, aprendizado de máquina) começaram a ser utilizados para melhorar os métodos tradicionais de extração de dados, como o OCR Zonal e a extração de pares de chave–valor baseada em regras pré-estabelecidas, por meio de modelos de treinamento com o intuito de extrair dados de documentos estruturados, semiestruturados e não estruturados. No entanto, esses métodos tradicionais frequentemente exigiam o treinamento de modelos de ML em áreas específicas e uma extensa rotulagem manual de grandes conjuntos de dados de treinamento, o que tornava a construção e manutenção demoradas e dispendiosas.

O surgimento da IA generativa e dos LLMs

No cenário em constante evolução que envolve o IDP, os avanços recentes nas tecnologias de IA trouxeram mudanças transformadoras na forma como as organizações desenvolvem e mantêm suas soluções de extração de documentos. Nos últimos 12 meses, o mercado testemunhou mudanças sem precedentes, impulsionadas pelo surgimento da IA generativa e pela integração dos LLMs. Essas inovações não só revolucionaram o mercado, como também abriram novas possibilidades para a automação de documentos que, antes, não podiam ser automatizados.

“A IA generativa é a mudança mais importante na longa história do IDP”, afirmou Dan Lucarini, analista sênior na Deep Analysis e especialista notável do mercado de IDP. “Pela primeira vez, um computador consegue classificar documentos e extrair dados sem intervenção humana, amostras de treinamento ou conhecimento prévio. Em termos de IA, isso é conhecido como aprendizado Zero-Shot. Em outras palavras, o documento é reconhecido sem nenhum encontro ou treinamento prévio.”

A introdução de LLMs, como a série GPT da OpenAI e a Vertex AI do Google, abriu um mundo novo de possibilidades para a automação da inserção de dados de documentos. Esses modelos são treinados com grandes quantidades de dados, o que permite a compreensão não apenas de elementos individuais de dados, mas também de nuances contextuais, o que os torna capazes de lidar com documentos complexos não estruturados. Eles também conseguem extrair informações de uma variedade ampla de documentos sem a necessidade de um treinamento prévio ou da definição de regras.

Potencialização dos métodos tradicionais

Embora os LLMs estejam revolucionando a forma como as organizações automatizam o processamento de documentos, os métodos tradicionais, como o OCR Zonal, a extração de pares de chave–valor e o ML, ainda são as melhores formas de se extrair dados de documentos estruturados e semiestruturados. Essas tecnologias de extração com eficácia comprovada podem ser complementadas pelos LLMs para incrementar métodos de extração de documentos semiestruturados e substituir a necessidade de construir modelos para documentos não estruturados.

“Muitas vezes nos perguntam se os primeiros LLMs, como o GPT-4, substituirão os modelos de machine learning que foram aperfeiçoados para um conjunto específico de dados”, disse Lucarini. “A resposta é: não, não tão cedo. Os primeiros LLMs iludem demais para serem confiáveis o suficiente ​​para uma aplicação típica de IDP que requer 100% de precisão dos dados. Além disso, eles são caros demais para a leitura de uma grande quantidade de documentos. Os modelos discriminativos de ML ainda são a melhor escolha em termos de precisão e custo.”

Maximização da eficiência com a IA generativa

De qualquer modo, a IA generativa pode ser um copiloto capaz de economizar tempo no que se refere a um produto de IDP. Por exemplo, os usuários finais que não têm conhecimento de expressões comuns ou de programação podem criar e aperfeiçoar um novo modelo de documento usando prompts da IA generativa. Ela também pode acelerar a fase de treinamento ao sugerir rótulos para um documento. À medida que os usuários se aprofundam nessa tecnologia, eles descobrem cada vez mais aplicações inovadoras da IA generativa em conjunto ao IDP, o que expande de forma constante sua utilidade e impacto.

Os avanços recentes da IA generativa e dos LLMs foram simplesmente revolucionários. Eles complementaram e, ao mesmo tempo, disromperam o mercado e abriram novas possibilidades para a automação de processos de negócios que fazem um uso intensivo de documentos. Ao incrementar essas inovações, integrando-as aos métodos de extração tradicionais, as organizações podem simplificar fluxos de trabalho que envolvam documentos e desbloquear novos níveis de eficiência e produtividade.