Per valutare la qualità OCR, confronta il risultato con un riferimento verificato sui documenti che il processo dovrà gestire. Occorre controllare sia il testo riconosciuto sia i dati che verranno utilizzati nelle attività successive: una parola letta bene può comunque finire nel campo sbagliato.
L’OCR riconosce il testo di un’immagine o di una scansione. Un processo di data capture può aggiungere l’estrazione di campi e la ricostruzione di strutture, come righe e colonne di una tabella. La prova deve distinguere questi risultati.
Elenca i documenti da trattare, i campi necessari e il formato di consegna. Chiarisci quali valori devono essere conservati come testo e quali trasformati in date o numeri. Un codice con zeri iniziali, per esempio, richiede una regola diversa da un importo.
Per ogni campo, concorda che cosa significhi “corretto”: corrispondenza esatta con l’originale oppure valore trasformato secondo una regola definita. Se sono ammesse normalizzazioni di spazi o formati, annotale prima del confronto.
Includi le varianti presenti nel lavoro reale: tipi di documento, modelli, lingue, formati e qualità d’immagine. Accanto ai documenti regolari, inserisci quelli difficili, come pagine inclinate, scansioni poco leggibili o tabelle con celle unite. Le indicazioni AWS per Amazon Textract richiamano proprio la qualità dell’immagine e le difficoltà legate alla struttura delle tabelle.
Usa documenti che puoi legittimamente trattare per la prova e limita le informazioni condivise a quelle necessarie. Per ogni documento, prepara un riferimento controllato da una persona sul file originale. Se il sistema viene adattato usando alcuni documenti, tieni un insieme separato per la valutazione finale.
Per iniziare, registra i campi corretti, errati e mancanti, separandoli per tipo di documento. Conta anche i valori estratti quando il campo non è presente: sono errori che una verifica dei soli campi compilati correttamente potrebbe nascondere.
La documentazione Google Cloud sulla valutazione di Document AI confronta le estrazioni con le annotazioni dei documenti di test. Distingue i risultati corretti, quelli che non corrispondono al riferimento e quelli attesi ma non trovati. Un valore sbagliato può produrre sia un falso positivo per ciò che è stato estratto sia un falso negativo per il valore corretto mancante.
Precisione e richiamo descrivono aspetti diversi: la prima riguarda quanto siano corretti i risultati estratti, il secondo quanti dei risultati attesi vengano trovati. Guarda anche gli esiti dei singoli campi; un dato complessivo può nascondere gli errori proprio nell’informazione che serve al processo successivo.
Un punteggio di confidenza esprime una stima del sistema sul proprio risultato. Va confrontato con gli esiti reali della prova. Microsoft distingue la confidenza del testo letto da quella dei campi estratti e invita a considerare la revisione umana.
Una soglia più alta può escludere anche valori corretti. La soglia va quindi provata insieme alle regole di controllo e alle conseguenze di un errore, senza adottare un valore universale. Esamina anche alcuni risultati ad alta confidenza: limitare il controllo ai punteggi bassi non consente di osservare gli errori accettati dal sistema.
Definisci chi controlla i documenti illeggibili, i campi obbligatori mancanti e le incongruenze. Per esempio, un controllo del formato può individuare una data non valida, ma non dimostra che una data formalmente valida sia quella giusta. Il revisore deve poter risalire al documento e correggere il dato.
Conserva campione, riferimenti e regole di confronto. Dopo una modifica alla scansione, all’estrazione o all’esportazione, ripeti la prova su documenti comparabili. Confronta gli errori per campo e il lavoro di revisione richiesto; segnala anche eventuali peggioramenti. È così che un miglioramento diventa misurabile nel contesto scelto.
Se stai valutando un progetto, consulta il servizio USolve di digitalizzazione documenti e data capture. Parti dai documenti disponibili e dai dati che ti servono per discutere il perimetro della richiesta.
