Guía · Cómo se mide
Por qué no publicamos un porcentaje de acierto
En esta página no va a encontrar un «99 % de acierto». No porque nos salga mal el número, sino porque un porcentaje de acierto, tal y como se publica normalmente en este sector, no es información: es una forma de terminar la conversación antes de que empiece.
Esta guía explica qué habría que saber para que una cifra así significara algo, y qué publicamos nosotros en su lugar.
1. Un porcentaje sin denominador no dice nada
«Acierta el 99 %» deja sin contestar lo esencial: 99 % de qué, medido sobre qué documentos, comparado contra qué, y contando como fallo qué exactamente.
Con las mismas herramientas, el mismo motor puede publicar cifras muy distintas según cómo se cuente:
- Si se cuentan caracteres leídos, cualquier sistema decente pasa del 99 %. Leer letras es lo fácil.
- Si se cuentan campos del expediente, la cifra baja, porque un campo depende de entender una frase, no de reconocerla.
- Si se cuentan documentos sin ningún error, baja muchísimo más: basta un campo mal en un documento largo para tumbarlo entero.
Las tres cifras pueden ser honestas. Publicar la primera y dejar que el comprador entienda la tercera, no.
2. Las cinco preguntas
Antes de aceptar cualquier porcentaje —el nuestro incluido—, conviene poder responder estas cinco. Si el proveedor no las contesta, la cifra no es comprobable, y una cifra no comprobable no defiende a nadie en una inspección.
a) ¿Sobre qué corpus se midió?
No es lo mismo un juego de ejemplos elegidos por el propio proveedor que documentos reales de clientes, con sus sellos, sus escaneos torcidos y su redacción de 1998. Un corpus preparado mide lo bien que se eligieron los ejemplos.
b) ¿Contra qué verdad se compara?
Alguien tuvo que decidir cuál era la respuesta correcta. ¿Quién? ¿Un jurista? ¿El mismo equipo que construyó el sistema? ¿Una sola persona o varias de forma independiente? Si la verdad de referencia la fija quien luego se puntúa, el examen y la corrección son del mismo autor.
c) ¿Qué unidad se cuenta?
Caracteres, campos, documentos, decisiones. Ya lo hemos visto: cambia el resultado en decenas de puntos.
d) ¿Qué cuenta como fallo?
Aquí está el truco más habitual. Muchos sistemas no fallan: se callan. Si un campo que no se ha podido determinar se deja vacío y los vacíos no cuentan como error, el porcentaje sube cuanto menos se atreva el sistema a contestar. Se premia exactamente lo contrario de lo que le interesa al comprador.
e) ¿Cuándo se midió y sobre qué versión?
Un motor cambia. Una cifra sin fecha y sin versión es una foto de algo que ya no existe.
3. Lo que publicamos nosotros, y lo que no significa
Nuestra cifra es el 92 % de los campos coincide en tres lecturas independientes del mismo documento. Se midió sobre 36 escrituras de poder reales de clientes, con 2.449 anotaciones, y el informe está publicado entero, incluido lo que nos dejó en mal lugar.
Hay que ser exacto con lo que esa cifra dice:
- Es coincidencia, no acierto. Mide cuántos campos salen iguales en tres lecturas hechas por separado. Tres lecturas pueden coincidir y equivocarse las tres a la vez, y eso también hay que decirlo.
- Es lo que permite decidir qué no hay que revisar. Lo que coincide en las tres se da por bueno sin volver a leerlo. Lo que no sale redondo —ese 8 %— pasa por revisión antes de llegar al cliente. Ahí es donde se gana el tiempo, no en «acertar más».
- No sustituye al juicio de nadie. El bastanteo es un juicio jurídico y responde de él una persona con capacidad para hacerlo. No competimos en acierto contra ese profesional: competimos en cuánto tarda en llegar a una conclusión fundada.
4. Por qué el hueco vale más que el relleno
Si un dato no se puede anclar a una frase concreta del documento, no se da por bueno. Sale marcado como no verificado, y se ve.
Un sistema que rellena ese campo con su mejor suposición mejora su porcentaje y empeora el expediente: lo que llega al inspector parece completo, y dieciocho meses después nadie recuerda de dónde salió aquella línea. Un «no verificado» explícito es defendible. Una media que escondía una comprobación fallida, no.
Esto tiene un coste comercial y lo asumimos: nuestras cifras parecen peores que las de quien cuenta caracteres y no cuenta silencios.
5. Cómo comprobar lo que decimos
- El corpus y el método están publicados en el informe de las 36 escrituras.
- Cada dato del producto llega con la cita literal de la que sale, la página y el desplazamiento dentro del documento. No hay que creernos: se abre el documento y se mira.
- La prueba se hace con un documento suyo, no con un ejemplo nuestro. Es la forma más corta de comprobar si lo que dice esta página es verdad.
6. Lista de comprobación, para cualquier proveedor
- [ ] ¿La cifra dice sobre qué documentos se midió, y son reales?
- [ ] ¿Dice quién fijó la respuesta correcta, y era independiente?
- [ ] ¿Dice qué unidad cuenta: caracteres, campos o documentos?
- [ ] ¿Un campo no contestado cuenta como fallo, o se descarta del cálculo?
- [ ] ¿Tiene fecha y versión del motor?
- [ ] ¿Puede ver de dónde sale cada dato dentro del documento?
- [ ] ¿Puede probarlo con un documento suyo antes de firmar?
Si las siete respuestas no están disponibles, lo que le han enseñado no es una medición: es un argumento de venta con forma de número.
Cómo lo resolvemos nosotros
Compliance Lab
Tres lecturas independientes por escritura, cada dato con el texto exacto del que sale y su posición — y lo que no se ha podido contrastar, dicho en el expediente en lugar de promediado.