Dos IAs, un solo veredicto: así hemos auditado treinta años de jurisprudencia

Hace unos días, un cliente nos avisó de que en algunas sentencias la ratio decidendi que mostraba Nearius decía lo contrario de lo que resolvía el tribunal. Tenía razón. Contamos por qué pasó y qué hemos hecho.

Por qué ocurría

La ratio decidendi es la regla con la que el tribunal resuelve el caso, la que se cita como doctrina. Hasta ahora, la misma inteligencia artificial que la extraía era la que después la verificaba. Era juez y parte: si se equivocaba al leer una sentencia, volvía a equivocarse al revisarla.

Qué hemos cambiado: dos IAs, un solo veredicto

Ahora cada dato lo extrae una IA y lo comprueba otra distinta, de otro fabricante y que trabaja por separado. Solo aparece como verificado si las dos coinciden. Cuando no coinciden, Nearius lo indica con un aviso en lugar de presentarlo como seguro.

Para esta auditoría hemos utilizado el modelo abierto más reciente, publicado este mismo mes, que mejora de forma notable a sus versiones anteriores en las pruebas publicadas por su fabricante. Con él hemos revisado treinta años de jurisprudencia del Tribunal Supremo, la Audiencia Nacional, los TSJ y las Audiencias Provinciales, desde 1998 hasta hoy. El resultado:

• 2,85 millones de ratio decidendi verificadas por dos IAs independientes, un 64 % más que hace dos semanas.
• La mitad de errores de sentido, tanto en las ratio decidendi verificadas como en el resultado de las sentencias (estima o desestima), medido con un modelo árbitro sobre una muestra.
• Búsquedas casi tres veces más precisas en consultas de doctrina: la sentencia buscada aparece entre los diez primeros resultados en el 65 % de los casos, frente al 24 % de antes.
• Más de 239.000 resoluciones con su resultado completado y más de un millón de fichas con los letrados corregidos.

Cerca de 5 millones de resoluciones, y las que citan, también

Nearius reúne cerca de 5 millones de resoluciones judiciales: Tribunal Supremo, Audiencia Nacional, Tribunales Superiores de Justicia, Audiencias Provinciales, Tribunal Constitucional, juzgados, y además el Tribunal de Justicia de la UE y el Tribunal Europeo de Derechos Humanos.

Una sentencia nunca está sola: cita otras sentencias. Por eso hemos comprobado que las resoluciones que se citan también estén en Nearius; hoy lo están el 99,4 % de las resoluciones españolas citadas. Si falta alguna, Nearius la detecta e intenta conseguirla.

Un sistema de calidad que trabaja cada día

La auditoría es solo una parte. Nearius cuenta con varios sistemas de calidad que funcionan de forma continua:

• Un enjambre de agentes de IA realiza millones de comprobaciones sobre las herramientas y el corpus, como lo haría un abogado exigente, detecta los fallos y los corrige, siempre con la misma regla de que dos modelos distintos tienen que coincidir. Iremos rotando y combinando los modelos de IA más avanzados del momento.
• Sistemas de observabilidad vigilan la plataforma en tiempo real. Si una consulta a una base de datos o cualquier proceso falla o va más lento de lo debido, el sistema lo detecta al instante y se actúa antes de que el usuario lo note.

Repetiremos esta revisión completa cada vez que los nuevos modelos de IA den un salto de calidad.

Por qué importa

Una herramienta más fiable significa menos tiempo comprobando citas y buscando jurisprudencia, y más tiempo para la estrategia procesal de cada asunto. Y si se trabaja con una IA generalista conectada a Nearius, también ella trabaja mejor: con búsquedas más precisas y datos verificados, sus respuestas son más fiables, consumen menos tokens y llegan antes.

Un consejo para obtener la mejor calidad

Ninguna herramienta de IA es infalible: todas, también Nearius, tienen huecos. Mes a mes mejoramos su fiabilidad, pero para los asuntos importantes recomendamos contrastar con más de una herramienta y revisar siempre la sentencia original. Nearius da el enlace al PDF oficial del CENDOJ en cada resolución.

Nada de esto habría pasado sin aquel aviso. Si encuentras una cita dudosa, un dato que no cuadra o una búsqueda que no encuentra lo que debería, escríbenos a través del soporte de la web. Lo revisaremos de inmediato y la corrección llegará a toda la comunidad Nearius.

Nearius escucha.

Preguntas frecuentes

¿Cómo verifica Nearius la ratio decidendi de una sentencia?

Con dos inteligencias artificiales de fabricantes distintos que trabajan por separado: una extrae la ratio decidendi y la otra la comprueba. Solo aparece como verificada si las dos coinciden. Si no coinciden, Nearius lo indica con un aviso en lugar de presentarla como segura. Así hay hoy 2,85 millones de ratio decidendi verificadas.

¿Qué pasa si una sentencia citada no está en Nearius?

Es poco probable: el 99,4 % de las resoluciones españolas citadas en el corpus están en Nearius, que reúne cerca de 5 millones de resoluciones. Si una cita apunta a una sentencia que falta, Nearius la detecta e intenta conseguirla.

¿Puedo fiarme siempre de lo que devuelve una IA jurídica?

No del todo: ninguna herramienta de IA es infalible, tampoco Nearius. Para asuntos importantes conviene contrastar con más de una herramienta y revisar la sentencia original. Nearius incluye en cada resolución el enlace al PDF oficial del CENDOJ.