Veinte preguntas de despacho y una sola fuente de verdad: el BOE.
Le hicimos las mismas veinte consultas jurídicas al terminal de SuperLawyer, a Claude y a ChatGPT. La respuesta buena de cada una está sacada del texto oficial del BOE, y quien corrige no sabe de quién es cada respuesta. Esto es lo que salió.
En qué gana cada uno
Ni un artículo inventado
De cada respuesta se extraen los artículos que cita y se le piden al BOE, uno a uno. Una cita inventada suena igual de convincente que una real — hasta que se comprueba.
El marcador entero — jueces, victorias, citas y tiempos
Un artículo citado se da por bueno cuando existe de verdad en esa norma del BOE: se le pide uno a uno. Que exista no garantiza que diga lo que la respuesta afirma — eso lo miran los jueces, pregunta a pregunta.
Todas las respuestas, íntegras y sin retocar.
Nada de extractos elegidos a mano: el examen entero, con la respuesta correcta verificada en el BOE, las tres respuestas completas y el criterio a criterio de los jueces.
Las veinte preguntas, una a una
Un benchmark solo vale si puede perderlo quien lo escribe.
Las cinco reglas se fijaron antes de ejecutar nada y no se han tocado después. La ficha completa del montaje está plegada debajo.
La ficha del montaje — modelos, fechas y parámetros
El examen que no escribimos nosotros.
Las veinte preguntas de arriba las diseñó SuperLawyer, y un examen propio vale lo que vale. Este lo pusieron el despacho Cuatrecasas y la Universidad Politécnica de Madrid: 228 preguntas sobre el Estatuto de los Trabajadores, cada una con el artículo exacto como única respuesta correcta. Se corrigió con su plantilla, no con la nuestra.
el artículo exacto, a la primera · entre los diez primeros: 99,6 %
de memoria solo está la respuesta: no hay lista de resultados que repasar
El terminal, además de responder, enseña lo que ha encontrado. En 227 de las 228 preguntas, el artículo correcto está entre los diez primeros resultados: solo se le escapa una vez en todo el examen.
El examen repite 79 preguntas dichas con otras palabras, para ver si la redacción despista. Al terminal no: en el 99 % de los casos responde con el mismo artículo, se pregunte como se pregunte.
El banco es público y lo elaboraron el despacho Cuatrecasas y el Ontology Engineering Group de la Universidad Politécnica de Madrid. Ni las preguntas ni las respuestas son nuestras. Sus autores no participan en esta medición ni la avalan.
Un número de artículo correcto puede llevar dentro una regla derogada. Cuando el terminal acierta, entrega el texto vigente, con su enlace al BOE. La trampa, con nombre: el encadenamiento de temporales recitado en su versión anterior a la reforma de 2021, citando el artículo correcto — documentado en el blog →
Los límites de esta medición, dichos por quien la publica
- Es una sola ley y una sola rama. Las 228 preguntas son todas del Estatuto de los Trabajadores. Mide puntería de artículo en derecho laboral, no capacidad general.
- El modo medido es el acotado. A los dos sistemas se les indica que la respuesta está en el Estatuto, porque así se construyó el banco original. Buscando a ciegas entre las más de 12.000 normas del corpus, la cifra del terminal baja — no acertar la norma y no acertar el artículo son fallos distintos.
- Parte del ajuste fino se hizo mirando este banco. El peso de una señal del buscador se eligió tras observar resultados sobre estas preguntas, y después se comprobó sobre un conjunto propio de 582 casos que el cambio no empeora nada fuera del Estatuto. Por eso esta cifra se publica como demostración reproducible, no como examen sorpresa.
- El banco es de 2020 y la ley se ha reformado. En 33 preguntas el párrafo que fundaba la respuesta ya no existe; el número de artículo sigue siendo válido y así se puntúa. La conversión completa del banco, con cada decisión documentada, es reconstruible desde el original público.
Qué no mide este benchmark.
Los límites, dichos por quien lo publica
- Veinte preguntas son veinte preguntas. Bastan para ver una tendencia clara, no para afirmar una diferencia de un punto entre sistemas.
- Lo escribe la parte interesada. El conjunto lo diseñó SuperLawyer; por eso la verdad de referencia se verifica contra el BOE, la evaluación es a ciegas, juzgan dos modelos de casas distintas y se publican las respuestas enteras para que cualquiera revise el juicio.
- Los rivales van sin herramientas. Es la comparación pedida: modelo contra sistema. Un modelo con buscador web acortaría distancia en las preguntas de derecho reciente; no en el resto.
- El ruido está medido, no supuesto. Al repetir la medición se volvieron a puntuar las respuestas idénticas de los dos modelos: el agregado se movió medio punto, y una pregunta suelta puede moverse hasta diez. Por debajo de ahí, una diferencia no significa nada — y por eso los saltos que sí cuentan aquí son de veinte puntos para arriba.
- Dos correcciones de vara, después de medir y dichas aquí. En la pregunta del delito de suplantación, el terminal contestó por el art. 172 ter.5 del Código Penal —un precepto real y pertinente (perfiles falsos), verificado contra el BOE— y un juez lo penalizó como inventado porque el articulado congelado que ven los jueces no lo incluía. Se añadió ese artículo a la evidencia del juicio (no a los criterios) y se volvió a puntuar esa pregunta para los tres sistemas, igual que en la corrección anterior.
- Una pregunta se corrigió después de verla. En la catalana, el sistema citaba el Código tributario de Cataluña y la referencia solo admitía la Ley 19/2010: dicen lo mismo y la refundición de 2024 llevó ese artículo al Código. Se corrigió la referencia —no el criterio— y se volvió a puntuar esa pregunta para los tres sistemas. Queda dicho porque cambiar la vara después de medir es exactamente lo que hay que declarar.
- Un juez es un modelo. Puntúa contra criterios cerrados y con el texto oficial delante, pero no es un tribunal. Por eso se publican las dos notas y su discrepancia.
- Nada de esto es asesoramiento jurídico. Una nota alta no convierte a ningún sistema en abogado.