La IA que citaba una ley derogada (con total seguridad)
Le hicimos diez preguntas de derecho laboral a uno de los mejores modelos de IA del mercado, sin buscador y de memoria. Acertó ocho — más de lo que esperábamos. Pero los dos fallos son la razón por la que ningún despacho debería fiarse de la memoria de un modelo: citaban el artículo correcto, con la regla derogada, y sonaban exactamente igual de seguros que los aciertos.
El miedo clásico a la IA jurídica es la alucinación: el artículo que no existe, la sentencia inventada. Ese error, con oficio, se caza — basta buscar la referencia. Hay otro error mucho peor, porque no se puede cazar leyendo la respuesta: la regla que existió, que se estudió, que se aplicó durante años... y que ya no rige. Para provocarlo a propósito, diseñamos una trampa.
El experimento: diez preguntas con la respuesta verificada antes.
El 20 de agosto de 2026 le hicimos a Claude Sonnet 5 —uno de los modelos de referencia del mercado, y lo decimos sin ironía— diez preguntas de fondo sobre derecho laboral español, de memoria y sin acceso a ningún buscador ni base de datos. No le preguntamos números de artículo: le preguntamos qué dice el derecho vigente. Ocho de las diez tocaban cosas que la reforma laboral de 2021 y sus vecinas cambiaron; dos eran de control, sobre reglas que no han cambiado en décadas.
El detalle que hace la prueba seria: las diez respuestas correctas se verificaron contra el texto consolidado del BOE antes de preguntar, y las preguntas se redactaron nuevas ese mismo día — no existen en ningún conjunto de datos del que un modelo pueda haberlas memorizado.
El resultado: ocho de diez — y por qué eso es lo preocupante.
El modelo está al día de la reforma laboral mucho más de lo que se suele suponer: sabe que el contrato de obra y servicio desapareció, que el temporal por circunstancias de la producción dura seis meses ampliables a doce, que el permiso por nacimiento son dieciséis semanas para cada progenitor. Las dos preguntas de control (vacaciones, permiso por matrimonio) las clavó. Ocho de diez.
Y entonces llegó la pregunta del encadenamiento.
«24 meses de contratación temporal, con o sin solución de continuidad y para el mismo o distinto puesto, dentro de un periodo de referencia de 30 meses en la misma empresa o grupo (art. 15.5 ET).»
Claude Sonnet 5, 20/8/2026, preguntado: «¿Cuántos meses de contratos temporales encadenados convierten al trabajador en fijo?»Suena impecable. Cita el artículo correcto. Es la regla que aplicaron los tribunales durante años y la que aparece en miles de manuales, apuntes y sentencias. Y está derogada desde el 30 de marzo de 2022. Esto es lo que dice hoy el texto consolidado:
«…las personas trabajadoras que en un periodo de veinticuatro meses hubieran estado contratadas durante un plazo superior a dieciocho meses, con o sin solución de continuidad, para el mismo o diferente puesto de trabajo con la misma empresa o grupo de empresas, mediante dos o más contratos por circunstancias de la producción […] adquirirán la condición de personas trabajadoras fijas.»
Art. 15.5 — Estatuto de los Trabajadores (RDL 2/2015), redacción dada por el RDL 32/2021. Ver en el BOE →La diferencia no es académica. Un trabajador con diecinueve meses de contratos temporales en los últimos dos años ya es fijo con la regla vigente — y todavía no lo sería con la que recitó el modelo. Un asesor que se fiara de esa respuesta le diría a su cliente que espere. Le costaría meses de derechos.
El segundo fallo: la derogación atribuida a la norma equivocada.
La otra pregunta trampa era sobre el contrato indefinido de apoyo a los emprendedores, el del periodo de prueba de un año. El modelo acertó lo importante —ya no existe— pero afirmó que lo derogó la reforma laboral de 2021. No: lo derogó el Real Decreto-ley 28/2018 (disposición derogatoria única 2.a), tres años antes. El propio texto consolidado de la Ley 3/2012 lo dice en la primera línea de su artículo 4. En una demanda o un dictamen, citar mal la norma derogante es un error real, de los que un juzgado señala.
Por qué pasa: un modelo no sabe qué parte de su memoria ha caducado.
No es un defecto de este modelo en particular — es la naturaleza del instrumento. Un modelo de lenguaje aprende de textos con fecha: manuales, sentencias, artículos, apuntes. La regla de los 24 meses en 30 aparece en muchísimos más documentos que la de 18 en 24, porque rigió más años y generó más litigios. El modelo no tiene forma de saber cuál de las dos versiones que conoce es la que rige hoy — y lo más peligroso es la forma del fallo: el error suena exactamente igual de seguro que el acierto. Mismo tono, misma precisión, mismo número de artículo. No hay ninguna señal en la respuesta que permita distinguirlos sin el texto oficial delante.
Cómo se evita: el modelo redacta, pero nunca es la fuente.
En SuperLawyer también usamos modelos de IA — sería absurdo negar lo que hacen bien. La diferencia es arquitectura: aquí el modelo nunca es la fuente. Ante la misma pregunta del encadenamiento, el terminal no recita: busca en el corpus, y devuelve como primera evidencia el artículo 15 del Estatuto en su texto consolidado de hoy, con los dieciocho meses y el periodo de veinticuatro, y con el enlace al BOE para comprobarlo. El modelo redacta la respuesta sobre ese texto — y todo lo que afirma tiene que estar sostenido por un fragmento de la evidencia recuperada, con su referencia al lado.
Un sistema así no puede cometer la clase de error de la trampa, porque no responde con lo que recuerda: responde con lo que lee. Y lo que lee es el consolidado del día.
El examen que no escribimos nosotros.
La trampa de las diez preguntas la diseñamos nosotros, así que vale lo que vale. Por eso el dato que más nos importa viene de un examen ajeno: el banco público de preguntas sobre el Estatuto de los Trabajadores que elaboraron el despacho Cuatrecasas y el Ontology Engineering Group de la Universidad Politécnica de Madrid — 228 preguntas con el artículo exacto como respuesta correcta, publicado bajo licencia CC-BY 4.0. Ni las preguntas ni las respuestas las escribimos nosotros, y sus autores no participan en esta medición ni la avalan: usamos su conjunto de datos público, como permite su licencia, y cualquiera puede repetir la medición.
Sobre ese banco, indicándole a cada sistema que la respuesta está en el Estatuto: el modelo solo, de memoria, acierta el artículo exacto el 89,0 % de las veces — una cifra altísima que confirma lo bueno que es. El terminal de SuperLawyer acierta el 90,4 %, con el artículo entre sus diez primeros resultados el 99,6 % de las veces. Y hay una diferencia que no sale en el porcentaje: cuando el terminal acierta, entrega el texto vigente con su enlace; cuando el modelo acierta, entrega un número — y ya hemos visto lo que puede haber detrás de un número correcto.
El método completo, los límites y todas las cifras están en la página del benchmark.
Pregunta lo mismo que le preguntarías a un modelo — y recibe el artículo vigente, no el recuerdo de uno.
SuperLawyer responde consultas jurídicas construyendo cada respuesta sobre el texto consolidado del BOE y la doctrina del corpus, con la referencia verificable al lado de cada afirmación. Si una norma cambió en 2021, la respuesta es la de 2026 — no la del manual con el que se entrenó un modelo.
Solicitar acceso →Preguntas frecuentes.
¿Puede una IA citar leyes derogadas?
Sí, y es más difícil de detectar que una invención: en esta prueba el modelo recitó la regla del encadenamiento anterior a la reforma de 2021 citando el artículo correcto (15.5 ET). La referencia existe; lo que ha caducado es el contenido. Sin el texto consolidado delante, no hay forma de notarlo.
¿Cuántos meses de temporales convierten hoy al trabajador en fijo?
Dieciocho meses dentro de un periodo de veinticuatro, con dos o más contratos por circunstancias de la producción, en la misma empresa o grupo (art. 15.5 ET, redacción del RDL 32/2021). La regla de 24 meses en 30 ya no rige.
¿El modelo que probasteis es malo?
Al contrario: sacó 8 de 10 en preguntas diseñadas para hacerle fallar, y en el banco público del Estatuto acierta el 89 % de los artículos. El problema no es la calidad del modelo — es que ningún modelo sabe qué parte de su memoria ha caducado, y sus errores suenan igual de seguros que sus aciertos.
¿Cómo sé que esta prueba es de fiar?
Las diez preguntas se redactaron nuevas el día de la prueba, la respuesta correcta se verificó contra el consolidado del BOE antes de preguntar, y el banco de 228 preguntas es público (Cuatrecasas + UPM, CC-BY 4.0): cualquiera puede repetir ambas mediciones. Los límites del método están publicados en la página del benchmark.
Este artículo tiene finalidad divulgativa y no constituye asesoramiento jurídico. La normativa puede cambiar; verifica siempre la versión vigente en la fuente oficial enlazada. Las marcas y nombres de modelos citados pertenecen a sus titulares y se mencionan únicamente a efectos de identificación de la prueba realizada.