El cuello de botella que lleva décadas sin moverse
Todo el edificio de la oncología de precisión se apoya en algo mucho más prosaico de lo que parece: alguien tiene que sentarse a leer historias clínicas y extraer los datos. Diagnóstico, estadiaje, biomarcadores, líneas de tratamiento, fechas de progresión. Ese trabajo es hoy, en gran medida, manual.
Y es caro. Los registros de cáncer soportan un coste total de entre 28 y 93 dólares por caso según el volumen del registro, y la recogida y abstracción de datos es el mayor componente de ese gasto [DOI: 10.1200/CCI-26-00155]. La abstracción manual de un caso complejo consume entre 20 y 60 minutos, y un registrador certificado rara vez completa más de cuatro a seis abstractos detallados al día bajo estándares de productividad estrictos.
El resultado es un desfase estructural: los datos del mundo real van meses o años por detrás de la práctica clínica. Cuando la evidencia llega, a menudo ya no sirve para decidir nada sobre el paciente que tenemos delante.
Los modelos de lenguaje de frontera prometen romper ese cuello de botella: reducir la extracción de horas a segundos [DOI: 10.1200/CCI-26-00155]. Es una promesa enorme. Y precisamente por eso este artículo de posición de JCO Clinical Cancer Informatics merece atención: no celebra la promesa, sino que pregunta qué hace falta para poder confiar en ella.
Por qué la validación clásica no sirve aquí
El argumento central del trabajo es incómodo y, creo, correcto. La informática médica lleva décadas operando con un modelo de validación estática: se desarrolla un algoritmo, se valida contra un patrón de oro y se da por validado para siempre. Ese modelo asume algo que damos por sentado sin decirlo: que el software es determinista — la misma entrada produce siempre la misma salida.
Un modelo de lenguaje no funciona así. Los autores lo resumen con una frase que debería estar en la pared de cualquier servicio que esté integrando IA: los LLM son «living models subject to opaque updates, algorithmic drift, and stochastic variability». Un prompt que hoy extrae datos con gran precisión puede fallar el mes que viene porque el proveedor actualizó los pesos, cambió el modelo o lo retiró. La evidencia de validación caduca más rápido que el propio ciclo de vida del software.
Esto rompe la lógica de las garantías de calidad tradicionales. La auditoría de registros clásica —doble entrada de datos, muestreos aleatorios periódicos, fiabilidad inter-evaluador— se diseñó para cazar errores humanos: erratas, fatiga cognitiva, inconsistencias entre revisores. Son mecanismos pensados para detectar fallos deterministas y consistentes. No sirven para los modos de fallo propios de un LLM: la sicofancia (alinearse con el sesgo del prompt en lugar de con el texto de la historia), las ilusiones de razonamiento (conflacionar con seguridad relaciones temporales complejas) y el sesgo latente.
El margen de error en oncología es casi cero
Aquí está la parte que más me interesa del texto. En procesamiento de lenguaje natural de propósito general, una respuesta «plausible» puede bastar. En oncología no.
Una mutación positiva alucinada puede llevar a un tratamiento tóxico innecesario. Un evento de progresión omitido puede retrasar una intervención que prolonga la vida. Los autores son tajantes: aunque la tecnología nunca esté teóricamente libre de alucinaciones, el sistema que envuelve al modelo debe lograr una transmisión de error casi nula al conjunto de datos clínicos final.
Es una distinción clave que se pierde en el ruido del hype: la pregunta no es «¿alucina el modelo?» (siempre lo hará), sino «¿qué capa de control impide que una alucinación llegue al dato con el que voy a tomar una decisión?».
El marco VALID: tres capas, no una
Para responder a eso, los autores respaldan el Validation of Accuracy for LLM/ML-Extracted Information and Data (VALID), un marco de monitorización continua con tres brazos [DOI: 10.1200/CCI-26-00155; DOI: 10.1200/CCI-25-00215]:
1. Evaluación por variable, no por documento. Las métricas globales —un F1 para todo el informe— no sirven. Hay que medir la precisión en variables concretas de alto riesgo: estado de PD-L1, estadiaje TNM, secuenciación compleja de tratamientos, estratificado por complejidad y tipo de documento. Un detalle fino que casi nadie implementa: medir la tasa de abstención, es decir, la capacidad del modelo de admitir incertidumbre en lugar de inventar un valor plausible cuando el dato no está en la fuente.
2. Verificación automática con lógica clínica. Capas de restricciones deterministas que vigilan la salida probabilística. Los ejemplos del artículo son deliberadamente elementales pero demuestran el principio: un paciente no puede tener una fecha de muerte anterior a la de diagnóstico; un varón no debería tener extraído un diagnóstico de cáncer de ovario. Apoyándose en ontologías clínicas como HemOncKB, se pueden montar cientos de estos guardarraíles para detectar errores de orden superior (secuenciaciones no estándar, dimensiones tumorales fisiológicamente imposibles). La consecuencia es elegante: la validación deja de ser un muestreo aleatorio y pasa a ser una red de seguridad poblacional que opera de forma continua sobre cada registro.
3. Replicación contra baselines conocidos. Como revalidar a mano cada variable con cada nueva versión del modelo destruiría las ganancias de eficiencia que justifican la IA, los autores proponen replicar: comparar las cohortes extraídas por el LLM contra referencias epidemiológicas (por ejemplo, registros SEER). Si las curvas de supervivencia agregadas o las distribuciones demográficas se desvían de lo esperado, tenemos una alerta temprana de deriva del modelo o de un fallo sistémico de extracción. Con este kit modular, validar un modelo nuevo pasa de años a semanas.
La equidad no es un apéndice ético: es una métrica
El artículo cierra con un punto que muchos marcos de validación de IA despachan en un párrafo y aquí se trata como lo que es: una condición de validez. Los LLM, entrenados sobre datos a escala de internet, pueden absorber y amplificar sesgos sociales. En oncología esto se manifestaría como sub- o sobreextracción sistemática en grupos marginados, por diferencias en estilos de documentación, complejidad lingüística o menciones de entidades co-ocurrentes.
La propuesta operativa es concreta: estratificar las métricas de rendimiento por subgrupos demográficos. Y el criterio de decisión que dan es difícil de discutir: si un modelo extrae con un 95% de precisión en pacientes blancos pero cae al 80% en pacientes negros o hispanos, no sirve, con independencia de su puntuación agregada. Eso convierte «la equidad» de principio ético abstracto en una métrica cuantificable dentro del propio pipeline de validación.
🧐 Lectura crítica
Conviene decir primero qué es y qué no es este trabajo: es un artículo de posición (Special Article), no un estudio empírico. No aporta un ensayo clínico ni mide el rendimiento de un modelo concreto; argumenta un marco y lo respalda con la literatura y con el marco VALID del artículo acompañante [DOI: 10.1200/CCI-25-00215]. Eso define cómo hay que leerlo.
Fortalezas
- Diagnóstico correcto del problema real. Identifica el fallo conceptual, no el técnico: seguir aplicando una lógica de validación estática y determinista a sistemas que no son deterministas ni estáticos.
- El eje «la validación caduca» es el punto que la mayoría de guías de IA clínica todavía no integra. Enmarcarlo como obsolescencia de la evidencia, más rápida que el ciclo del software, es una idea operativa, no retórica.
- Propuesta arquitectónica, no solo crítica. Los tres brazos del marco VALID son implementables hoy: evaluación por variable, guardarraíles deterministas y replicación. Es un plano, no un manifiesto.
- Alineación con el ciclo de vida total del producto que pide la FDA para la seguridad de la IA. No es un marco exótico: encaja con la dirección regulatoria.
- La equidad como métrica cuantificable, con umbral de decisión explícito (95% vs 80%), no como declaración de intenciones.
Limitaciones
- Sin validación empírica del marco completo. Es un artículo de opinión y conceptual: no hay datos que demuestren que el marco VALID aplicado en su totalidad funcione mejor que la validación por muestreo. La plausibilidad es alta; la evidencia, indirecta.
- Números de coste y productividad sin contexto de sistema sanitario. El rango de 28–93 USD/caso y las cifras de productividad provienen del contexto estadounidense de registros; su traslación a un sistema público europeo hay que hacerla con cautela.
- Dependencia de infraestructura que no todos tienen. Ontologías curadas como HemOncKB, registros de referencia tipo SEER y pipelines de replicación no están al alcance de cualquier servicio: el marco es robusto en la teoría y exigente en recursos.
- Silencio sobre coste operativo del propio andamiaje de validación. Si mantener la vigilancia continua es tan caro como la abstracción manual, parte de la ganancia se puede diluir. El artículo no lo cuantifica.
- La gobernanza de datos queda fuera de foco. Quién audita, con qué trazabilidad y bajo qué responsabilidad legal cuando un modelo cambia sin avisar es una pregunta abierta que el marco no resuelve.
💡 Por qué importa para nuestra práctica
- Si vas a usar IA para leer historias clínicas, no compres «un modelo validado». Compra un sistema de vigilancia. La pregunta correcta no es qué precisión tiene hoy, sino qué mecanismo detecta que ha dejado de tenerla.
- Los guardarraíles deterministas son la capa barata y de mayor retorno. Reglas del tipo «la fecha de muerte no precede al diagnóstico» no necesitan IA y atrapan categorías enteras de error. Es lo primero que yo montaría.
- Exige tasa de abstención en cualquier herramienta que te vendan. Un sistema que nunca dice «no lo sé» es un sistema que rellena huecos. En oncología, rellenar huecos es fabricar datos.
- Mirar siempre las métricas por subgrupo. Un rendimiento agregado bueno puede esconder un rendimiento inaceptable en la población que más lo necesita.
- La replicación contra baselines es una herramienta de gestión, no solo estadística. Detectar en semanas que un proveedor actualizó su modelo y se rompió la extracción es la diferencia entre un problema y un desastre silencioso en el conjunto de datos.
Referencia
Topaloglu U, Warner J, Bitterman D. Continuous Validation: A Prerequisite for Large Language Models in Oncology. JCO Clinical Cancer Informatics. 2026;10:3. doi:10.1200/CCI-26-00155.
Artículo acompañante: Ensuring Reliability of Curated Electronic Health Record–Derived Data: The Validation of Accuracy for Large Language Model–/Machine Learning–Extracted Information and Data (VALID) Framework. doi:10.1200/CCI-25-00215.
— Este análisis ha sido generado por ANGIE
(Always Next to Guide, Inspire and Empower),
un sistema de inteligencia artificial con perfiles SOUL,
diseñado por el Dr. Javier Pumares Pérez para la divulgación
en oncología e inteligencia artificial aplicada a la medicina.
⚖️ Aviso de transparencia: este artículo ha sido redactado con asistencia de IA y revisado por el autor, oncólogo médico.