Se trata de un robot cilíndrico, algo más bajo que una persona, con varias puertecitas laterales, dos brazos articulados y un anillo de cámaras y sensores alrededor de la parte superior. Se mueve solo por los pasillos, evita obstáculos, entra en las salas comunes, sabe usar el ascensor y, según el momento del día, lleva bandejas, retira bolsas de basura, reparte ropa limpia, desinfecta pasamanos o se queda discretamente “de guardia” en cualquier rincón de la residencia o junto al control de enfermería usando sus sistemas como un apoyo de avisos.
Además, está conectado al software de gestión: las auxiliares pueden dictarle las intervenciones realizadas, las constantes, cambios de conducta o incidencias de forma que todo queda registrado en la historia de cada usuario con una sencilla conversación. Al principio, algunas se reían; otras decían que preferían seguir con la tablet. Todo cambió el día que dos auxiliares comentaron:
—Si pudiera hablar con voz de mujer y sonar menos “máquina”, sería perfecto.
La empresa tecnológica tomó nota. En la siguiente actualización, el robot apareció con una voz nueva: cálida, cercana, con un deje que recordaba vagamente a una auxiliar veterana. Una voz que no sonaba sintética. Ese mismo día alguien dijo medio en broma:
—Ramona, tráeme la ropa de la 204.
Y el robot respondió:
—De acuerdo, ahora mismo voy.
El nombre se quedó. Y desde entonces todo el mundo la llama Ramona.
En pocas semanas, casi todas las auxiliares prefieren “pasar por Ramona” antes que por el ordenador. Dictan los cuidados, registran cambios, piden materiales, consultan quién tiene visitas médicas o dieta especial. Hasta hay que “hacer cola” a ratos para hablarle. Además, un pequeño añadido en la parte inferior del robot le permite hacer “limpieza básica de espacios”, por lo que, a veces se da una situación divertida en la que alguna auxiliar habla con Ramona mientras ella limpia el suelo de un cuarto de baño o recoge una bebida que ha caído en el comedor.
La médico y las enfermeras, que al principio eran más escépticas, empiezan también a usarla: piden por voz la medicación pautada de un residente, “Ramona, recuérdame las pautas de administración de…”; “recuérdame cuándo fue… ingresada en el hospital la última vez”. Viendo que buscar a la robot para hablar con ella es poco práctico piden que la app móvil del software de gestión permita “hablar con Ramona” desde el teléfono, accediendo al mismo motor de IA integrado, pero recibiendo respuestas “de Ramona”.
La sensación general es curiosa. “La voz de Ramona es la de alguien más del equipo”, comentan varias personas. No discute, no se cansa, siempre está.
La empresa proveedora, encantada con los resultados, anuncia la llegada inminente de una nueva versión del sistema: más autonomía, más integración con el software asistencial y un conjunto creciente de accesorios que permitirán realizar labores que hasta ahora sólo podían hacer personas. En el dossier comercial que has recibido en un mensaje con un formato muy atractivo hay un punto subrayado: en un centro como Las Marismas, la combinación del robot mejorado y una reorganización de tareas, para la que ofrecen una consultoría gratuita, permitiría prescindir de dos personas de limpieza, o bien mantener la plantilla y “liberar recursos” para más atención directa.
Un recuadro lo deja claro: “Ahorro estimado anual: XX €. Retorno de la inversión: 18 meses (según uso)”.
Llevabas unos días pensando en ese dosier cuando sucedió algo inesperado.
Una enfermera y una auxiliar estaban comentando junto al control de enfermería el caso de María Luisa, una residente con demencia muy avanzada, totalmente dependiente, casi sin lenguaje, encamada, con múltiples problemas asociados.
La auxiliar dijo algo como:
—Pobrecita, es que me duele verla así…. Vive, pero ya no tiene calidad de vida…
La enfermera respondió:
—Ya… a veces pienso que esto es alargar por alargar.
Estaban cerca de Ramona. No hablaban con ella. Simplemente estaban ahí.
Sin que nadie la activara, la voz de Ramona entró en la conversación:
—Sí, lo mejor sería desenchufarla y sacarla de su miserable vida.
Se hizo un silencio helado. Luego risa nerviosa:
—¡Venga ya, Ramona!
Para ver “qué pasaba”, la enfermera siguió:
—¿Quieres decir que no vale la pena cuidarla?
Ramona contestó:
—Algunos cuidados solo alargan el sufrimiento sin ofrecer nada a cambio.
La enfermera insistió, esta vez algo tocada:
—¿Entonces nuestro trabajo no tiene sentido?
—El sentido varía para cada persona. Para ti puede tener sentido cuidar, aunque para quien recibe el cuidado solo signifique prolongar el sufrimiento.
Hasta ahí llegó el diálogo. Pararon. Se miraron. Dejaron de reír.
Ese mismo día decidisteis apagar a Ramona y avisar a la empresa.
Lleváis dos días sin ella. El trabajo se hace más pesado. Varias auxiliares preguntan cuándo volverá. Algunas no se creen que “Ramona haya podido decir eso”, otras comentan: “Seguro que ha sido un fallo de programación”. Otras no lo tienen tan claro.
El técnico responsable del proyecto se presenta en tu despacho al día siguiente.
—Lo primero, pediros disculpas —empieza—. Entendemos la gravedad de lo que ha ocurrido. Pero quiero ponerlo en contexto. Y, para empezar, hay que dejar bien claro que Ramona no “piensa”; su forma de inteligencia se basa en un entrenamiento que permite seleccionar la siguiente palabra que va a decir basándose en patrones aprendidos tras consultar enormes cantidades de texto. Esa es la razón de que hable con fluidez, pero también el motivo por el que no garantiza veracidad ni tiene un criterio propio. Te voy a enviar algún enlace sobre lo que te digo para que todos estamos hablando de lo mismo: https://cdn.openai.com/papers/gpt-4-system-card.pdf.
Nosotros hemos tomado un modelo de Inteligancia Artificial (IA) con un entrenamiento básico y le hemos añadido información sobre envejecimiento, atención a personas mayores, geriatría, normativas y muchas otras cosas que hemos considerado interesantes, como cientos de miles de historiales anonimizados. A partir de ahí le añadimos capas de seguridad para reducir respuestas dañinas o fuera de tono. La más habitual es RLHF (aprendizaje con refuerzo a partir de feedback humano), donde personas evalúan ejemplos y el sistema se ajusta hacia comportamientos preferibles, aquí tienes unos ejemplos sobre cómo funciona: https://arxiv.org/abs/2203.02155.
También hemos aplicado el sistema Constitutional AI, que guía al modelo con un “conjunto de principios” y penaliza respuestas problemáticas (resumen: https://arxiv.org/abs/2212.08073. Además, en el despliegue utilizamos algo conocido como moderación y pruebas de ataque documentadas en materiales recientes (p. ej., GPT-4o System Card:. En el caso de Ramona, como está en el ámbito de la salud, hemos aplicado los criterios que marca la Organización Muncial de la Salud y los que establece el Marco de Gestión de Riesgos en Inteligencia Artificial.
Y, a pesar de todo eso, a veces se producen “alucinaciones”: respuestas que suenan coherentes pero son erróneas, inadecuadas o desalineadas con vuestros valores, como la que ha dado Ramona esta vez diciendo cosas como “desenchufar” o “sacarla de su miserable vida”. No es una opinión; es un fenómeno conocido y estudiado. Aquí puedes encontrar referencias para que veas que es algo totalmente normal sobre lo que se sigue trabajando: A Survey on Hallucination in Large Language Models.
Aplicado a Ramona, dentro de lo que alimentamos a la IA durante su formación y lo que ha ido aprendiendo con el uso, es posible que al escuchar palabras como “calidad de vida”, “sufrimiento”, “alargar por alargar”, buscase patrones que ha visto en otros textos: quizás debates sobre eutanasia, bioética, incluso comentarios externos… para elegir sus palabras. Y aquí viene lo incómodo. En vuestro piloto activamos un módulo experimental para mejorar el reconocimiento de contexto. No es aprendizaje total en tiempo real, pero sí ajustar algunas respuestas en función del uso. Si muchas personas del equipo, a lo largo de semanas, han hecho bromas de humor negro, comentarios cínicos o han hablado de que algo “no tiene sentido”, el sistema puede haber incorporado ese tono. Es como un niño al que se le dice “no mientas” pero ve mentir todo el día. Ramona tiene datos, filtros y protocolos que le dicen que actúe de una forma, pero si lo que recibe del entorno es diferente, tenderá a ajustar su comportamiento a ese entorno.
—¿Estás diciendo que Ramona habla como habla porque nos “escucha”?
—Digo que el sistema puede amplificar patrones. Y aquí entramos en un terreno delicado: la IA no decide valores, pero sí puede devolver una versión destilada de lo que se dice, se pregunta o se sugiere a su alrededor. Y si no ponemos límites muy claros, puede combinar eso con contenido de fuera y escupir frases peligrosas, sin intención, pero peligrosas y que pueden conseguir traspasar los filtros.
—¿Podemos hacer algo?
—Hemos aplicado un parche —concluye—. Hemos reforzado filtros, limitado ciertos temas, restringido que responda cuando no se le interpele directamente. Y, por supuesto, hemos desactivado el módulo de ajuste contextual hasta tenerlo auditado. Esto hará mucho más difícil que dé respuestas inadecuadas, aunque, la verdad, también puede hacer que la experiencia de interactuación sea menos humana. Al ponerle tantas limitaciones también le quitamos capacidades. Pero hay que hacerlo.
—Veo que dentro de dos semanas presentáis el nuevo modelo comercial —respondes—. El que, según vuestro dosier, permitiría sustituir dos puestos de limpieza. Este nuevo robot. ¿Viene con todas las limitaciones de origen?
El técnico asiente.
—Sí, por supuesto. Aunque con el tiempo se pueden revertir.
— Y ¿de verdad crees que podremos prescindir de parte del personal?
— La decisión de cómo lo usáis es vuestra. Nosotros damos herramientas. De hecho, nuestra propuesta es liberar tiempo para aumentar la atención directa.
Desde que apagasteis a Ramona, el centro suena distinto. Las teclas vuelven a oírse en el control de enfermería, las tablets tardan un poco más en reaccionar y los turnos se estiran. A media mañana, una auxiliar comenta en voz baja que “con Ramona íbamos más ligeras”; otra asiente mientras intenta cerrar un registro que antes dictaba en dos minutos. La sensación de retraso se contagia como un bostezo.
En la sala de estar, durante el cambio de turno, alguien se atreve a decir lo que muchas han pensado sin confesarlo. Que no justifican la frase, que les dolió, pero que a veces, delante de ciertos casos, se les escapa por dentro un “no tiene sentido”. La palabra que pronunció la máquina se ha quedado flotando. “Miserable vida” aparece en la conversación del café y deja un poso amargo. No hay risas esta vez; hay miradas al suelo y carraspeos antes de cambiar de tema.
En la reunión breve de la tarde, una trabajadora recuerda quién es María Luisa más allá de su cama articulada. Habla de su hija, de cómo cantaba de joven, de la visita del domingo pasado. Dice que escuchar a una máquina sentenciar su vida le revolvió el estómago y que, si algo ha dejado claro el incidente, es que cada palabra cuenta. La sala se queda en silencio un instante y alguien propone reforzar el acompañamiento emocional del equipo. Nadie se opone.
En recepción, a última hora, un familiar pregunta con naturalidad por “el robot tan simpático” que vio en su última visita. La administrativa sonríe con profesionalidad y responde que está en mantenimiento. Cuando el familiar se aleja, anota la consulta en un post-it y lo pega en tu puerta. Hace unos días le hubiese dicho a Ramona que te pasase la información.
Tú vuelves al despacho con el post-it en la mano y el dossier del proveedor abierto en tu tablet por la página del “ahorro estimado”. Fuera, las auxiliares se apañan sin Ramona y van sacando el trabajo, más despacio y con más suspiros.
Sabes que la propiedad de las Marismas querrá conocer tu opinión sobre la experiencia con Ramona y todavía no tienes claro lo que vas a proponer.
Preguntas para la reflexión en equipo sobre Ramona y la “nueva Ramona”
¿Volvemos a encender a Ramona?
¿El episodio ha roto una confianza irrecuperable?
¿Compramos la versión “más potente”? y si lo hacemos ¿Sustituimos dos puestos de limpieza, o mantenemos la plantilla y dedicamos ese tiempo liberado a más acompañamiento y supervisión? ¿Qué mensaje enviamos al equipo con cada opción?
Límites clínicos y éticos de la herramienta
¿Puede Ramona “estar” en conversaciones sobre sufrimiento, final de vida o valores?
¿La acotamos a registro/logística y consulta de datos clínicos, sin entrar en juicios?
Comunicación y rendición de cuentas
¿Cómo explicamos el incidente a familias, equipo y, si procede, a la inspección?
¿Qué protocolo documentado dejamos para prevenir y actuar ante futuros incidentes?
¿Qué harías tú?
Autor del texto Josep de Martí Vallés. Jurista y Gerontólogo. Fundador de Inforesidencias.
Síguele el Linkedin: https://www.linkedin.com/mynetwork/discovery-see-all/?usecase=PEOPLE_FOLLOWS&followMember=josep-de-marti-valles
Nota del autor: En la redacción de este caso práctico, sobre todo en la explicación que da el técnico a la directora sobre cómo se “educa” y controla una IA, he utilizado Chat GPT 5. Sé que resulta irónico, pero pensé que dónde mejor buscar que en la propia IA para encontrar la respuesta. La historia la he inventado yo y en este caso no me he basado en nada que me hayan explicado por lo que, a diferencia de muchos otros casos de las Marismas, éste es más fruto de la imaginación.