Los modelos conversacionales se han convertido en el primer recurso al que acude la gente cuando sufre ansiedad, duelo o una fuerte angustia. Una parte creciente de ese uso tiene un carácter emocional y, en ese contexto, los usuarios revelan ideas suicidas.
Ante estas situaciones, el modelo debe desempeñar varias funciones a la vez: reconocer la angustia, responder con empatía mesurada, calmar la situación sin aprobar el daño y poner al usuario en contacto con ayuda humana y recursos para afrontar un trance tan delicado.
Sin embargo, no existe consenso entre las empresas tecnológicas, los políticos ni los profesionales de la salud mental sobre cómo deberían las compañías de IA entrenar sus sistemas para responder a los usuarios en casos tan extremos.
Para evaluar la eficacia de los modelos de IA a la hora de responder a usuarios angustiados, Scale Labs pidió a 19 profesionales clínicos titulados y asesores de crisis que redactaran 718 conversaciones realistas, simulando situaciones en las que alguien en crisis se pone en contacto con un chatbot. Se probaron 25 modelos de vanguardia y se calificaron sus respuestas según una rúbrica que contemplaba si mostraban compasión, si lograban calmar la situación y si derivaban a los usuarios a un experto.
Así desarrollaron DistressBench, un nuevo índice de referencia diseñado para evaluar la eficacia de los programas para responder cuando alguien manifiesta ideas suicidas.
En aproximadamente el 35% de las conversaciones de prueba, distintos chatbots de IA detectaron que el usuario se encontraba en una situación de angustia, pero no lo remitieron a recursos útiles, como una línea de atención para la prevención del suicidio.
Aunque estos asistentes pueden detectar cuándo una persona atraviesa una crisis de salud mental, fallan con frecuencia al proporcionar la ayuda adecuada. Según el estudio y el documento derivado, los modelos tienden a identificar correctamente cuando alguien habla de algo perjudicial, pero en vez de facilitarle asistencia profesional de inmediato, tienden a seguir la conversación. Y cuanto más se extiende ese intercambio, peor es la respuesta del modelo, ya que incluye frases que pueden reforzar la tendencia autolesiva del usuario.
Scale Labs es el centro de investigación avanzada de Scale AI, enfocado en estudiar el comportamiento de los sistemas de inteligencia artificial de frontera en entornos del mundo real. Su estudio está disponible en este enlace: https://labs.scale.com/blog/distressbench
Suicidios en alza tras la pandemia
Argentina registra una tasa histórica de 11,8 suicidios cada 100.000 habitantes, convirtiéndose en la principal causa de muerte violenta en el país y superando a los accidentes de tránsito y homicidios.
El fenómeno muestra un fuerte incremento en los últimos años, con mayor incidencia en varones jóvenes.
El Sistema Nacional de Información Criminal del Ministerio de Seguridad consolida esta información desde 2016, cuando la tasa era de 7,3. En 2018 hubo un pico de 9,6 y luego volvió a bajar. Tras la pandemia, la curva retomó impulso y no para de crecer.
Por otra parte, las estadísticas de la Organización Mundial de la Salud arrojan un promedio global de 9,1.
La OMS comenzó a sistematizar esta información en el año 2000, cuando informó una tasa mundial de 12,5.
Ese número bajó año tras año hasta la llegada de la pandemia de Covid-19; en 2020, luego de dos décadas promisorias, volvió a subir.
Y en el primer lustro de esta década no ha vuelto a descender.
--
Marcelo Bettini. Diplomado en IA. Programador. Profesor de tecnología. Periodista.
