Es impreciso dar a unos algoritmos el nombre «inteligencia artificial». Parece más bien una antigua estrategia de mercadeo: usar un nombre sexi para llamar la atención de posibles clientes. Un software no expresa una inteligencia distinta a la del desarrollador de los códigos y modelos matemáticos.

El 20 de enero de este año la revista Fortune publicó, en su versión electrónica, un artículo titulado «La inteligencia artificial está transformando la entrevista de trabajo, y todo lo que viene después», firmado por la periodista Maria Aspan (2020). En sus líneas resuenan las reflexiones expuestas por la matemática Cathy O’Neil (2018) en una obra ya familiar para muchos lectores en lengua española: un alerta sobre el número creciente de decisiones de relevancia social que son delegadas en máquinas de tecnología compleja, pero también acerca del peligroso simplismo que se oculta muchas veces detrás de la programación de algunos algoritmos informáticos.

La división del trabajo surgió como una necesidad humana durante la transición del cazador-recolector al agricultor-criador. También ayudó la tendencia a automatizar tareas y procedimientos con miras a satisfacer las necesidades del mayor número de personas posible. De este modo se explica la expansión de la dinámica creadora: el fuego, la rueda, el molino, los telares, viviendas, barcos y monumentos. Sin embargo, con la invención de la máquina de vapor y la producción de electricidad a gran escala se aprecia mejor el efecto de la técnica y la ciencia en la automatización.

La delegación de decisiones en algoritmos no exime a un profesional de responsabilidades

Entre los desarrollos tecnológicos concebidos inicialmente como inventos estrictamente beneficiosos se destaca el transporte aéreo. Con el tiempo se cobró conciencia de que un avión moviliza bienes y personas, pero también está en capacidad de transportar armas o servir de mecanismo de vigilancia en tiempos de guerra, para saber dónde y cuándo disparar. Tales posibilidades se complementaron y se expandieron con el perfeccionamiento del radar y la automatización de la capacidad de cálculo de los sistemas de defensa antiaérea.

Un pensador que se nutrió de este ambiente de grandes avances tecnológicos fue el matemático Norbert Wiener (1961, 1971), quien a principios de los años cincuenta del siglo XX publicó un par de libros visionarios que sentaron las bases para el debate acerca de las consecuencias de la automatización en la estructura social. Aspectos como la responsabilidad social del científico y el peligro de la proliferación de noticias falsas con fines propagandísticos (las actuales fake news) cobraron importancia a la luz de las consecuencias del clima de opinión beligerante que desembocó en la Segunda Guerra Mundial y el lanzamiento de dos bombas nucleares en Japón.

La mano que «mece la cuna»

En 1952 el escritor estadounidense Kurt Vonnegut se valió del género de la novela distópica para alertar a sus lectores acerca de los riesgos de un progreso científico desvinculado del pensamiento ético. En La pianola describe una sociedad cuyas clases sociales son determinadas a partir de datos arrojados por computadoras. El protagonista es un ingeniero favorecido por la clasificación elaborada por las máquinas; una persona que se cuenta, por lo tanto, entre los miembros de la clase dominante.

Vonnegut desarrolla también un personaje que de manera casi humorística representa la «antinota»: un hombre extremadamente rico que trata de ser convencido, por la alta dirigencia de la jerarquía, de adoptar en un país del llamado Tercer Mundo un sistema de control por computadora. La cosa termina con el fracaso de la tan ansiada venta, dado que la tecnología informática, centralizada y planificada, no ofrece nada que el líder totalitario no pueda alcanzar a merced de sus poderes sobre la sociedad.

El protagonista de La pianola, casado con un mujer ambiciosa y arribista, toma conciencia de la naturaleza profundamente alienante del sistema jerárquico y se une a un «movimiento de liberación», que alimentará una reacción popular violenta que el sistema es incapaz de anticipar. Uno de los mensajes fundamentales es que, sin propuestas alternativas, los rebeldes antisistema están condenados a servir de parteros del caos… A grandes rasgos, la situación novelada por Vonnegut ilustra las consecuencias que pueden derivarse de la implantación de un modelo de decisión bajo la responsabilidad de un «algoritmo».

La posibilidad de que las decisiones delegadas en máquinas terminen en problemas graves y complejos centra la referida investigación de O’Neil. Tras una incursión profesional en empresas de tecnología, y luego también de familiarizarse con las implicaciones sociales de los denominados datos masivos, O’Neil recopila un conjunto de casos tomados de la sociedad informatizada y en red.

En un proceso de decisión interactúan un agente (quien decide), un sistema (que se verá afectado por la decisión) y un entorno (del cual ambos forman parte)

En un proceso de decisión, en su esquema más simple, interactúan un agente (quien decide), un sistema (que se verá afectado por la decisión) y un entorno (del cual ambos forman parte). El agente tiene a su disposición una lista de opciones, cada una de las cuales implica una (inter)acción (con o) sobre el sistema. A cada acción ―que puede depender o no del entorno― el sistema responde de una o más posibles maneras. Uno de los supuestos principales es que el agente dispone de un mapa, catálogo o entendimiento de todas las relaciones causales, capaces de explicar desde el estado actual del sistema hasta las respuestas del sistema a sus acciones.

Baste un ejemplo para ilustrar la complejidad del asunto. Una persona quiere que un sujeto haga lo que ella desea; es decir, que se comporte de una determinada manera y no de otra. El primer bloque de análisis consiste en que la persona consiga identificar las razones que pudiesen llevar al sujeto a desobedecer la orden. Si fracasa su intuición, si no da con las verdaderas motivaciones del comportamiento del sujeto, ninguna de sus acciones y estrategias tendrá éxito, porque habrá ocurrido lo que se conoce en teoría matemática como «error de modelo». Cuando no se tiene claridad acerca de la reacción del sujeto a cada estímulo pueden ocurrir dos resultados —inhibición o decisión anticipatoria equivocada— capaces de agravar la situación inicial.

Dos temas importantes en el proceso de decisión han sido descritos por Daniel Kahneman (2011) y Frank Partnoy (2012). El primero examina dos maneras de tomar decisiones: una «rápida, automática o refleja», basada en el sistema de respuesta automática del cerebro y determinada por los genes, el entorno y el desarrollo; y otra «pausada o racional», condicionada por la actividad del cerebro analítico. Partnoy, por su parte, se enfoca en las consecuencias de introducir demoras en el proceso de respuesta; un problema no tan exótico para los programadores de trading electrónico.

Hay procesos de decisión con altos grados de automatización, tales como la clasificación crediticia, la evaluación de solicitudes de trabajo y la búsqueda de pareja en internet. ¿Qué implica exactamente la automatización y qué clase de decisiones son delegadas por los usuarios a los programas informáticos?

Tanto para buscar un trabajo como para solicitar un crédito bancario es menester que una persona conteste un cuestionario básico de recolección de datos, el cual incluye preguntas referidas a sexo, edad, nivel educativo, residencia, ingreso, historial crediticio, deudas pendientes, experiencia y estado de salud. Al concluir, la planilla se entrega o, en todo caso, los datos se vacían en una interfaz, de manera directa o indirecta. La persona queda a la espera de una respuesta, que llega mediante un mensaje de texto o un correo electrónico. Por ejemplo: «Su solicitud ha sido rechazada, por favor intente más adelante».

¿Qué hay detrás de esta respuesta? Para saberlo conviene dirigir la mirada al otro lado del proceso: un especialista, a partir de criterios previamente establecidos, analiza y evalúa un montón de datos personales de solicitantes de crédito o aspirantes a un cargo. Luego de seleccionar un conjunto de personas cónsonas con el perfil deseado, el especialista encarga a un programador el desarrollo de una solución tecnológica que sistematice la información y arroje un orden que facilite la escogencia final.

Desde la perspectiva del programador hay un primer problema: la información suministrada por el especialista no incluye a todos los posibles aspirantes. Para asignar un nuevo candidato es necesario identificar a qué grupo pertenecen sus datos. Los criterios desarrollados para resolver este detalle caen bajo el nombre de agrupamiento (clustering) o, en general, aprendizaje estadístico o aprendizaje automático. Hay varias técnicas numéricas para decidir en qué grupo de datos cae un dato nuevo.

La ubicación inicial en grupos proviene de algún analista que clasifica. Luego la manera de asignar algorítmicamente un dato nuevo a un grupo procede de un proceso de modelación estadística; a partir de allí se construye un programa que, al ubicar un dato nuevo en un grupo, produce la decisión final. Es el algoritmo el que acepta o rechaza.

En el caso de los servicios de búsqueda de pareja ―duradera u ocasional― la mecánica guarda cierta similitud. Únicamente difiere en un punto importante: al final es el usuario del servicio quien toma la decisión. Pero al principio el usuario rellena un cuestionario con todo tipo de datos: personales, de salud, educación, ubicación geográfica, características físicas y preferencias (las suyas y las deseadas). El sistema le ofrece una lista de opciones a partir de sus exigencias. No proporciona una lista gigantesca de posibles candidatos, sino una lista estructurada por un programa informático basado en criterios de compatibilidad relevantes para un programador, cuyos criterios estéticos y rasgos de personalidad discrepan del usuario. De allí la importancia de reflexionar acerca de lo verdaderamente importante: cuáles son los criterios de compatibilidad y que tipo de análisis da soporte a la lista de parejas potenciales.

Los riesgos de un algoritmo que minimiza el riesgo

En el segundo capítulo de su libro, O’Neil (2018) se ocupa de los modelos matemáticos que emplearon los especialistas para determinar el riesgo financiero en 2008, el año de la crisis de la acumulación de impagos de las hipotecas subprime y la quiebra de Lehman Brothers.

Sus primeras críticas se dirigen a la falta de controles de los organismos reguladores, así como a la codicia de los agentes de mercado. O’Neil argumenta que para la época era imposible modelar matemáticamente la ocurrencia de incumplimientos, en un entorno que fomentaba y premiaba la asunción de riesgo, cuya peligrosidad aumentaba por la falta de voluntad para implementar controles que impidiesen la crisis. Recuerda al lector que el riesgo crediticio tiene muchas variantes. En el ámbito financiero, por ejemplo, consiste en la posibilidad de incumplimiento de una empresa ―o incluso un país― que emite bonos. Algo parecido ocurre en el mundo bancario, donde también existe la posibilidad de impago de préstamos por parte de pequeños o medianos emprendedores, o personas que se declaren incapaces de honrar los pagos de tarjetas de crédito o hipotecas.

Los modelos matemáticos diseñados para los bonos empresariales y los préstamos individuales no tienen valor predictivo, sino clasificatorio. Aunque existen muchos modelos cuyos creadores aseguran el cálculo exacto de probabilidades y los montos de potenciales pérdidas, lo cierto es que tienen aplicación limitada. En el ámbito individual, el asunto es simple: quien no tiene acceso al crédito se encierra en un círculo vicioso (como no cuenta con historial crediticio le cuesta mucho acceder a crédito). ¿Por qué? Porque la decisión está en manos de un algoritmo. Algo parecido ocurre con el uso de algoritmos clasificatorios para la selección de empleados: a quienes no tienen experiencia laboral les cuesta conseguir empleo y adquirir experiencia laboral porque el software los descarta.

Cuando se analizan los entornos nacionales, las tendencias se consolidan. La población del país crece y ocurre una mayor demanda de bienes y servicios, que a su vez requiere ampliar la fuerza laboral para producir más y más rápidamente. El imperativo de mayor rapidez operativa presiona a favor de la automatización, un proceso tecnológico cuyo efecto principal es hacer prescindible a una masa creciente de trabajadores. Los empleadores, para contratar al personal que no puede ser suplantado por máquinas y robots, apelan a filtros informáticos para minimizar los costos de selección. Esto constituye un terreno fértil para los vendedores de software de selección y clasificación. La clasificación de los aspirantes, así como la asignación de nuevos cargos, presupone una buena dosis de modelos matemáticos y estadísticos basados en datos.

O’Neil se ocupa también de los intentos de resolver situaciones de injusticia (mala administración) mediante algoritmos de clasificación y decisión. El problema de la prevención se manifiesta en las diferentes técnicas implementadas por los cuerpos policiales para evitar o mitigar el crimen. Uno de los métodos propuestos está ligado a modelos de criminalidad bastante absurdos.

En las zonas socioeconómicamente más deprimidas la policía detiene, interroga y revisa a la gente. Una persona es fichada incluso por resistirse a la autoridad, sin necesidad de ser capturada en flagrancia. Luego se ingresan sus datos en un registro; un acto sencillo que da pie a un futuro círculo vicioso (un lazo con realimentación positiva): por tener antecedentes la persona siempre es sospechosa. El resultado de este enfoque puede ser una zona con mayor necesidad de vigilancia policial: los datos sugieren que se ha vuelto más «proclive» a eventos criminales y situaciones irregulares con sus habitantes. Aunque la proporción de casos positivos sea muy baja (por ejemplo, uno por cada mil habitantes), se habrá impulsado una dinámica negativa.

Hay procesos de decisión con altos grados de automatización, tales como la clasificación crediticia, la evaluación de solicitudes de trabajo y la búsqueda de pareja en internet. ¿Qué implica exactamente la automatización?

Al diseñarse un algoritmo que enfatiza los datos relativos al componente étnico, sin prestar mayor atención a las deficiencias estructurales del sistema social (como la desigualdad de oportunidades o posibilidades de ascenso social), se obtiene un instrumento técnico que no ayuda a resolver las causas de fondo. En cuanto a la administración de justicia es frecuente observar el uso de modelos matemáticos para la clasificación de personas de acuerdo con sus supuestas tendencias criminales, particularmente enfocados al cálculo de la probabilidad de reincidencia en conductas antisociales. Las complicaciones surgen cuando estos modelos forman parte de procesos de decisiones legales e imposición de condenas para (supuestamente) prevenir la criminalidad.

Me gusta, no me gusta

Otra situación que llama la atención de O’Neil es el modo como los usuarios de redes sociales —Facebook, Twitter e Instagram— configuran y manifiestan sus preferencias al ejecutar transacciones comerciales en línea o decidir cuáles contenidos informativos consultar (sin reflexionar mucho sobre el hecho de que constituyen microbjetivos de campañas publicitarias, de desinformación o de elección política). En este caso, los algoritmos identifican las preferencias a partir de los hábitos de navegación y se ensañan con los internautas.

Cada vez que un internauta participa en una encuesta de satisfacción, marca un «me gusta», reenvía un tuit o hace clic a una foto «picante» deja registro del conjunto de sus preferencias. La suma de todas esas preferencias constituye una información que allana el camino de un algoritmo que lo encasillará y lo expondrá a mensajes publicitarios y noticias falsas relacionadas con su historial de navegación. Son formas imperceptibles de manipulación, concebidas para inducir y vender ideas, bienes o servicios, mecanismos personalizados vinculados con los resultados de algoritmos de clasificación, que a los ojos de los cibernautas funcionan como auténticas cajas negras en manos de quién sabe quién, para ser usados quién sabe para qué.

Ninguno de esos algoritmos tiene algo de artificial: es un esfuerzo deliberado, basado en modelos matemáticos, de sistematizar atributos y preferencias de modo de anticipar las reacciones del usuario de internet, e incluso identificar y azuzar sus impulsos de compra. Esos algoritmos no son inteligentes ni brutos: su diseño utiliza procesos matemáticos que a veces funcionan y otras no.

La delegación de decisiones en algoritmos no exime a un profesional de responsabilidades. Un algoritmo de análisis de información médica resulta de gran ayuda para establecer un diagnóstico; sin embargo, los profesionales de la salud deben corroborar con sus métodos tradicionales el juicio arrojado por el software.

Es impreciso atribuir a los algoritmos la denominación de «inteligencia artificial», porque tal denominación parece más bien una antigua estrategia de mercadeo: seleccionar un nombre sexi para llamar la atención de posibles clientes. En un software no se expresa una inteligencia distinta a la del desarrollador de los códigos y los modelos matemáticos. Lo que se llama inteligencia artificial es, en esencia, una colección de códigos (programas) capaces de sugerir (y no siempre acertar) soluciones rápidas a problemas complejos.

Una referencia útil para comprender las potencialidades y limitaciones de la inteligencia artificial es el libro El quinteto de Cambridge (Casti, 1998), en cuyas páginas se escenifica una cena imaginaria de cinco famosos intelectuales del Cambridge de la década de los cincuenta del siglo XX: Snow (químico devenido novelista), Turing (matemático), Schrödinger (físico), Haldane (biólogo) y Wittgenstein (filósofo). En el encuentro, los asistentes discuten en qué consiste la inteligencia artificial («¿podrá tener inteligencia una máquina?») y en qué radica el pensar: una controversia histórica que aún está lejos de terminar.

Referencias

• Aspan, M. (2020): «A.I. is transforming the job interview —and everything after». Fortune, 22 de enero. https://fortune.com/longform/hr-technology-ai-hiring-recruitment/
• Casti, J. (1998): The Cambridge quintet. Nueva York: Perseus Books.
• Kahneman, D. (2011): Thinking fast and slow. Nueva York: Farrar, Strauss & Giroux.
• O’Neil, C. (2018): Armas de destrucción matemática: cómo el big data aumenta la desigualdad y amenaza la democracia. Madrid: Capitán Swing.
• Partnoy, F. (2012): Wait: the art and science of delay. Nueva York: Perseus Books.
• Vonnegut, K. (1952): Player piano. Nueva York: Dell Publishing Group.
• Wiener, N. (1961): Cybernetics: control and communication in the animal and the machine. Cambridge: MIT Press.
• Wiener, N. (1971): The human use of human beings: cybernetics and society. Nueva York: Discus.

Información relacionada

• Documentos de la Comisión Europea sobre inteligencia artificial: https://www.europarl.europa.eu/RegData/etudes/BRIE/2019/640163/EPRS_BRI(2019)640163_EN.pdf
• El bloqueo neerlandés al algoritmo de detección de delincuentes: https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html

Henryk Gzyl, profesor del IESA.