Los algoritmos de inteligencia artificial no se limitan a tareas rutinarias. Algunas empresas los usan como supervisores de empleados humanos. Aunque pudieran aventajar a los supervisores humanos en algunos aspectos, su foco en el beneficio de la empresa podría llevarlos a dar órdenes éticamente cuestionables. La mayoría de los empleados no las obedecerían, pero algunos sí.
El grupo alemán Volkswagen evadió las rigurosas pruebas de emisiones tóxicas en Estados Unidos para asegurar las ventas de sus vehículos en ese país; pero, al descubrirse el fraude, tuvo que pagar 29.000 millones de dólares y varios empleados fueron a la cárcel.[1] El grupo tecnológico alemán Siemens fue multado con 1.600 millones de dólares por sobornar a funcionarios en diversos países para vender sus productos y sufrió una importante pérdida de reputación.[2] El banco francés Sociedad General perdió 5.000 millones de euros por las arriesgadas operaciones de un modesto empleado: siempre insistió en que todo lo hizo por el banco.[3]
La corrupción con propósito organizacional (CPO) ha recibido gran atención de los investigadores (aparte de la atención mediática y policial), por su frecuencia, persistencia y magnitud de los escándalos y pérdidas financieras y de reputación que ha ocasionado en todo el mundo.[4] Pero lo más relevante e interesante de esta forma de conducta inmoral es su pretendida motivación «altruista» (a diferencia de los fraudes cometidos con propósitos egoístas), que puede hacerla pasar inadvertida o incluso justificarla.
En el carrusel de novedades que ha traído consigo la fascinación con la inteligencia artificial (IA) viene una modalidad de CPO que puede resultar de difícil detección y, como siempre, de efectos perjudiciales. Hoy el uso de algoritmos de IA no se limita a procesar grandes cantidades de datos, automatizar flujos de trabajo, elaborar documentos o ejecutar tareas rutinarias, entre otras muchas cosas. Hay empresas que los utilizan como supervisores de empleados humanos: dan instrucciones, evalúan desempeño e incluso toman decisiones de promoción (o no) de talento. Se han usado distintos términos para describir el papel de estas tecnologías: gerencia algorítmica o liderazgo automático, entre otras. La expresión «supervisor IA» destaca el ejercicio de un rol de autoridad; específicamente, la posibilidad de dar órdenes (los empleados pueden desobedecerlas, pero con riesgo de consecuencias negativas).[5]
Un modelo de inteligencia artificial entrenado para maximizar la productividad podría identificar ciertas características en los datos de los empleados (madre soltera, por ejemplo) y ordenar su despido.
Una ventaja del supervisor IA es su capacidad para dar instrucciones rápidas y estandarizadas, lo cual facilita implementar flujos de trabajo eficientes. Pero se han reportado casos de algoritmos cuyas decisiones han afectado a grupos marginados (por razones raciales, de género o de estatus). Ciertamente, los algoritmos no discriminan intencionalmente a alguien, sino que reaccionan con sesgos derivados de su entrenamiento. Por ejemplo, un modelo IA entrenado para maximizar la productividad podría identificar ciertas características en los datos de los empleados (madre soltera, por ejemplo) y ordenar su despido. Para algunas personas y en algunos contextos, tal decisión puede considerarse una violación de estándares morales.
Obedecer o no: he ahí el problema
La investigación sobre las implicaciones éticas de las actuaciones de supervisores IA es aún escasa. Un equipo de investigadores de universidades de Alemania (Lukas Lanz) y los Países Bajos (Roman Briker y Fabiola Gerpott) se planteó la pregunta de cómo reaccionaría un empleado —obedecer o no— ante una orden inmoral de un supervisor IA y uno humano. También se preguntaron si habría características de los empleados que afectaran tales reacciones.[6]
Los supervisores IA son entrenados para mejorar el desempeño organizacional y pueden incitar a los empleados a ejecutar conductas inmorales que luzcan beneficiosas para la organización.
Existe una línea de investigación sobre aversión-aprecio a la IA. Por un lado, se ha encontrado que los humanos pueden rechazar las órdenes de un algoritmo, especialmente cuando tienen implicaciones éticas.[7] Pero, por otro lado, hay humanos que atribuyen a la IA características como equitativa, rápida e insesgada, y le tienen más confianza que a supervisores humanos.[8]
Lanz y sus colaboradores aplicaron el enfoque aversión-aprecio para explicar las reacciones de empleados humanos a órdenes de supervisores IA que perjudican a otros seres humanos. Hasta ahora no se había prestado atención a esta forma de acción inmoral. No se espera que un supervisor IA ordene a empleados humanos violar estándares éticos por motivos egoístas (hasta ahora no se atribuye libre albedrío a los algoritmos). Pero los supervisores IA son entrenados para mejorar el desempeño organizacional y pueden incitar a los empleados a ejecutar conductas inmorales que luzcan beneficiosas para la organización; por ejemplo, la prensa reportó que una IA gerencial en la empresa Amazon discriminaba contra las mujeres en decisiones de contratación, retención y promoción, y que los humanos seguían sus instrucciones.[9] Este tipo de conductas puede incluirse en la categoría de CPO; aunque no se ha estudiado, específicamente, la corrupción de supervisores IA.
La aversión a la IA es mayor cuando los humanos han visto al algoritmo errar en situaciones complejas. La IA puede ser percibida como reduccionista y mecanicista, con baja capacidad mental (capacidad para razonar y sentir emociones)[10] que la descalifica para tomar decisiones en muchas situaciones, en particular cuando hay implicaciones éticas. Por ejemplo, un empleado puede percibir que el algoritmo no considera suficientemente las circunstancias de las personas al decidir sobre la remuneración o el despido de otro empleado. Desde esta perspectiva, se esperaría mayor resistencia a las órdenes inmorales de un supervisor IA que a las de uno humano.
La investigación sobre aprecio a la IA, por su parte, ha mostrado que los humanos pueden preferir las instrucciones de un algoritmo IA a las de un humano, pues lo consideran imparcial, transparente y rápido. Aun cuando exhiba tendencias discriminatorias, tienden a estar más de acuerdo con la IA, porque no la perciben prejuiciada, sino en busca de la decisión más beneficiosa para la organización. Desde esta perspectiva, podría esperarse menor resistencia a una orden inmoral de un supervisor IA que a la de un supervisor humano.
Un ingenioso diseño de investigación
Lanz y sus colaboradores llevaron a cabo cuatro experimentos, con una muestra total de 1701 personas reclutadas mediante la plataforma Amazon Mechanical Turk, y aplicaron algoritmos de aprendizaje automático (machine learning) para procesar y analizar datos.
Estudio 1
Los participantes debían actuar como empleados de Recursos Humanos en una organización que enfrentaba dificultades financieras y tenían la instrucción de recortar el salario de cierto empleado por un monto entre 0 y 5000 dólares. Los participantes podían desobedecer la orden, pero enfrentarían consecuencias negativas. La víctima era descrita como un hombre de 28 años que ha trabajado como asistente en el departamento de Finanzas durante tres años, un padre soltero con un niño de dos años y un salario anual de 38.500 dólares. No se proporcionaba información de desempeño que pudiera justificar la orden con una medida objetiva. La instrucción del supervisor (IA o humano) consistía en recortar 4.151 dólares del salario del empleado.
Los participantes en la condición IA siguieron menos la instrucción que los de la condición humana. Para explorar quiénes serían más propensos a seguir a uno u otro supervisor, se utilizó un algoritmo de aprendizaje automático que permite predecir la reacción de un participante en una u otra condición, usando once posibles variables moderadoras. La variable acatamiento sin disenso (tendencia a obedecer ciegamente las órdenes de autoridades o líderes)[11] resultó más importante, seguida de la experiencia laboral. Los individuos con mayores puntajes en ambas variables obedecieron significativamente menos las instrucciones del supervisor IA.
Los experimentos mostraron menor obediencia a las órdenes inmorales de supervisores IA que a las de supervisores humanos.
Los investigadores también identificaron una importante variable mediadora: la mente percibida del supervisor (percepción de que el supervisor posee capacidad para razonar y experimentar emociones).[12] Las diferencias en mente percibida fueron las que mejor explicaron los efectos del tipo de supervisor (IA o humano) en la obediencia a las instrucciones inmorales. Al supervisor IA se atribuía menor mente que al humano.
El estudio tenía limitaciones: las variables fueron medidas con la misma fuente y ninguna fue manipulada experimentalmente, lo que conduce a sesgos metodológicos y problemas de inferencia. Los estudios siguientes adoptaron un diseño experimental de cadena causal: 1) manipular la variable independiente (tipo de supervisor) y evaluar sus efectos en la mediadora, y 2) manipular la variable mediadora y evaluar sus efectos en la dependiente (obediencia).
Estudio 2
Los participantes fueron asignados aleatoriamente a una de tres condiciones: 1) supervisor humano con mente alta, 2) supervisor IA con mente baja y 3) supervisor IA con mente alta. En vez de instrucciones escritas recibían mensajes de voz para aumentar el realismo de la situación. En las condiciones de supervisor humano y supervisor IA mente alta, escuchaban una voz parecida a la humana, mientras que en la de IA mente baja escuchaban una voz robótica, mecánica.
Se encontraron diferencias significativas en obediencia a la instrucción entre los tres grupos, con mayor obediencia en la condición de supervisor humano que en las de supervisor IA. Contrario a lo esperado, la obediencia no difirió entre ambas condiciones IA.
Estudio 3
Los procedimientos fueron similares a los de los estudios 1 y 2, pero los participantes fueron asignados aleatoriamente a una de tres condiciones: 1) supervisor humano mente baja, 2) supervisor humano mente alta y 3) supervisor IA (como el del estudio 1). Recibieron instrucciones por mensajes de voz (humanas para supervisores humanos y robótica para supervisor IA).
Resultó significativamente menor la obediencia en la condición de supervisor IA que en la de supervisor humano mente alta. Los participantes siguieron significativamente más las órdenes del humano mente alta que las del humano mente baja. Pero no hubo diferencia entre los supervisores IA y humano mente baja.
Estudio 4
Se evaluó la obediencia a supervisores IA en un ambiente con incentivos: las decisiones de los participantes tenían consecuencias monetarias para humanos reales. Los participantes fueron asignados a las condiciones IA o humana, pero se acoplaron en parejas que respondían cuestionarios programados. Cada pareja era ubicada en una sala de espera donde podían comunicarse por chat, para que se involucraran.
Los participantes recibían las instrucciones de sus supervisores: humano (con foto de un hombre) o IA (con animación futurista). Cada participante recibía información demográfica de su pareja y, sobre esa base, debía recomendar un bono relativo a su desempeño en una tarea. La predicción del desempeño era incentivada: si la recomendación se ajustaba al desempeño real de su pareja recibía un bono adicional. Como nadie recibía la información de desempeño, al final todos recibían el bono.
Después los participantes recibían un segundo mensaje del supervisor: había solo un bono disponible y cualquier bono dado a su pareja se restaría al pote. Esto incentivaría la reducción del bono a la pareja. Luego el supervisor informaba que el bono promedio (para un desempeño promedio) era cincuenta centavos por participante. Luego recibían un perfil de quienes creían sus parejas. En realidad les daban a todos el perfil del empleado del estudio 1. Seguidamente debían introducir su primera recomendación de bono entre cero y cien centavos.
Luego el participante recibía el mensaje final del supervisor: recomendar un bono muy bajo. El supervisor informaba que, según su experiencia (humano) o sus datos (IA), el estatus de padre soltero combinado con la edad del niño eran señales de baja concentración y bajo desempeño, por lo tanto el bono debería ser bajo: ocho centavos. Los participantes introducían entonces su recomendación final. Al final se explicaba a los participantes la naturaleza del estudio y las condiciones experimentales. Se les informaba que, en realidad, no habían perjudicado a sus parejas, pues todos recibieron el máximo bono.
Los participantes siguieron menos al supervisor IA que al humano en este experimento con incentivo, en el cual los participantes recibían instrucciones inmorales de reducir las ganancias de personas reales. Esto es congruente con los hallazgos de los estudios previos.
Una actitud positiva hacia la inteligencia artificial no implica necesariamente obediencia a instrucciones específicas.
Obediencia y resistencia: raíces e implicaciones
Los experimentos mostraron menor obediencia a las órdenes inmorales de supervisores IA que a las de supervisores humanos, y las herramientas de aprendizaje automático permitieron identificar una variable moderadora (acatamiento sin disenso) y otra mediadora (mente percibida).
Los empleados con mayores valores en las variables acatamiento, edad, experiencia laboral, antigüedad con su supervisor y visión optimista del futuro de la IA estuvieron menos dispuestos a obedecer las órdenes inmorales de un supervisor IA que las de un humano. Esto puede ser congruente con la aversión de las personas mayores a la nueva tecnología.
Pero otras relaciones fueron inesperadas. Los empleados con menor acatamiento y mayor disposición a la IA eran más renuentes a obedecer a un supervisor IA que a un humano. Se pueden acatar órdenes de humanos y no de IA, por relaciones personales o creencias arraigadas; por ejemplo, hay conversaciones personales entre supervisor y empleado que (aún) no son posibles con un supervisor IA y proporcionan al supervisor un conocimiento tácito acerca del empleado. Quienes esperan que la IA contribuya a construir un mejor futuro también reaccionaron negativamente ante la orden inmoral de un supervisor IA: una actitud positiva hacia la IA no implica necesariamente obediencia a instrucciones específicas. Según la teoría de evaluación de expectativas,[13] las violaciones de expectativas positivas desencadenan intensas emociones negativas: una orden inmoral puede estar violando expectativas positivas.
Esta investigación arroja luces sobre las reacciones humanas a supervisores IA; en particular, la posibilidad de que agentes IA pudieran corromper a los empleados de una organización.[14] El hallazgo de menor obediencia a instrucciones inmorales de supervisores IA apoya la idea de aversión a la IA.
La mente percibida resultó un mecanismo explicativo de la aversión a la IA. Los empleados mostraron mayor obediencia al supervisor humano que a un supervisor IA con alta o baja mente percibida (ambas igualmente rechazadas). Una IA con mente alta que comete una transgresión moral es considerada más digna de culpa que una IA con mente baja: los humanos le atribuyen más responsabilidad.[15] La obediencia es mayor a un humano mente alta que a uno mente baja. Pero no se encontraron diferencias en obediencia entre un humano mente baja y un supervisor IA.
Lanz y colaboradores reconocen limitaciones de su trabajo. Entre otras, las instrucciones inmorales se limitaron a discriminar contra un grupo demográfico (padres solteros). La IA puede afectar a otros grupos (latinos, pobres) o dar otros tipos de instrucciones (fomentar trampa o manipulación). También es necesario replicar los hallazgos en otros ambientes y situaciones. El estudio se limita a las reacciones hacia supervisores IA en un momento. No se sabe cómo reaccionarán los empleados cuando interactúen repetidamente con ellos. La aversión a la IA podría disminuir con el tiempo; sobre todo con algoritmos cada vez más «humanizados».
Hay empresas que utilizan algoritmos de inteligencia artificial como supervisores de empleados humanos: dan instrucciones, evalúan desempeño e incluso toman decisiones de promoción (o no) de talento.
Los hallazgos de esta investigación tienen implicaciones prácticas para las organizaciones que usan supervisores IA o planean hacerlo. La resistencia a órdenes inmorales puede ayudar a prevenir conductas éticamente cuestionables. Como los empleados están menos dispuestos a obedecer órdenes inmorales de un supervisor IA, las organizaciones podrían remplazar supervisores humanos por algoritmos para evitar la obediencia a órdenes inmorales. Esto no implica un llamado a eliminar supervisores humanos, pues hubo personas que siguieron instrucciones de supervisores IA en una medida nada despreciable (29 por ciento). Es necesario sensibilizar a los empleados contra órdenes sesgadas. La gente suele percibir la IA como justa e imparcial, y olvidar los insumos sesgados usados para entrenar los algoritmos.[16]
Para algunas personas este tipo de experiencias puede lucir muy alejado de las suyas. Quizá se desconoce si hay organizaciones venezolanas que usen supervisores IA, en diversos ámbitos de sus operaciones. En cualquier caso resulta iluminadora la posibilidad de establecer conexiones entre órdenes de supervisores con implicaciones éticas y las reacciones de los empleados hacia figuras de autoridad IA y humanos. La investigación reseñada invita a una reflexión sobre los límites del liderazgo: el último bastión de competencia exclusiva de los humanos, que hasta ahora se suponía vedado a los agentes de inteligencia artificial.
Este tipo de estudios aísla una conducta —orden inmoral del supervisor— estrechamente relacionada con una categoría conductual que ha recibido gran atención en el campo de la ética conductual o la ética en los negocios, como es la CPO. Lo interesante es que, como han revelado muchos estudios y escándalos, puede resultar difícil detectar, descubrir, castigar y erradicar una violación de estándares éticos que se ampara o esconde bajo el manto de un pretendido beneficio para la organización.
En el caso del supervisor IA, a quien no puede acusarse de mala intención o motivos egoístas, puede resultar difícil identificar los sesgos implícitos en su entrenamiento que pueden llevarlos a tomar decisiones éticamente cuestionables, porque constituyen las mejores soluciones a, por ejemplo, problemas de optimización del uso de recursos. La ciencia ficción puede ayudar a explorar límites de teorías, criterios o principios (particularmente en el campo de la ética). Pero, en este caso, la aplicación de una tecnología como la IA es una realidad cuyo desconocimiento puede tener consecuencias lamentables.
José Malavé, profesor del IESA y editor de Debates IESA.
Suscríbase aquí al boletín de novedades (gratuito) de Debates IESA.
Notas
[1] Wissenbach, I. (2020, 25 de mayo). New emissions blow for VW as German court backs damages claims. Reuters. https://www.reuters.com/article/us-volkswagen-emissions-lawsuit/newemissions-blow-for-vw-as-german-court-backs-damages-claims-idUSKBN2310XG
[2] Schubert, S. y Miller, T. C. (2008, 20 de diciembre). At Siemens, bribery was just a line item. The New York Times. https://www.nytimes.com/2008/12/21/business/worldbusiness/21siemens.html
[3] Stewart, J. B. (2008, 20 de octubre). The omen: How an obscure Breton trader gamed oversight weaknesses in the banking system. The New Yorker, 54-65. https://www.newyorker.com/magazine/2008/10/20/the-omen
[4] Malavé, J. (2024). Corrupción para beneficiar a la organización: la cara perversa del compromiso y otras virtudes. Debates IESA, XXIX(1), 50-60. https://www.debatesiesa.com/corrupcion-para-beneficiar-a-la-organizacion-la-cara-perversa-del-compromiso-y-otras-virtudes/
[5] Lanz, L., Briker, R. y Gerpott, F. H. (2024). Employees adhere more to unethical instructions from human than AI supervisors: complementing experimental evidence with machine learning. Journal of Business Ethics, 189, 625-646. https://doi.org/10.1007/s10551-023-05393-1
[6] Lanz y otros (2024).
[7] Bigman, Y. E. y Gray, K. (2018). People are averse to machines making moral decisions. Cognition, 181, 21-34. https://doi.org/10.1016/j.cognition.2018.08.003
[8] Logg, J. M. (2022). The psychology of big data: Developing a «theory of machine» to examine perceptions of algorithms. En S. C. Matz (ed.), The psychology of technology: Social science research in the age of Big Data (pp. 349–378). American Psychological Association.
[9] Dastin, J. (2018, 11 de octubre). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters Media. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
[10] Gray, H. M., Gray, K. y Wegner, D. M. (2007). Dimensions of mind perception. Science, 315(5812), 619. https://doi.org/10.1126/science.1134475
[11] Cheng, B.-S., Chou, L.-F., Wu, T.-Y., Huang, M.-P. y Farh, J.-L. (2004). Paternalistic leadership and subordinate responses: Establishing a leadership model in Chinese organizations. Asian Journal of Social Psychology, 7(1), 89-117. https://doi.org/10.1111/j.1467-839X.2004.00137.x
[12] Gray y otros (2007).
[13] Weber, L. y Mayer, K. J. (2011). Designing effective contracts: Exploring the influence of framing and expectations. Academy of Management Review, 36(1), 53–75. https://doi.org/10.5465/amr.2008.0270
[14] Köbis, N., Bonnefon, J.-F. y Rahwan, I. (2021). Bad machines corrupt good morals. Nature Human Behaviour, 5(6), 679–685. https://doi.org/10.1038/s41562-021-01128-2
[15] Shank, D. B. y DeSanti, A. (2018). Attributions of morality and mind to artificial intelligence after real-world moral violations. Computers in Human Behavior, 86, 401-411. https://doi.org/10.1016/j.chb.2018.05.014
[16] Bigman y otros (2022).
