Por Kalyeena Makortoff para The Guardian. Comenzó con un solo tweet en noviembre de 2019. David Heinemeier Hansson, un empresario tecnológico de alto perfil, criticó la tarjeta de crédito recién lanzada de Apple y la calificó de “sexista” por ofrecerle a su esposa un límite de crédito 20 veces menor que el suyo.
Las acusaciones se extendieron como la pólvora, y Hansson enfatizó que la inteligencia artificial, ahora ampliamente utilizada para tomar decisiones de préstamo, era la culpable. “No importa lo que pretenda cada representante de Apple, lo que importa es lo que está haciendo EL ALGORITMO en el que confían completamente. Y lo que hace es discriminar. Eso es jodido.
Si bien Apple y sus suscriptores Goldman Sachs finalmente fueron absueltos por los reguladores de EE. UU. el año pasado por violar las reglas de préstamos justos, provocó un debate más amplio sobre el uso de la IA en la industria pública y privada.
Los políticos de la Unión Europea ahora planean lanzar la primera plantilla global integral para regular la IA, ya que las instituciones automatizan cada vez más las tareas rutinarias para aumentar la eficiencia y, en última instancia, reducir los costos.
Conocida como la Ley de Inteligencia Artificial, esta legislación tendrá ramificaciones más allá de las fronteras de la UE y, al igual que el Reglamento General de Protección de Datos de la UE, se aplicará a todas las instituciones, incluidos los bancos del Reino Unido, que atienden a los clientes de la UE. “El impacto de la ley, una vez aprobada, no se puede subestimar”, dijo Alexandru Circiumaru, director de políticas públicas europeas del Instituto Ada Lovelace.
Dependiendo de la lista final de la UE de usos de “alto riesgo”, se establecerán reglas estrictas sobre cómo se utiliza la IA para evaluar las solicitudes de empleo, universidad o asistencia social o, en el caso de los prestamistas, evaluar la solvencia de los posibles prestatarios.
Los funcionarios de la UE esperan que las reglas, con supervisión adicional y restricciones sobre los tipos de modelos de IA que se pueden usar, reduzcan el tipo de discriminación basada en máquinas que podría afectar decisiones que cambian la vida, como B. si puede pagar una casa o un préstamo estudiantil. .
“La IA se puede usar para observar su salud financiera general, incluidos los gastos, los ahorros y otras deudas, para obtener una imagen más holística”, dijo Sarah Kocianski, consultora fintech independiente. “Si se diseñan adecuadamente, estos esquemas pueden proporcionar un acceso más amplio a crédito asequible”.
Sin embargo, uno de los mayores peligros es el sesgo involuntario, donde los algoritmos niegan crédito o cuentas a ciertos grupos, incluidas mujeres, inmigrantes o personas de color.
Parte del problema es que la mayoría de los modelos de IA solo pueden aprender de los datos históricos que han recibido, lo que significa que pueden aprender a qué tipos de clientes les han prestado anteriormente y qué clientes han sido marcados como no confiables. “Existe el riesgo de que estén sesgados sobre cómo se ve un ‘buen’ prestatario”, dijo Kocianski. “El género y el origen étnico en particular a menudo juegan un papel en los procesos de toma de decisiones de la IA debido a los datos que se enseñan: factores que no son relevantes para la capacidad de pago de una persona.
Además, algunos modelos están diseñados para ignorar las llamadas características protegidas, lo que significa que se supone que no deben tener en cuenta la influencia del género, la raza, el origen étnico o la discapacidad. Pero estos modelos de IA pueden, según el análisis de otros puntos de datos, como B. Los códigos postales, que se pueden correlacionar con grupos históricamente desfavorecidos que nunca antes solicitaron, aseguraron o pagaron un préstamo o una hipoteca, todavía discriminan.
Y en la mayoría de los casos, cuando un algoritmo toma una decisión, nadie entiende cómo llegó a esa conclusión, lo que lleva a lo que comúnmente se conoce como “síndrome de la caja negra”. Esto significa que los bancos, por ejemplo, pueden tener dificultades para explicar qué podría haber hecho de manera diferente un solicitante para calificar para un préstamo o tarjeta de crédito, o si cambiar el género de un solicitante de hombre a mujer podría producir un resultado diferente.
Circiumaru dijo que la ley de IA, que podría entrar en vigor a fines de 2024, beneficiaría a las empresas tecnológicas que lograron desarrollar los llamados modelos de “IA confiable” que cumplen con las nuevas regulaciones de la UE.
Darko Matovski, director ejecutivo y cofundador de la startup de IA causaLens con sede en Londres, cree que su empresa les pertenece.
Lanzada públicamente en enero de 2021, la startup ya otorgó la licencia de su tecnología al administrador de patrimonio Aviva y a la firma de comercio cuantitativo Tibra, y dice que varios bancos minoristas están en proceso de firmar acuerdos con la compañía antes de que entren en vigencia las regulaciones de la UE. Entrará en vigor.
El empresario dijo que ofrece una forma más avanzada de IA que evita posibles sesgos al tener en cuenta y controlar las correlaciones discriminatorias en los datos. “Los modelos basados en correlación aprenden las injusticias del pasado y simplemente las reproducen en el futuro”, dijo Matovski.
Él cree que la proliferación de los llamados modelos causales de IA como el suyo conducirá a mejores resultados para los grupos marginados que pueden haber perdido oportunidades educativas y financieras.
“Es realmente difícil entender el alcance del daño ya causado porque realmente no podemos inspeccionar este modelo”, dijo. “No sabemos cuántas personas abandonaron la universidad debido a un algoritmo fuera de control. No sabemos cuántas personas no pudieron obtener su hipoteca debido al sesgo del algoritmo. Simplemente no lo sabemos”.
Matovski dijo que la única forma de protegerse contra la discriminación potencial es usar características protegidas como la discapacidad, el género o la raza como entrada, pero garantizando que la decisión no cambiará independientemente de esas entradas específicas.
Dijo que se trata de asegurarse de que los modelos de IA reflejen nuestros valores sociales actuales y eviten perpetuar elecciones racistas, capaces o misóginas del pasado. “La sociedad piensa que debemos tratar a todos por igual, independientemente de su género, código postal, raza. Así que los algoritmos no solo tienen que intentarlo, tienen que garantizarlo”, dijo.
Si bien es probable que las nuevas reglas de la UE contribuyan en gran medida a frenar el sesgo de la máquina, algunos expertos, incluidos los del Instituto Ada Lovelace, instan a los consumidores a tener derecho a quejarse y buscar reparación si creen que esto se puso en peligro. . en desventaja
“Los riesgos que plantea la IA, particularmente cuando se aplica en ciertas circunstancias, son reales, significativos y ya existen”, dijo Circiumaru.
“La regulación de la IA debe garantizar que las personas estén adecuadamente protegidas contra daños al aprobar o desaprobar el uso de la IA, y que haya recursos disponibles cuando los sistemas de IA aprobados no funcionen o causen daños. No podemos pretender que los sistemas de IA aprobados siempre funcionen a la perfección y prepararnos para casos en los que no lo hagan”.
