Contáctanos

Tecnologia computacional

OASI, el primer buscador para encontrar los algoritmos que los gobiernos y las empresas utilizan en los ciudadanos

COMPARTIR:

Publicado

on

Usamos su registro para proporcionar contenido en las formas en que usted ha dado su consentimiento y para mejorar nuestra comprensión de usted. Puede darse de baja en cualquier momento.

  • Creado por la Fundación Eticas, el Observatorio de Algoritmos con Impacto Social, OASI, recopila información de decenas de algoritmos utilizados por Administraciones Públicas y empresas de todo el mundo para conocer más sobre su impacto social.
  • El objetivo es dar acceso público a información tanto de gobiernos como de algoritmos de empresas, y saber quién los utiliza, quién los desarrolla, qué amenazas representan y si han sido auditados, entre otras características.
  • El sesgo y la discriminación del algoritmo suele ocurrir por edad, género, raza o discapacidad, entre otros valores, pero debido a la falta generalizada de transparencia, aún no es posible conocer todas sus consecuencias sobre los grupos afectados.

La Fundación Eticas, organización sin ánimo de lucro que promueve el uso responsable de algoritmos y sistemas de Inteligencia Artificial (IA), ha creado el Observatorio de Algoritmos con Impacto Social (OASI). Este Observatorio introduce un motor de búsqueda para conocer más sobre las herramientas que toman importantes decisiones automatizadas sobre ciudadanos, consumidores y usuarios de todo el mundo.

Actualmente, tanto las empresas como las Administraciones Públicas automatizan las decisiones gracias a algoritmos. Sin embargo, su desarrollo y puesta en marcha no sigue controles de calidad externos, ni es tan transparente como debe ser, lo que deja desprotegida a la población. Con este buscador cualquiera puede conocer más sobre estos algoritmos: quién los ha desarrollado, quién los utiliza, su ámbito de aplicación, si han sido auditados, sus objetivos o su impacto social y las amenazas que representan.

En el momento, OASI recopila 57 algoritmos, pero espera llegar a los 100 en los próximos meses. Entre ellos, 24 ya están siendo aplicados en EE. UU. Por el Gobierno y las grandes empresas tecnológicas. Por ejemplo, ShotSpotter, una herramienta de algoritmo implementada por el Departamento de Policía de Oakland para combatir y reducir la violencia armada a través de micrófonos de monitoreo de sonido y un algoritmo para predecir el posible abuso y negligencia infantil utilizado por el condado de Allegheny, Pensilvania. Otro ejemplo de una empresa es Rekognition, el sistema de reconocimiento facial de Amazon, que fue auditado por el MIT Media Lab a principios de 2019, y se encontró que funcionaba sustancialmente peor al identificar el género de una persona si era mujer o de piel más oscura.

La discriminación más común es por motivos de edad, género, raza o discapacidad. producido involuntariamente por desarrolladores que carecen de habilidades socioeconómicas para comprender el impacto de esta tecnología. En este sentido, estos ingenieros diseñan los algoritmos basándose únicamente en habilidades técnicas, y dado que no hay controles externos y parece estar funcionando como se esperaba, el algoritmo sigue aprendiendo de datos deficientes.

Dada la falta de transparencia sobre el funcionamiento de algunos de estos algoritmos, la Fundación Eticas, además del lanzamiento de OASI, está desarrollando un proyecto de auditorías externas. El primero es VioGén, el algoritmo que utiliza el Ministerio del Interior español para asignar riesgo a las mujeres que buscan protección tras sufrir casos de violencia doméstica. Eticas realizará una auditoría externa a través de ingeniería inversa y datos administrativos, entrevistas, informes o guiones de diseño, para recopilar resultados a escala. Todo ello con el objetivo de detectar oportunidades de mejora en la protección de estas mujeres.

“A pesar de la existencia de métodos algorítmicos de control y auditoría para asegurar que la tecnología respete la normativa vigente y los derechos fundamentales, la Administración y muchas empresas siguen haciendo oídos sordos a las solicitudes de transparencia de ciudadanos e instituciones”, declaró Gemma Galdon, fundadora de Fundación Eticas. . “Además de OASI, luego de varios años en los que hemos desarrollado más de una decena de auditorías para empresas como Alpha Telefónica, Naciones Unidas, Koa Health o el Banco Interamericano de Desarrollo, también hemos publicado una Guía de Auditoría Algorítmica para que cualquiera puede realizarlos. El objetivo es siempre sensibilizar, brindar transparencia y recuperar la confianza en la tecnología, que en sí misma no tiene por qué ser dañina ”.

En este sentido, algoritmos que se entrenan con técnicas de aprendizaje automático utilizando una gran cantidad de datos históricos para "enseñarles" a elegir en base a decisiones pasadas. Habitualmente estos datos no son representativos de la realidad socioeconómica y cultural sobre la que se aplican, pero en muchas ocasiones reflejan una situación injusta que no se pretende perpetuar. De esta forma, el algoritmo estaría técnicamente tomando decisiones "correctas" según su entrenamiento, aunque la realidad es que sus recomendaciones o predicciones están sesgadas o discriminadas.

Anuncio

Sobre la Fundación Eticas

Fundación Eticas trabaja para plasmar en especificaciones técnicas los principios que guían a la sociedad, como la igualdad de oportunidades, la transparencia y la no discriminación que se encuentran en las tecnologías que toman decisiones automatizadas sobre nuestras vidas. Busca un equilibrio entre los valores sociales cambiantes, las posibilidades técnicas de los últimos avances y el marco legal. Para ello, audita algoritmos, verifica que se apliquen las garantías legales al mundo digital, especialmente a la Inteligencia Artificial, y realiza una intensa labor de sensibilización y difusión de la necesidad de una tecnología responsable y de calidad.

Comparte este artículo:

EU Reporter publica artículos de una variedad de fuentes externas que expresan una amplia gama de puntos de vista. Las posiciones adoptadas en estos artículos no son necesariamente las de EU Reporter.

Tendencias