La IA sin regular sera catastrofica para la humanidad
Para que la IA sea justa, esto es lo que debemos aprender a hacer
Los
desarrolladores de inteligencia artificial deben aprender a colaborar
con los científicos sociales y las personas afectadas por sus
aplicaciones.
https://www.nature.com/articles/d41586-022-01202-3#Echobox=1651664033
A
partir de 2013, el gobierno holandés utilizó un algoritmo para causar
estragos en la vida de 25.000 padres. El programa informático pretendía
predecir qué personas tenían más probabilidades de cometer fraude en las
prestaciones de guardería, pero el gobierno no esperó a tener pruebas
antes de penalizar a las familias y exigirles que devolvieran años de
prestaciones. Las familias fueron señaladas en función de "factores de
riesgo", como tener bajos ingresos o doble nacionalidad. Como resultado,
decenas de miles de personas se empobrecieron innecesariamente y más de
1.000 niños fueron colocados en hogares de acogida.
Desde la ciudad de Nueva York hasta California y la Unión Europea, se están elaborando numerosas normativas sobre inteligencia artificial (IA). La intención es promover la equidad, la responsabilidad y la transparencia, y evitar tragedias similares al escándalo de las ayudas a la infancia en Holanda.
Pero esto no será suficiente para que la IA sea equitativa. Debe haber conocimientos prácticos sobre cómo construir la IA para que no exacerbe la desigualdad social. En mi opinión, esto significa establecer formas claras de colaboración entre los científicos sociales, las comunidades afectadas y los desarrolladores.
En la actualidad, los desarrolladores que diseñan la IA trabajan en ámbitos diferentes a los de los científicos sociales que pueden anticipar lo que podría salir mal. Como sociólogo centrado en la desigualdad y la tecnología, rara vez consigo mantener una conversación productiva con un tecnólogo, o con mis colegas científicos sociales, que vaya más allá de señalar los problemas. Cuando miro las actas de las conferencias, veo lo mismo: muy pocos proyectos integran las necesidades sociales con la innovación de la ingeniería.
Desde la ciudad de Nueva York hasta California y la Unión Europea, se están elaborando numerosas normativas sobre inteligencia artificial (IA). La intención es promover la equidad, la responsabilidad y la transparencia, y evitar tragedias similares al escándalo de las ayudas a la infancia en Holanda.
Pero esto no será suficiente para que la IA sea equitativa. Debe haber conocimientos prácticos sobre cómo construir la IA para que no exacerbe la desigualdad social. En mi opinión, esto significa establecer formas claras de colaboración entre los científicos sociales, las comunidades afectadas y los desarrolladores.
En la actualidad, los desarrolladores que diseñan la IA trabajan en ámbitos diferentes a los de los científicos sociales que pueden anticipar lo que podría salir mal. Como sociólogo centrado en la desigualdad y la tecnología, rara vez consigo mantener una conversación productiva con un tecnólogo, o con mis colegas científicos sociales, que vaya más allá de señalar los problemas. Cuando miro las actas de las conferencias, veo lo mismo: muy pocos proyectos integran las necesidades sociales con la innovación de la ingeniería.
Para
estimular las colaboraciones fructíferas, es necesario diseñar los
mandatos y los enfoques de forma más eficaz. He aquí tres principios que
los tecnólogos, los científicos sociales y las comunidades afectadas
pueden aplicar juntos para obtener aplicaciones de IA que tengan menos
probabilidades de deformar la sociedad.
Incluir la experiencia vivida. Los llamamientos vagos a una mayor participación en los sistemas de IA no tienen sentido. Casi todo el mundo que interactúa en línea -usando Zoom o haciendo clic en casillas reCAPTCHA- está alimentando los datos de entrenamiento de la IA. El objetivo debe ser obtener las aportaciones de los participantes más relevantes.
De lo contrario, corremos el riesgo de que se produzca un lavado de cara de la participación: un compromiso superficial que perpetúa la desigualdad y la exclusión. Un ejemplo es la Alianza de IA de la UE: un foro en línea, abierto a cualquier persona, diseñado para proporcionar retroalimentación democrática al grupo de expertos designado por la Comisión Europea sobre la IA. Cuando me uní en 2018, era una cámara de eco no moderada de hombres en su mayoría intercambiando opiniones, no representativa de la población de la UE, la industria de la IA o los expertos pertinentes.
Por el contrario, el investigador de trabajo social Desmond Patton, de la Universidad de Columbia en Nueva York, ha construido un algoritmo de aprendizaje automático para ayudar a identificar las publicaciones de Twitter relacionadas con la violencia de las pandillas que se basa en la experiencia de personas negras que tienen experiencia con las pandillas en Chicago, Illinois. Estos expertos revisan y corrigen las notas subyacentes al algoritmo. Patton llama a su enfoque Análisis Contextual de los Medios Sociales (ver go.nature.com/3vnkdq7).
Cambiar el poder. Las tecnologías de IA suelen construirse a petición de personas con poder -empresas, gobiernos, agentes comerciales-, lo que hace vulnerables a los solicitantes de empleo, los candidatos a la libertad condicional, los clientes y otros usuarios. Para solucionar esto, el poder debe cambiar. Los afectados por la IA no deben ser simplemente consultados desde el principio; deben seleccionar qué problemas se van a abordar y guiar el proceso.
Incluir la experiencia vivida. Los llamamientos vagos a una mayor participación en los sistemas de IA no tienen sentido. Casi todo el mundo que interactúa en línea -usando Zoom o haciendo clic en casillas reCAPTCHA- está alimentando los datos de entrenamiento de la IA. El objetivo debe ser obtener las aportaciones de los participantes más relevantes.
De lo contrario, corremos el riesgo de que se produzca un lavado de cara de la participación: un compromiso superficial que perpetúa la desigualdad y la exclusión. Un ejemplo es la Alianza de IA de la UE: un foro en línea, abierto a cualquier persona, diseñado para proporcionar retroalimentación democrática al grupo de expertos designado por la Comisión Europea sobre la IA. Cuando me uní en 2018, era una cámara de eco no moderada de hombres en su mayoría intercambiando opiniones, no representativa de la población de la UE, la industria de la IA o los expertos pertinentes.
Por el contrario, el investigador de trabajo social Desmond Patton, de la Universidad de Columbia en Nueva York, ha construido un algoritmo de aprendizaje automático para ayudar a identificar las publicaciones de Twitter relacionadas con la violencia de las pandillas que se basa en la experiencia de personas negras que tienen experiencia con las pandillas en Chicago, Illinois. Estos expertos revisan y corrigen las notas subyacentes al algoritmo. Patton llama a su enfoque Análisis Contextual de los Medios Sociales (ver go.nature.com/3vnkdq7).
Cambiar el poder. Las tecnologías de IA suelen construirse a petición de personas con poder -empresas, gobiernos, agentes comerciales-, lo que hace vulnerables a los solicitantes de empleo, los candidatos a la libertad condicional, los clientes y otros usuarios. Para solucionar esto, el poder debe cambiar. Los afectados por la IA no deben ser simplemente consultados desde el principio; deben seleccionar qué problemas se van a abordar y guiar el proceso.
Los
activistas de la discapacidad ya han sido pioneros en este tipo de
innovación equitativa. Su mantra "Nada sobre nosotros sin nosotros"
significa que los afectados asumen un papel protagonista en la
elaboración de la tecnología, su regulación y su aplicación. Por
ejemplo, la activista Liz Jackson desarrolló la aplicación de
transcripción Thisten cuando vio la necesidad de su comunidad de contar
con subtítulos en tiempo real en el festival de cine SXSW de Austin
(Texas).
Comprobar los supuestos de la IA. Las normativas, como la ley de la ciudad de Nueva York de diciembre de 2021 que regula la venta de IA utilizada en la contratación, exigen cada vez más que la IA supere las auditorías destinadas a detectar sesgos. Pero algunas de las directrices son tan amplias que las auditorías podrían acabar validando la opresión.
Por ejemplo, pymetrics, de Nueva York, es una empresa que utiliza juegos basados en la neurociencia para evaluar a los candidatos a un puesto de trabajo midiendo sus "atributos cognitivos, sociales y de comportamiento". Una auditoría determinó que la empresa no violaba la legislación antidiscriminatoria de Estados Unidos. Pero no consideró si estos juegos son una forma razonable de examinar la idoneidad para un puesto de trabajo, ni qué otras dinámicas de desigualdad podrían introducirse. Este no es el tipo de auditoría que necesitamos para que la IA sea más justa.
Necesitamos auditorías de IA para eliminar la tecnología perjudicial. Por ejemplo, junto con dos colegas, desarrollé un marco en el que el trabajo cualitativo inspecciona los supuestos sobre los que se construye una IA, y los utiliza como base para la parte técnica de una auditoría de IA. Esto ha servido de base para una auditoría de Humantic AI y Crystal, dos herramientas de personalidad basadas en la IA que se utilizan en la contratación.
Cada uno de estos principios puede aplicarse de forma intuitiva y se reforzará por sí mismo a medida que los tecnólogos, los científicos sociales y los ciudadanos aprendan a ponerlos en práctica. Los mandatos imprecisos no funcionarán, pero con marcos claros podemos eliminar la IA que perpetúa la discriminación de las personas más vulnerables y centrarnos en construir una IA que mejore la sociedad.
Comprobar los supuestos de la IA. Las normativas, como la ley de la ciudad de Nueva York de diciembre de 2021 que regula la venta de IA utilizada en la contratación, exigen cada vez más que la IA supere las auditorías destinadas a detectar sesgos. Pero algunas de las directrices son tan amplias que las auditorías podrían acabar validando la opresión.
Por ejemplo, pymetrics, de Nueva York, es una empresa que utiliza juegos basados en la neurociencia para evaluar a los candidatos a un puesto de trabajo midiendo sus "atributos cognitivos, sociales y de comportamiento". Una auditoría determinó que la empresa no violaba la legislación antidiscriminatoria de Estados Unidos. Pero no consideró si estos juegos son una forma razonable de examinar la idoneidad para un puesto de trabajo, ni qué otras dinámicas de desigualdad podrían introducirse. Este no es el tipo de auditoría que necesitamos para que la IA sea más justa.
Necesitamos auditorías de IA para eliminar la tecnología perjudicial. Por ejemplo, junto con dos colegas, desarrollé un marco en el que el trabajo cualitativo inspecciona los supuestos sobre los que se construye una IA, y los utiliza como base para la parte técnica de una auditoría de IA. Esto ha servido de base para una auditoría de Humantic AI y Crystal, dos herramientas de personalidad basadas en la IA que se utilizan en la contratación.
Cada uno de estos principios puede aplicarse de forma intuitiva y se reforzará por sí mismo a medida que los tecnólogos, los científicos sociales y los ciudadanos aprendan a ponerlos en práctica. Los mandatos imprecisos no funcionarán, pero con marcos claros podemos eliminar la IA que perpetúa la discriminación de las personas más vulnerables y centrarnos en construir una IA que mejore la sociedad.
Nature 605, 9 (2022)
doi: https://doi.org/10.1038/d41586-022-01202-3
Competing Interests
M.S. is on the advisory board of the Carnegie Council Artificial Intelligence & Equality Initiative and the faculty of Fellowships at Auschwitz for the Study of Professional Ethics.
Otro aviso: La IA sin regular sera catastrofica para la humanidad
Comentarios
Publicar un comentario