El sesgo en los sistemas de IA está demostrando ser un obstáculo importante en los esfuerzos por integrar más ampliamente la tecnología en nuestra sociedad. Una nueva iniciativa que recompensará a los investigadores por encontrar prejuicios en los sistemas de IA podría ayudar a resolver el problema.
El esfuerzo se basa en las recompensas por errores que las empresas de software pagan a los expertos en seguridad cibernética que los alertan sobre posibles fallas de seguridad en sus productos. La idea no es nueva; Las "recompensas de sesgo" fueron propuestas por primera vez por el investigador y empresario de A I JB Rubinovitz en 2018, y varias organizaciones ya han enfrentado tales desafíos.
Pero el nuevo esfuerzo busca crear un foro continuo para concursos de recompensas por prejuicios que sea independiente de cualquier organización en particular. Compuesto por voluntarios de una variedad de empresas, incluido Twitter, los llamados "Bias Buccaneers" planean realizar competencias periódicas o "motines", y a principios de este mes lanzaron el primer desafío de este tipo.
“ Las recompensas por errores son una práctica estándar en la ciberseguridad que aún tiene que encontrar un lugar en la comunidad de sesgos algorítmicos”, dicen los organizadores en su sitio web . “Si bien los eventos únicos iniciales demostraron entusiasmo por las recompensas, Bias Buccaneers es la primera organización sin fines de lucro destinada a crear motines en curso, colaborar con empresas de tecnología y allanar el camino para evaluaciones transparentes y reproducibles de los sistemas de IA”.
Esta primera competencia tiene como objetivo abordar el sesgo en los algoritmos de detección de imágenes, pero en lugar de hacer que las personas se dirijan a sistemas de IA específicos, la competencia desafiará a los investigadores a crear herramientas que puedan detectar conjuntos de datos sesgados. La idea es crear un modelo de aprendizaje automático que pueda etiquetar con precisión cada imagen en un conjunto de datos con su tono de piel, género percibido y grupo de edad. La competencia finaliza el 30 de noviembre y tiene un primer premio de $6,000, un segundo premio de $4,000 y un tercer premio de $2,000.
El desafío se basa en el hecho de que, a menudo, la fuente del sesgo algorítmico no es tanto el algoritmo en sí, sino la naturaleza de los datos con los que se entrena. Las herramientas automatizadas que pueden evaluar rápidamente qué tan equilibrada es una colección de imágenes en relación con los atributos que a menudo son fuentes de discriminación podrían ayudar a los investigadores de IA a evitar fuentes de datos claramente sesgadas.
Pero los organizadores dicen que este es solo el primer paso en un esfuerzo por crear un conjunto de herramientas para evaluar el sesgo en conjuntos de datos, algoritmos y aplicaciones y, en última instancia, crear estándares sobre cómo lidiar con el sesgo algorítmico, la equidad y la explicabilidad.
No es el único esfuerzo de este tipo . Uno de los líderes de la nueva iniciativa es Rumman Chowdhury de Twitter, quien ayudó a organizar la primera competencia de recompensas por sesgo de IA el año pasado, apuntando a un algoritmo que la plataforma usó para recortar imágenes que , según los usuarios, favorecían los rostros de hombres y de piel blanca sobre los negros y femeninos.
La competencia dio acceso a los piratas informáticos al modelo de la empresa y los desafió a encontrar fallas en él. Los participantes encontraron una amplia gama de problemas , incluida una preferencia por rostros estereotípicamente hermosos, una aversión a las personas con cabello blanco (un indicador de la edad) y una preferencia por memes con escritura en inglés en lugar de árabe.
La Universidad de Stanford también concluyó recientemente una competencia que desafió a los equipos a crear herramientas diseñadas para ayudar a las personas a auditar los sistemas de IA de código abierto o implementados comercialmente en busca de discriminación. Y las leyes actuales y futuras de la UE podrían obligar a las empresas a auditar periódicamente sus datos y algoritmos.
Pero tomar las recompensas por errores de IA y la auditoría algorítmica de forma generalizada y hacerlos efectivos será más fácil decirlo que hacerlo. Inevitablemente, las empresas que construyen sus negocios sobre sus algoritmos se resistirán a cualquier intento de desacreditarlos.
Sobre la base de las lecciones de los sistemas de auditoría en otros dominios, como las finanzas y las regulaciones ambientales y de salud, los investigadores recientemente describieron algunos de los ingredientes cruciales para una rendición de cuentas efectiva. Uno de los criterios más importantes que identificaron fue la participación significativa de terceros independientes.
Los investigadores señalaron que las auditorías de IA voluntarias actuales a menudo implican conflictos de intereses, como que la organización objetivo pague por la auditoría, ayude a enmarcar el alcance de la auditoría o tenga la oportunidad de revisar los hallazgos antes de que se publiquen. Esta preocupación se reflejó en un informe reciente de Algorithmic Justice League , que señaló el papel descomunal de las organizaciones objetivo en los programas actuales de recompensas por errores de seguridad cibernética.
Encontrar una manera de financiar y apoyar auditores de IA y cazadores de errores verdaderamente independientes será un desafío importante, particularmente porque se enfrentarán a algunas de las empresas con mejores recursos del mundo. Sin embargo, afortunadamente, parece haber una sensación creciente dentro de la industria de que abordar este problema será fundamental para mantener la confianza de los usuarios en sus servicios.
Fuente
singularityhub.com
Comments