NY busca controlar herramientas de contratación por IA

Los candidatos a empleos raramente saben cuándo los programas de inteligencia artificial rechazan su currículum o analizan sus entrevistas en video, pero los residentes de la ciudad de Nueva York pudieran tener ahora más poder sobre las computadoras que toman decisiones sobre sus carreras tras bambalinas.

Una propuesta de ley aprobada por el concejo municipal en noviembre pudiera prohibir que las empresas usen herramientas automáticas para contrataciones a menos que una auditoría anual de sesgo muestre que no van a discriminar sobre la base de raza o género. Pudiera forzar además a los productores de esas herramientas de IA a revelar más sobre sus sistemas y darles a los candidatos la opción de un proceso alternativo —como una persona— para revisar su solicitud.

Los partidarios lo comparan con otra regla pionera en Nueva York que se volvió un estándar nacional a inicios del siglo: una regla que requiere que las cadenas de restaurantes coloquen el conteo de calorías en sus menús.

Sin embargo, en lugar de medir lo saludable de una hamburguesa, esta iniciativa busca abrir una ventana hacia los complejos algoritmos que ranquean las habilidades y personalidades de los solicitantes de empleos sobre la base de cómo habla o cómo escriben. Más empleadores, desde cadenas de comidas rápidas hasta bancos en Wall Street están usando esas herramientas para acelerar los reclutamientos, contrataciones y evaluaciones en lugares de trabajo.

“Creo que esta tecnología es increíblemente positiva, pero puede producir mucho daño si no es más trasparente”, dijo Frida Polli, cofundadora y directora general de la firma de Nueva York Pymetrics, que usa la IA para evaluar las capacidades laborales a través de evaluaciones en internet similares a juegos. Su compañía cabildeó a favor de la ley, que favorece a compañías como Pymetrics que ya publican auditorías de sesgo.

Pero algunos expertos en IA y activistas de los derechos temen que la medida no es suficiente para reducir el sesgo y dicen que pudiera establecer un estándar débil para los reguladores federales y los legisladores en momentos en que examinan formas de controlar aplicaciones dañinas de la IA que exacerban las desigualdades en la sociedad.

“El enfoque de auditoría de sesgo es bueno. El problema es que la ciudad de Nueva York adoptó un estándar muy débil y vago por lo que parece”, opinó Alexandra Givens, presidenta del Center for Democracy & Technology (Centro para Democracia y Tecnología). Dijo que las auditorias pudieran darles a los productores de IA una “hoja de parra” para construir productos riesgosos, pero con el sello de la ciudad.

Givens dijo que también es problemático que la propuesta solamente apunta a proteger contra prejuicios raciales o de género, dejando fuera sesgos más difíciles de detectar, como los sesgos a la edad o la discapacidad. Dijo que la propuesta fue suavizada recientemente, de manera que solamente les pide a los empleadores que satisfagan los requerimientos ya existentes bajo leyes de derechos civiles que prohíben prácticas de contratación que tengan un impacto disparejo sobre la base de raza, etnia o género.

La legislación impondría multas a los empleadores o las agencias de empleos de hasta 1.500 dólares por violación, aunque correspondería a los productores de la tecnología realizar las auditorías y mostrar a los empleadores que sus herramientas satisfacen los requerimientos municipales.

El Concejo Municipal votó 38-4 en favor de la ley el 10 de noviembre, dándole un mes al alcalde saliente Bill De Blasio para firmar o vetar la medida o dejarla sin firmar. La oficina de De Blasio dijo que éste apoya la ley, pero no ha indicado si la firmará. Si es promulgada, entrará en vigencia en 2023, bajo el alcalde electo Eric Adams

Julia Stoyanovich, profesora asistente de Ciencia Computacional y quien dirige el Center for Responsible AI (Centro para una IA Responsable) en la Universidad de Nueva York, dijo que las mejores partes de la propuesta son sus requerimientos de que las personas sepan cuándo son evaluadas por una computadora y a dónde van a parar sus datos.

“Esto va a arrojar luz sobre las características de las herramientas usadas”, dijo.

Pero Stoyanovich agrega que le preocupa la eficacia de las auditorías de sesgo de las herramientas de alto riesgo de AI, un concepto que es examinado también por la Casa Blanca, agencias federales como la Comisión para la Igualdad de Oportunidades en el Empleo de Estados Unidos (EEOC por sus siglas en inglés) y legisladores en el Congreso además del Parlamento europeo.

“La responsabilidad de esas auditorias recae en las herramientas, mostrar que cumplen con un grupo rudimentario de requerimientos que es muy fácil de satisfacer”, dijo.

Las auditorías muy probablemente no afectarán las herramientas internas de contrataciones usadas por gigantes tecnológicos como Amazon. La compañía abandonó hace varios años su uso de una herramienta de examen de currículum tras determinar que favorecía a los hombres para los empleos técnicos, en parte porque comparaba a los candidatos con la fuerza laboral de la compañía, ya dominada por hombres.

Ha habido poca oposición abierta a la ley de parte de los vendedores de las herramientas de contratación de IA más usadas por las empresas. Una de esas, HireVue —una plataforma para entrevistas de empleos basadas en video— dijo en una declaración la semana pasada que daba la bienvenida a un proyecto de legislación “que demanda que todos los vendedores satisfagan los elevados estándares que HireVue ha respaldado desde el inicio”.

La Cámara de Comercio de Nueva York dijo que es improbable que los empleadores en la ciudad consideren las nuevas reglas como una carga.

“Se trata de transparencia y los empleadores deben saber que las firmas de contrataciones están usando esos algoritmos y ese software y los empleados deben también estar al tanto”, dijo Helana Natt, directora ejecutiva de la cámara.