Por Qué la Mayoría de las Estrategias de Gobernanza de IA Ya Están en Problemas
Riesgo de Cumplimiento: Las organizaciones suelen creer que la documentación legal es suficiente, sin reconocer los riesgos reales de cumplimiento con la IA.
Panorama Regulatorio: La gobernanza de la IA opera dentro de leyes fragmentadas, lo que exige conocer las normas legales existentes y sus responsabilidades.
Detección de Sesgos: El sesgo en la IA proviene de datos históricos y afecta los procesos de contratación, a menudo sin intención o conocimiento de ello.
Responsabilidad de los Proveedores: Confiar solo en certificaciones de cumplimiento de los proveedores puede ocultar riesgos organizacionales significativos asociados con las herramientas de IA.
Necesidad de Gobernanza: La gobernanza eficaz de la IA requiere supervisión ejecutiva y responsabilidades claras para garantizar el cumplimiento y reducir riesgos.
El papeleo puede hacer que el cumplimiento parezca finalizado. El departamento legal da el visto bueno, los contratos se archivan con una cláusula de indemnización que promete protección. Pero esos pasos a menudo crean la ilusión de seguridad en vez de la realidad de ella.
Recientemente, asistí a una conferencia con varias sesiones dedicadas al panorama legal en torno a la IA en el lugar de trabajo. Profesionales, abogados laborales y expertos en cumplimiento pasaron buena parte de dos días desmontando las suposiciones sobre las que las organizaciones han construido sus estrategias de gobernanza de la IA. La imagen que surgió no fue de un peligro inminente. La exposición ya está aquí.
El panorama regulatorio
El gobierno federal no ha aprobado una legislación integral sobre IA. Ese es el hecho en el que algunos ejecutivos se detienen, y es precisamente por eso que tantos subestiman su riesgo. El panorama actual es una mezcla de estatutos estatales, ordenanzas locales y leyes federales existentes que no requieren una nueva regulación específica sobre IA para aplicarse.
Sigue leyendo—y sigue liderando de manera más inteligente
Crea una cuenta gratuita para terminar este artículo y unirte a una comunidad de líderes visionarios que están desbloqueando herramientas, guías prácticas e ideas para prosperar en la era de la IA.
Have an account? Log In
«Escuchas toda esa retórica de ‘no vamos a regular esto’ por parte de la administración actual. No te dejes engañar por eso. Están vendiendo certeza donde no la hay.»
Kelly y todos los abogados que hablaron en la conferencia fueron bastante directos sobre lo que ese error de lectura le cuesta a las organizaciones. Las prioridades estratégicas de la EEOC para 2024–2028, que incluyen la Iniciativa de Contratación para Reimaginar la Equidad, ponen un enfoque específico en los sistemas facialmente neutros, es decir, herramientas que no discriminan explícitamente pero producen resultados discriminatorios.
La ley federal ya cubre eso. También lo hace la Ley de IA de la UE, que se aplica a cualquier organización con operaciones o actividades laborales en Europa.
El ya infame caso Workday, una demanda colectiva que alega que el software de RRHH de la empresa discriminaba a los solicitantes por edad y raza, demostró claramente que la exposición legal no espera al Congreso.
El problema de la descubribilidad
Una de las conversaciones más impactantes de la conferencia fue sobre la documentación. Específicamente, qué ocurre cuando tus decisiones de IA acaban en un proceso de descubrimiento legal.
Los prompts de IA pueden ser requeridos judicialmente. Se pueden solicitar como evidencia la lógica interna, los datos de entrada en decisiones, las configuraciones del modelo utilizadas en procesos de contratación, gestión del desempeño o compensación. Las organizaciones que no puedan aportar registros detallados de decisiones de IA de hasta cuatro años atrás enfrentan una exposición significativa, tanto en litigios como en revisiones regulatorias.
Esto no es teórico. A medida que los agentes de IA asumen roles más autónomos en operaciones de RRHH, la cuestión de la responsabilidad se vuelve más clara. Cuando un sistema agente toma o influye en una decisión laboral relevante y algo sale mal, la ley coloca la responsabilidad directamente en el empleador, no en el proveedor.
La responsabilidad objetiva respecto a los agentes sitúa a la organización en la posición de ser dueña de los resultados producidos por herramientas que tal vez no entiende completamente.
Los requisitos para la retención de documentos se están adaptando en consecuencia. La gobernanza que no se construyó pensando en la descubribilidad requerirá reconstrucción bajo presión.
Dónde realmente entra el sesgo
La mayoría de las organizaciones consideran el sesgo en la IA como un problema del proveedor. Compran una herramienta de IA, preguntan si ha sido auditada, reciben alguna versión de un sí y continúan. La comunidad legal y de cumplimiento ha empezado a señalar lo incompleto que es eso.
El sesgo entra en los sistemas de IA a través de los datos históricos, las definiciones de éxito, los filtros de selección y las variables proxy. Cuando un sistema de IA se entrena con años de información sobre quién fue contratado, quién fue ascendido y cómo eran las evaluaciones de desempeño, aprende las preferencias de la organización. Esas preferencias suelen transportar discriminaciones implícitas que nadie diseñó deliberadamente, pero que el modelo codifica y luego amplifica.
"El sesgo se amplifica —señaló Kelly—, transformando decisiones aisladas en patrones institucionales."
El estándar legal para el impacto adverso no requiere intención. Un demandante necesita demostrar una disparidad estadística y el umbral ya está definido. La regla de los cuatro quintos, también conocida como la regla del 80%, establece que si la tasa de selección de un grupo protegido es inferior al 80% de la tasa del grupo más seleccionado, eso constituye evidencia de impacto adverso.
Una herramienta de IA que revise miles de currículos al mes puede superar ese umbral sin que una sola persona de la empresa lo haya pretendido.
Un estudio de la Universidad de Washington citado durante una de las sesiones ilustró la magnitud del problema. Cuando los nombres de postulantes masculinos negros se compararon con los de postulantes masculinos blancos en sistemas de selección basados en IA, los sistemas prefirieron los nombres negros en cero por ciento de los casos.
El estándar de trato dispar, que cubre la discriminación intencional, trae sus propias complicaciones particulares por el uso de IA. El caso más obvio es el uso directo de características protegidas como puntos explícitos de datos. Pero las motivaciones ocultas son más difíciles de detectar y de defender, como elegir a un proveedor específicamente porque su herramienta de selección tiende a descartar postulantes de mayor edad, mientras que internamente se presenta como una preferencia por una “cultura de ritmo rápido”.
Desde el punto de vista legal, ese encuadre no neutraliza la intención.
Por Qué Falla la Supervisión Orientada al Proveedor
El modelo de gobernanza predeterminado en la mayoría de las organizaciones opera a través de la relación con el proveedor. Se asume que si una herramienta del proveedor pasa la certificación o se entrega con documentación de auditoría, la organización ha cumplido con sus obligaciones.
Esa suposición no sobrevive al contacto ni con la ley ni con la realidad operativa.
"Al final del día, la responsabilidad recaerá sobre la organización", dijo Kelly. "Todo el riesgo saldrá del mismo lugar. Puedes trabajar con cualquier equipo de cumplimiento, riesgo, legal, todos trabajando para minimizar los riesgos en sus jurisdicciones, pero la única manera de lograrlo es que las personas de tu organización entiendan qué estás usando y para qué lo usas. Si se me pasa por alto que tu equipo de reclutamiento está usando una tecnología que no estamos revisando por riesgos, nuestro trabajo es en cierto modo inútil."
Chris Lippert, director en Schellman, señaló el panorama de certificaciones de proveedores como parte del problema. Muchas herramientas de IA en funciones de RR. HH. no han sido certificadas de forma independiente.
Greenhouse, una de las plataformas de seguimiento de candidatos más adoptadas, obtuvo su certificación ISO/IEC 42001 recién en febrero de este año. La implicancia para el sector es que las organizaciones adoptaron funcionalidades mejoradas con IA mucho antes de que las herramientas fueran validadas, y muchas aún funcionan con versiones no evaluadas.
«El hecho de que una aplicación tenga IA no significa que deba usarse. Y si añade funcionalidad de IA, ese es el momento para ver algo, decir algo. ¿Las políticas de tu empresa se actualizan antes de implementar la tecnología? No. Estás quedando expuesto antes de que puedan solidificarse en la política.»
Lippert recomendó basarse en las evaluaciones de impacto sobre la privacidad que las organizaciones probablemente ya han realizado. La revisión de riesgos de IA no tiene que construirse desde cero. Los mismos interesados, los mismos marcos analíticos y gran parte de la infraestructura de documentación ya existen en la mayoría de los programas de cumplimiento.
Tratar la gobernanza de la IA como una extensión de ese trabajo, en lugar de como una iniciativa separada, la hace más ejecutable y más perdurable.
La Brecha de Gobernanza en la Cúpula
Los requisitos operativos de gobernanza no son complicados de enumerar.
- Puntos de control de supervisión humana
- Frecuencia de validación
- Responsabilidad del proveedor
- Monitoreo de resultados
- Documentación
- Control de versiones
Todos estos aspectos están bien comprendidos. Lo que no está tan claro en muchas organizaciones es quién es el responsable de ellos y si alguien con autoridad organizativa realmente los supervisa.
«El consenso general en todos los marcos de riesgo de IA es que debe contar con el respaldo desde la alta dirección. Tienes que tener esa propiedad.»
El argumento de Howard conecta con una modalidad de fallo más amplia. Las estructuras de gobernanza creadas a nivel de equipo o función, sin un mandato ejecutivo y una responsabilidad clara, tienden a aplicarse de manera inconsistente y resultan difíciles de hacer cumplir.
Cuando una unidad de negocio adopta una nueva herramienta de IA sin pasar por un proceso de revisión establecido, la brecha que se crea no es visible hasta que aparece una queja, una demanda o una investigación regulatoria.
La deriva de modelos agrava esto. Las herramientas de IA cambian con el tiempo, a veces por actualizaciones del proveedor y otras por cambios en los datos subyacentes que procesan. Una herramienta que superó una auditoría de sesgo en el momento de su implementación puede no aprobarla dieciocho meses después.
"A medida que los modelos cambian, más riesgo estás heredando", dijo Howard. "Tienes que empoderar a tu gente para que hable cuando algo parece estar mal."
Pruebas en tus propios términos
La ausencia de un marco federal obligatorio significa que, en gran medida, las organizaciones deben diseñar sus propios protocolos de prueba. El consejo de Kelly sobre esto fue directo.
Estás solo," dijo. "Esa es la realidad.
La implicación práctica es que las organizaciones necesitan realizar sus propias pruebas de sesgo, de forma continua, y hacerlo con protección legal. Realizar las pruebas bajo privilegio abogado-cliente permite a las organizaciones identificar problemas sin crear automáticamente pruebas descubribles de estos problemas.
Es una inversión con un retorno claro, especialmente para cualquier organización que use IA en la contratación, donde la exposición legal es mayor y los requisitos de documentación son los más exigentes.
Las organizaciones que llevan ventaja han dejado de asumir que el proveedor hizo el trabajo y han empezado a tratar la gobernanza de la IA como una disciplina operativa con verdadera propiedad, pruebas reales y rendición de cuentas tangible.
