Porque é que a maioria das estratégias de governação da IA já está em apuros

A papelada pode fazer com que a conformidade pareça concluída. O departamento jurídico dá a sua aprovação, os contratos são arquivados com uma cláusula de indemnização que promete proteção. Mas esses passos criam muitas vezes a ilusão de segurança, em vez da verdadeira segurança.

Recentemente, participei numa conferência com várias sessões dedicadas ao enquadramento jurídico da IA no local de trabalho. Profissionais, advogados especializados em direito laboral e especialistas em conformidade passaram grande parte de dois dias a desmontar os pressupostos em que as organizações basearam as suas estratégias de governação da IA. O cenário que emergiu não era de um perigo iminente. A exposição já existe.

O enquadramento regulamentar

O governo federal ainda não aprovou legislação abrangente sobre IA. Esse é o facto em que alguns executivos ficam, e é precisamente por isso que tantos estão a subestimar o seu risco. O cenário real é uma combinação de leis estaduais, regulamentos locais e legislação federal existente, que não precisa de uma regulamentação específica sobre IA para ser aplicável.

Kelly e todos os outros advogados que falaram na conferência foram bastante diretos quanto ao custo que esta interpretação errada representa para as organizações. As prioridades estratégicas da EEOC para 2024–2028, que incluem a Iniciativa de Contratação para Repensar a Equidade, dão especial atenção aos sistemas aparentemente neutros, ou seja, ferramentas que não discriminam explicitamente, mas produzem resultados discriminatórios. 

A legislação federal já abrange essa situação. O mesmo se aplica ao Regulamento Europeu da IA, que abrange qualquer organização com operações ou atividades laborais na Europa. 

O agora infame processo contra a Workday, uma ação coletiva que alegava que o software de recursos humanos da empresa discriminava candidatos com base na idade e na raça, demonstrou claramente que a exposição jurídica não espera pelo Congresso.

O problema da possibilidade de descoberta

Uma das conversas mais desconcertantes da conferência dizia respeito à documentação. Mais especificamente, ao que acontece quando as decisões tomadas pela IA acabam por ser sujeitas a descoberta judicial.

Os comandos da IA podem ser intimados judicialmente. A lógica interna, os dados de entrada utilizados nas decisões e as configurações dos modelos usados na contratação, na gestão do desempenho ou nos processos de remuneração podem ser solicitados como prova. As organizações que não conseguem apresentar registos detalhados das decisões da IA referentes aos quatro anos anteriores enfrentam uma exposição significativa, tanto em processos judiciais como em análises regulamentares.

Isto não é meramente teórico. À medida que os agentes de IA assumem funções mais autónomas nas operações de RH, a questão da responsabilidade torna-se mais clara. Quando um sistema baseado em agentes toma ou influencia uma decisão laboral com consequências e algo corre mal, a lei atribui claramente a responsabilidade ao empregador, não ao fornecedor. 

A responsabilidade objetiva pelos agentes coloca a organização na posição de assumir a responsabilidade pelos resultados produzidos por ferramentas que pode não compreender totalmente.

Os requisitos de conservação de documentos estão a evoluir em conformidade. A governação que não foi concebida tendo em conta a possibilidade de descoberta terá de ser reconstruída sob pressão.

Onde entra realmente o enviesamento

A maioria das organizações encara o enviesamento da IA como um problema do fornecedor. Compram uma ferramenta de IA, perguntam se foi auditada, recebem uma resposta afirmativa de algum tipo e avançam. A comunidade jurídica e de conformidade começou a salientar quão incompleta é essa abordagem.

O enviesamento entra nos sistemas de IA através de dados históricos, definições de sucesso, filtros de triagem e variáveis indiretas. Quando um sistema de IA é treinado com base em anos de informação sobre quem foi contratado, quem foi promovido e como eram atribuídas as classificações de desempenho, aprende as preferências da organização. Essas preferências transportam muitas vezes consigo uma discriminação incorporada que ninguém concebeu deliberadamente, mas que o modelo codifica e depois amplia.

“O enviesamento é amplificado”, observou Kelly, “transformando decisões isoladas em padrões à escala de toda a instituição.”

O critério jurídico aplicável ao impacto diferenciado não exige intenção. Um queixoso tem de demonstrar uma disparidade estatística, e o limiar já está definido. A regra dos quatro quintos, também conhecida como regra dos 80%, estabelece que, se a taxa de seleção de um grupo protegido for inferior a 80% da taxa do grupo com a taxa de seleção mais elevada, tal constitui prova de impacto diferenciado. 

Uma ferramenta de IA que analise milhares de currículos por mês pode ultrapassar esse limiar sem que uma única pessoa na empresa tenha pretendido que isso acontecesse.

Um estudo da Universidade de Washington, citado durante uma das sessões, ilustrou a dimensão do problema. Quando os nomes de candidatos negros do sexo masculino foram comparados com os de candidatos brancos do sexo masculino em sistemas de triagem com IA, os sistemas preferiram nomes negros zero por cento das vezes.

O critério de tratamento diferenciado, que abrange a discriminação intencional, traz as suas próprias complicações específicas da IA. Os dados introduzidos diretamente, utilizando características protegidas como pontos de dados explícitos, são o caso mais óbvio. Mas os motivos ocultos são mais difíceis de detetar e de combater, como selecionar um fornecedor especificamente porque a sua ferramenta de triagem tende a excluir candidatos mais velhos, apresentando internamente essa decisão como uma preferência por uma "cultura dinâmica". 

Essa formulação não neutraliza a intenção do ponto de vista jurídico.

Porque falha a supervisão orientada para os fornecedores

O modelo de governação padrão na maioria das organizações desenvolve-se através da relação com o fornecedor. Parte-se do princípio de que, se a ferramenta de um fornecedor passar uma certificação ou incluir documentação de auditoria, a organização cumpriu as suas obrigações.

Esse pressuposto não resiste ao confronto nem com a lei nem com a realidade operacional.

"No fim de contas, a responsabilidade vai recair sobre a organização", afirmou Kelly. "Todo o risco vai sair do mesmo saco. Poderia trabalhar com quaisquer profissionais de conformidade, gestão de risco ou área jurídica, todos empenhados em minimizar o risco nas respetivas jurisdições, mas a única forma de o fazer é as pessoas da sua organização compreenderem o que estão a utilizar e para que o estão a utilizar. Se eu não tiver percebido que a sua equipa de recrutamento está a utilizar uma tecnologia que não estamos a testar quanto ao risco, o nosso trabalho é, de certa forma, inútil."

Chris Lippert, diretor na Schellman, apontou o panorama da certificação dos fornecedores como parte do problema. Muitas ferramentas de IA nas funções de RH ainda não foram certificadas de forma independente. 

A Greenhouse, uma das plataformas de acompanhamento de candidatos mais utilizadas, só recebeu a sua certificação ISO/IEC 42001 em fevereiro deste ano. A implicação para o setor é que as organizações adotaram funcionalidades melhoradas por IA muito antes de as ferramentas serem validadas, e muitas continuam a utilizar versões não avaliadas.

Lippert recomendou aproveitar as avaliações de impacto sobre a privacidade que as organizações provavelmente já concluíram. A avaliação dos riscos da IA não tem de ser criada de raiz. As mesmas partes interessadas, os mesmos quadros analíticos e grande parte da mesma infraestrutura documental já existem na maioria dos programas de conformidade. 

Tratar a governação da IA como uma extensão desse trabalho, em vez de uma iniciativa separada, torna-a mais fácil de executar e mais duradoura.

A lacuna de governação no topo

Os requisitos de governação operacional não são complicados de enumerar.

• Pontos de controlo da supervisão humana
• Periodicidade da validação
• Responsabilização dos fornecedores
• Monitorização dos resultados
• Documentação,
• Controlo de versões

Todos estes aspetos são bem compreendidos. O que é menos claro em muitas organizações é quem é responsável por eles e se existe alguém com autoridade organizacional a acompanhá-los ativamente.

O ponto de Howard está relacionado com um modo de falha mais abrangente. As estruturas de governação criadas ao nível das equipas ou das funções, sem um mandato executivo e uma responsabilização claros, tendem a ser aplicadas de forma inconsistente e difíceis de fazer cumprir.

Quando uma unidade de negócio adota uma nova ferramenta de IA sem passar por um processo de revisão estabelecido, a lacuna que cria só se torna evidente quando surge uma queixa, um processo judicial ou uma investigação regulamentar.

Deriva dos modelos agrava este problema. As ferramentas de IA mudam ao longo do tempo, por vezes através de atualizações dos fornecedores, por vezes devido a alterações nos dados subjacentes que processam. Uma ferramenta que passou numa auditoria de enviesamento aquando da implementação pode não passar numa auditoria semelhante dezoito meses mais tarde.

"À medida que os modelos derivam, maior é o risco que está a assumir", afirmou Howard. "É preciso capacitar as pessoas para falarem quando algo parece estar errado."

Testes à sua maneira

A ausência de um quadro federal obrigatório significa que as organizações ficam, em grande medida, responsáveis por conceber os seus próprios protocolos de teste. O conselho de Kelly sobre este assunto foi direto.

"Está por sua conta", afirmou. "Essa é a realidade.

A implicação prática é que as organizações precisam de realizar os seus próprios testes de enviesamento, de forma contínua, e fazê-lo com proteção jurídica. A realização de testes ao abrigo do privilégio entre advogado e cliente permite às organizações identificar problemas sem criar automaticamente provas desses problemas sujeitas a divulgação em tribunal. 

É um investimento com um retorno claro, sobretudo para qualquer organização que utilize IA no recrutamento, onde a exposição jurídica é maior e os requisitos de documentação são mais exigentes.

As organizações que estão a antecipar-se a esta questão deixaram de presumir que o fornecedor fez o trabalho e começaram a tratar a governação da IA como uma disciplina operacional, com verdadeira apropriação, testes reais e responsabilização efetiva.