Porque a supervisão humana não é suficiente para manter a IA sob controlo

David Rice: Falamos sobre a tomada de decisões apoiada por IA como se a humanidade nunca tivesse enfrentado algo semelhante. Claire Maiers passou mais de uma década a estudar pessoas que trabalham com sistemas preditivos e afirma que esquecemos a lição mais importante: o contexto. No programa de hoje, converso com Claire sobre o que é realmente diferente desta vez — e não é a existência de recomendações feitas por máquinas.

Já temos recomendações desse tipo há anos na polícia, nas decisões de liberdade condicional, no recrutamento, na Netflix e em muitas outras áreas. O que mudou foi a autoridade cultural que esta versão transporta. A linguagem parece mais consolidada do que os números. O design conversacional faz com que um sistema pareça um colega, ou até uma autoridade, e isso torna mais difícil abordá-lo com um olhar crítico, a menos que o façamos deliberadamente.

O argumento de Claire aponta para algo que as organizações ainda não estão a considerar plenamente. A IA tornou inegável que as organizações são sistemas sociotécnicos. Os intervenientes já não são apenas pessoas, e isso significa que os líderes de pessoas têm uma decisão real a tomar: não se a IA será utilizada, mas quão integrada ficará e que visão estão a construir.

Seguir a maioria é o caminho mais fácil. É também assim que se acaba com milhares de decisões individuais apoiadas por IA, cada uma aparentemente razoável, a redefinir quem é contratado, quem é promovido e o que é recompensado, sem que ninguém tenha decidido conscientemente que era assim que a empresa deveria funcionar. Por isso, hoje abordamos a razão pela qual o contexto, e não apenas a cultura, é o elemento em falta na maioria das conversas sobre IA; o que fizemos de errado com os megadados há uma década e se estamos a repetir esses erros; porque é que a IA generativa tem uma autoridade mais persuasiva do que os sistemas anteriores de apoio à decisão; e o que significa tratar o desenho organizacional com a mesma seriedade que o próprio modelo de negócio.

Sou David Rice. Este é o People Managing People e, se a sua organização tem adotado IA sem que ninguém defina a visão subjacente, esta conversa mostra porque é que isso é um problema de desenho organizacional, e não apenas de tecnologia. Vamos começar.

Conheça a Teamflect, a plataforma de gestão do desempenho e envolvimento dos colaboradores mais bem avaliada, criada para o Microsoft Teams. Uma solução fácil de utilizar e, simultaneamente, preparada para empresas, na qual confiam mais de 1 000 organizações. Visite Teamflect.com para saber mais.

Claire, bem-vinda ao programa. É um prazer tê-la connosco.

Claire Maiers: Muito obrigada. Estou muito entusiasmada com a nossa conversa de hoje.

David Rice: Gostaria de começar esta discussão pela tendência para tratar a tomada de decisões apoiada por IA como algo que a humanidade nunca enfrentou antes.

Mas estudou pessoas a trabalhar com sistemas preditivos muito antes de termos IA generativa. O que aprendemos nessa altura que talvez tenhamos esquecido e o que é realmente diferente desta vez?

Claire Maiers: Sim, penso que muita coisa é diferente, mas o que se mantém semelhante é o facto de trabalharmos há bastante tempo, em várias áreas, com dados, algum tipo de previsão ou recomendação produzida por um sistema que é, na sua maioria, uma caixa negra — tal como a IA generativa é para a maioria dos utilizadores.

Por isso, essa parte é semelhante. E penso que a lição que aprendemos ao longo da última década, ou mais, ao observar pessoas a utilizar esses sistemas como apoio à tomada de decisões é que o contexto é realmente importante. Sinto que essa é a parte que foi esquecida em muitas conversas. É certo que falamos de cultura, mas penso que o contexto vai além da cultura, ou pelo menos pode ser dividido em diferentes componentes nas quais podemos pensar quando falamos de desenho organizacional.

As pessoas não utilizam estes sistemas num vazio, como talvez se imagine quando são concebidos. Utilizam-nos numa determinada organização, com determinadas normas. Têm uma orientação profissional específica. Operam numa cultura específica, que também é importante. E penso que o elemento da cultura relevante é a forma como avaliamos a verdade, o que consideramos conhecimento e, consequentemente, como interpretamos e utilizamos os resultados desses sistemas.

É esse contexto — o papel do contexto na forma como esses sistemas são aplicados a decisões reais — que as pessoas não estão a considerar tanto quanto eu gostaria.

David Rice: Referiu a verdade e uma melhor compreensão do conhecimento. Parece que todas as gerações de tecnologia chegam com a promessa de substituir os aspetos humanos mais confusos, sobretudo o discernimento, por algo mais objetivo.

Penso que o que é diferente agora talvez seja menos a existência de recomendações feitas por máquinas e mais a sua acessibilidade e qualidade persuasiva. Fazem um bom trabalho ao apresentar algo como uma explicação válida, como se tudo tivesse sido cuidadosamente raciocinado. É muito convincente em vários aspetos.

Isso ultrapassa a ideia de que “isto é subjetivo”, porque vem de uma fonte que tendemos a considerar omnisciente. Que erros cometemos com sistemas anteriores de apoio à decisão que agora estamos a começar a repetir?

Claire Maiers: Essa é uma pergunta muito interessante. O que tenho observado é que, muitas vezes — nos melhores casos — existia uma moderação humana dos resultados desses sistemas de tomada de decisões.

Houve certamente casos em que as coisas correram mal. Se pensarmos na utilização de análises preditivas pela polícia, nas previsões de reincidência ou nas decisões sobre a concessão de liberdade condicional, vimos uma dependência excessiva de sistemas demasiado rígidos para ter em conta a realidade humana. Esse foi um dos grandes receios durante o entusiasmo em torno dos megadados, que penso ter sido a última versão deste fenómeno.

Há cerca de 10 ou 15 anos, os megadados eram celebrados como a possibilidade de, finalmente, respondermos a perguntas que antes nos obrigavam a depender da subjetividade humana. Podíamos conhecer a verdade, processar conjuntos de dados suficientemente grandes para compreender o que se passava no mundo e, por isso, obter capacidade preditiva.

Mas rapidamente vimos isso sair pela culatra, com sistemas excessivamente rígidos incapazes de ter em conta a realidade humana. Não tenho a certeza de que esse seja exatamente o risco atual, embora também possa sê-lo. O que mais me preocupa são as diferenças entre a proliferação dos megadados e o que está a acontecer com esta versão atual da IA, especificamente a IA generativa.

A IA transporta muito mais peso em termos de autoridade cultural. Uma das razões é a própria forma. Estamos a falar de resultados apresentados em linguagem, e não em números, o que lhes dá uma aparência mais consolidada. Além disso, os sistemas são deliberadamente concebidos para parecerem conversacionais, como referiu. Fazem-nos parecer um colega, um amigo ou uma autoridade. Só isso, do ponto de vista psicológico, torna mais difícil abordá-los com um olhar crítico e questionador, a menos que o façamos de forma muito intencional.

A escala também é diferente. Mesmo com a ciência dos dados e os megadados, embora fossem publicados artigos sobre o tema no The New York Times e no The Atlantic, a maioria das pessoas não interagia diariamente com essa tecnologia. Ela afetava as pessoas diariamente, soubessem-no ou não, através da publicidade, das plataformas que utilizamos e das decisões tomadas pelos governos, mas a escala era muito menor no que diz respeito às pessoas que contactavam diretamente com a tecnologia e aos problemas a que ela podia ser aplicada.

Também era necessário um tipo diferente de acesso à infraestrutura e algum conhecimento de ciência dos dados para criar as ferramentas. Existia ainda a expectativa de que especialistas utilizassem as ferramentas desenvolvidas pela ciência dos dados.

A estrutura, ou a rede, também é diferente. As grandes empresas tecnológicas têm muita credibilidade na nossa cultura. Podem ser questionadas pelas pessoas, mas possuem simultaneamente poder material e poder simbólico.

Uma coisa que nos modera um pouco é o facto de eu não ver no discurso público geral sobre IA o mesmo entusiasmo que existia em torno dos megadados. Há muito mais ceticismo, o que considero saudável. No entanto, todos esses elementos combinados conferem aos resultados da IA um tipo muito diferente de autoridade cultural e um simbolismo diferente.

Venho de uma área em que penso sobre como sabemos aquilo que sabemos. A minha formação também não pressupõe que as ferramentas que utilizamos para criar conhecimento sejam a única forma de o fazer, ou sequer necessariamente a melhor. Seja qual for a sua opinião sobre a produção de conhecimento, ela influencia a forma como recebe os resultados destes sistemas de IA.

A verdade é que há muito mais autoridade cultural e epistémica associada aos resultados destes sistemas devido às diferenças na sua forma, estrutura e escala. Por isso, penso que é uma tarefa muito maior abordá-los com um olhar interpretativo e crítico do que seria abordar um número produzido por um sistema de caixa negra apoiado em megadados e algoritmos preditivos.

David Rice: Depois da nossa conversa preliminar, fiquei a pensar nos megadados. Toda a gente dizia que eram o petróleo do século XXI. Lembro-me de conversar com pessoas que perguntavam: “Quem quer saber tudo isso? O que vai fazer com esses dados?” Hoje ninguém diz isso, porque sabe o que se pode fazer com eles.

Penso que estamos num momento em que muitas pessoas que viveram essa experiência, ou que viram os seus dados serem recolhidos e utilizados, olham para esta tecnologia e pensam: “Sei exatamente onde isto vai dar.” Mesmo que não saibam realmente, existe essa sensação.

Claire Maiers: É possível ver o potencial para efeitos adversos.

David Rice: E isso molda a forma como as pessoas pensam sobre esta nova tecnologia. No entanto, como referiu, ela fala connosco, utiliza linguagem e parece completamente diferente.

Um modelo preditivo costumava fornecer apenas uma pontuação ou talvez uma probabilidade. Agora consegue explicar-se, recomendar um curso de ação e apresentar um argumento persuasivo sobre a razão pela qual tem razão.

O que acontece ao discernimento humano quando a máquina produz essa informação? Se começarmos a confiar mais nela, passamos a questionar-nos de forma diferente. Antes pensávamos: “Aqui está a informação e cabe-me interpretá-la.” Como devemos pensar de forma diferente sobre a maneira como nos questionamos e questionamos a máquina quando ela fala connosco?

Claire Maiers: Vou inverter um pouco a pergunta e dizer que devemos pensar nos resultados que pretendemos e, depois, conceber o sistema de forma a permitir-nos fazer o tipo de pensamento que queremos fazer.

Também quero dizer que não sou contra a IA. Existem aplicações extraordinárias. Estou muito entusiasmada com muito do que ela pode oferecer e devemos utilizá-la nos casos em que acrescenta realmente valor à experiência humana. Mas não há nenhuma razão para que o sistema tenha de ser concebido para apresentar a informação da forma como a maioria de nós experiencia o ChatGPT, o Claude ou sistemas semelhantes.

Um exemplo simples: sou utilizadora do Claude e reparei que ele me dá recomendações mesmo quando digo explicitamente: “Não me diga o que fazer. Quero apenas um conjunto de perguntas que me ajude a desenvolver o meu pensamento.” É quase como uma pessoa que não consegue deixar de lhe dizer o quão entusiasmada está com todas as ideias que tem.

Podemos escolher tornar esse sistema melhor. Podemos defender junto dos seus criadores que seja diferente. Parte do que está a abordar é que, noutras formas de tomar decisões, temos de realizar atividades que obrigam o cérebro a passar por determinadas etapas, ativando sinapses que conduzem a outros tipos de processamento e aprendizagem — algo que não é necessário quando somos leitores passivos.

Há investigação sólida que mostra que tirar notas é aprender. Estamos a aprender e a processar informação quando tiramos notas, porque obrigamos o cérebro a categorizar, estabelecer associações e simplificar. Estamos efetivamente a realizar muito trabalho de processamento.

Por isso, o exemplo mais simples é o de termos um sistema de IA a tirar notas nas nossas reuniões e isso substituir o ato de tirarmos notas nós próprios. Nesse caso, o cérebro não fez o trabalho e não saímos da reunião no mesmo estado mental, nem com os mesmos conhecimentos, que teríamos se tivéssemos tirado notas.

Isso não significa que não exista uma razão para tirar notas e pedir a uma IA que faça um resumo. Muitas dessas razões estarão provavelmente relacionadas com conformidade, documentação ou alimentação de um futuro sistema de IA, em vez de se relacionarem com o objetivo principal de ter algo útil para consultar. O que é valioso é o ato de tirar notas, e não simplesmente ter as notas.

Por isso, defendo a conceção de sistemas baseados numa compreensão da tomada de decisões humana e que continuem a obrigar o cérebro a passar por essas etapas.

David Rice: É um ótimo exemplo. Penso nisso muitas vezes. Desde a chegada dos sistemas de IA que tiram notas, houve reuniões das quais saí a pensar: “Sobre o que foi esta reunião?” Não estive tão envolvido.

Claire Maiers: A verdade é que, por vezes, não queremos estar envolvidos. Pensar é difícil. Criar ideias e processar informação consome energia. Existe uma diferença entre saber o que é fácil e saber o que é melhor. Eu diria que, quando saímos de uma reunião em que estivemos realmente envolvidos, nos sentimos muito melhor.

Também ficamos provavelmente mais bem preparados para ajudar a organização. Há algo mais difícil de descrever no nosso estado mental que beneficia do facto de nos obrigarmos a verificar o que estamos a fazer, apesar de ser mais difícil.

David Rice: Quando tirava as minhas próprias notas e passava de uma reunião para outra, era mais provável que pensasse: “Esperem, aquilo de que estão a falar relaciona-se com o que ouvi anteriormente.” Começava a estabelecer ligações que talvez as pessoas na sala, por não terem estado nas mesmas reuniões, não estivessem a fazer.

Agora posso estar envolvido de forma passiva na conversa. Quando ouço o meu nome, começo a falar. Depois penso: “Devia ter dito algo naquela altura, mas já é tarde. O momento passou.” Tenho de fazer um esforço adicional para voltar a ligar tudo e dar contexto a todos os envolvidos, em vez de o fazer no momento.

É uma época interessante para analisarmos de forma muito detalhada as nossas interações, não só com a tecnologia, mas também com o próprio trabalho, porque a forma como nos envolvemos com ele está a mudar.

Claire Maiers: Sem dúvida.

David Rice: No ambiente clínico que estudou, o mais interessante não era saber se a máquina ou o médico realizava melhor uma tarefa. Os profissionais aprenderam qual era o lugar da máquina num processo de decisão muito mais amplo. Pode explicar-nos esse processo e dar aos ouvintes algum contexto sobre o caso? O que permitiu que essa relação se desenvolvesse sem que as pessoas seguissem cegamente o sistema ou simplesmente o rejeitassem?

Claire Maiers: Isso aconteceu há cerca de dez anos. A investigação não é recente, mas continua a ser aplicável. No âmbito da minha tese, estudei como a ciência dos dados estava a mudar a nossa compreensão do que significa saber algo. Para isso, realizei alguns estudos de caso. Um deles situava-se no contexto médico, onde tive a extraordinária oportunidade de observar cientistas de dados a colaborar com médicos durante cerca de um ano, trabalhando numa tecnologia que previa se os doentes iriam desenvolver sépsis.

A sépsis é uma síndrome muito grave. Pode ser difícil de identificar e extremamente difícil de tratar, sendo responsável por um número muito elevado de mortes nos hospitais. Este grupo desenvolveu uma tecnologia que monitorizava a frequência cardíaca e, com base nesses dados, previa a probabilidade de um bebé internado numa unidade de cuidados intensivos neonatais desenvolver sépsis.

Na prática, observei também médicos e enfermeiros nessa unidade. Havia um monitor junto à cama com uma pontuação preditiva que indicava a probabilidade de o bebé desenvolver sépsis nas 24 horas seguintes. O monitor apresentava ainda um histórico dos últimos sete dias, mostrando a evolução das pontuações.

O mais interessante foi perceber que o sistema não era tratado como determinante, o que é muito importante. A experiência e o conhecimento dos enfermeiros e médicos continuavam a influenciar a decisão de tratar ou não a sépsis.

Isso era surpreendente porque, no atual contexto médico norte-americano, a medicina baseada na evidência tem uma posição dominante. Os médicos preferem, por boas razões, provas concretas de doença e orientam-se fortemente por dados quantificados como representação da verdade, em vez de outras formas de apresentação clínica.

Isso torna-se complicado porque há situações, como a sépsis, que por vezes só se manifestam clinicamente: o doente parece estar doente, mas não existe uma prova concreta que funcione como padrão-ouro.

A questão interessante era que a previsão não era determinante. Os médicos não prescreviam antibióticos sempre que a pontuação era elevada. A previsão podia indicar que era muito provável que o bebé desenvolvesse sépsis nas 24 horas seguintes, mas isso não determinava automaticamente o tratamento.

Penso que isso foi possível por várias razões. Uma delas é muito importante e devemos considerá-la à medida que integramos a IA em mais decisões: existia a realidade corporal dos doentes. Os bebés estavam doentes ou não estavam, independentemente do que o monitor dissesse. Isso dava aos médicos e enfermeiros a oportunidade de aprender, ao longo do tempo, como o sistema reagia a determinados doentes ou a grupos de doentes, percebendo que a previsão nem sempre indicava diretamente a presença de sépsis, porque era possível comparar a previsão com a realidade.

No mundo empresarial, quando falamos de aplicar IA no local de trabalho, muitas vezes não temos esse tipo de contexto. Não realizamos ensaios controlados aleatórios para comparar o que acontece quando adquirimos uma empresa com o que aconteceria se não a adquiríssemos. Não temos esse tipo de realidade para moderar a tomada de decisões e, por isso, também não temos uma realidade semelhante para moderar as decisões apoiadas por IA.

Outra coisa importante era a existência de um processo de decisão muito estruturado, articulado e concebido de forma intencional para as decisões de tratamento. Não existia apenas um processo: era possível explicá-lo. Na maioria das organizações, não temos algo semelhante.

Quando se toma uma decisão de tratamento, o enfermeiro começa por observar e verificar o doente e recolher todos os dados. Depois, um médico interno pode fazer o mesmo. São solicitadas análises específicas para obter informação adicional. Em seguida, há uma reunião com o médico responsável e outras pessoas, como radiologistas e outros especialistas, que contribuem para a decisão final.

Se quisermos ser intencionais na tomada de decisões com sistemas apoiados por IA que nos fornecem recomendações, precisamos de um processo estruturado e articulado semelhante, adequado ao tipo de decisões que estamos a tomar.

Isso é importante porque nos permite aprender e observar, ao longo do tempo, como essas decisões podem falhar. É também assim que incorporamos salvaguardas. O processo no hospital não é desorganizado. É muito estruturado.

Quero mencionar ainda outra coisa que continuo a analisar: o código de ética é importante neste caso. Estamos a falar de medicina e todos estão alinhados com o mesmo resultado. Quando um enfermeiro questiona a decisão de um médico e insiste no processo de decisão, todos compreendem que isso acontece porque estão a trabalhar para o mesmo resultado: a saúde do doente.

Em muitas organizações, é muito difícil alinhar as pessoas em torno do mesmo resultado. É mais difícil do que queremos admitir. A política e muitos outros fatores interferem. Mas um código de ética ou uma carta organizacional pode contribuir muito para alinhar as pessoas em torno de um resultado partilhado.

David Rice: Gosto do que disse sobre o código de ética. No exemplo médico, todos perseguem o mesmo objetivo porque é essa a razão de os seus empregos existirem: manter os doentes saudáveis.

No caso de decidirmos como gastar o orçamento de marketing, existem muitas filosofias e opiniões diferentes. Podemos ter o mesmo objetivo, mas ser muito apaixonados quanto à forma de o alcançar. Também sabemos que, quanto mais transferimos para a tecnologia, maior é a probabilidade de ela contornar regras e fazer o que for necessário para concluir a tarefa.

O código de ética será cada vez mais importante. No exemplo médico, não é necessário escolher entre a experiência, aquilo que se observa e o modelo. Tudo é considerado em conjunto e aprende-se a atribuir peso a cada fonte no seu contexto.

Daqui a dez anos, quando a tecnologia for normalizada, poderá ser muito diferente. Teme que as pessoas percam a capacidade de atribuir peso a estes resultados e compreender o que devem ou não retirar deles? Está preocupado com a forma como estamos a desenvolver essa capacidade?

Claire Maiers: Talvez seja isso que mais me preocupa: a forma como todo o nosso mercado está orientado para o valor e o benefício a curto prazo. Há sinais de que podemos estar a enfrentar uma escassez de talento e experiência, de pessoas capazes de interpretar e questionar a máquina.

Partilho essa preocupação. Uma solução que tenho visto é adotar um modelo de residência ou aprendizagem, proporcionando às pessoas exposição e experiência para desenvolverem esse discernimento.

Gostaria de ver soluções alternativas e que se pensasse novamente em como conceber os sistemas de forma diferente. Talvez devêssemos ser mais precisos na aplicação da IA, criando outras oportunidades para que as pessoas desenvolvam experiência.

Também é necessário pensar no modelo de negócio que acompanhará essa solução. Se o modelo de residência for o caminho para continuar a proporcionar experiência às pessoas, mas operarmos numa economia impulsionada por empresas cotadas em bolsa e por resultados trimestrais, será muito difícil encontrar um modelo de negócio que crie espaço para a residência.

Não estou a dizer que seja impossível. Existem inovadores e empreendedores capazes de pensar em formas de o fazer. O risco é que o modelo de residência seja visto apenas como um centro de custos e, nos ciclos de curto prazo, seja a primeira coisa a desaparecer, independentemente das boas intenções.

David Rice: A má notícia é que isso pode obrigar as empresas a fazer algo contrário à lógica do lucro, o que raramente acaba bem.

À medida que a IA torna o conhecimento organizacional pesquisável, mensurável e sintetizável, corremos o risco de privilegiar o conhecimento que é mais fácil de a máquina identificar? O que acontece à experiência, à intuição e ao contexto que as pessoas conhecem, mas que não conseguem documentar ou articular completamente?

Claire Maiers: A resposta está na pergunta: sim, corremos esse risco. Muito do que permite às organizações funcionar bem não está documentado. Penso frequentemente no organograma formal: como é suposto as coisas serem feitas e quem é supostamente responsável ou tem autoridade. Isso é diferente da forma como as coisas acontecem na prática.

As pessoas que se movimentam bem nas organizações geralmente sabem como as coisas funcionam na realidade, e não apenas no organograma. As organizações saudáveis e bem-sucedidas estão muitas vezes mais alinhadas entre esses dois elementos, ou sentem-se confortáveis com o facto de muito trabalho ser realizado através de canais, relações e responsabilidades informais.

É muito difícil substituir isso com IA ou criar um repositório de conhecimento sobre o qual a IA possa trabalhar e que substitua verdadeiramente o trabalho dessas pessoas.

Um exemplo rápido: numa função anterior, quando tentava fazer crescer áreas do negócio pelas quais era responsável, costumava trabalhar na cozinha principal, junto da equipa de desenvolvimento de negócio. Passava várias horas ali todas as manhãs para estar próximo das pessoas.

Isso significava receber comunicações informais, fora dos canais oficiais, que me ajudavam a ajudar o negócio. Não sei como replicar isso com IA. Podemos colocar microfones em toda a organização e gravar todas as reuniões. Talvez isso forneça alguns conhecimentos e ajude a identificar a verdadeira estrutura organizacional. Mas não sei se consegue realizar o trabalho que as pessoas fazem através desses canais informais para apoiar a missão.

David Rice: É um grande risco. Vivemos numa época em que a confiança está num nível historicamente baixo. Devemos ter cuidado com esse tipo de abordagem. Preferia tentar recriar a proximidade que descreveu e criar momentos em que as coisas surgem naturalmente.

Claire Maiers: Existe uma frase que diz algo como: “A tecnologia não é boa nem má, nem é neutra.” É isso que penso. Estamos num momento em que aqueles que não estão explicitamente ao volante destas tecnologias, se querem bons futuros para si e para os outros, precisam de falar e criar impulso suficiente para que as tecnologias sejam utilizadas de uma forma que acrescente valor à experiência humana, em vez de a diminuir.

Não estou a defender câmaras e microfones em todas as salas, corredores ou zonas de convívio. Mas corremos riscos se não dissermos explicitamente que não vamos seguir esse caminho ou que só vamos conceber coisas que melhorem a experiência humana. Se não protegermos explicitamente esse princípio, podemos acabar por degradar essa experiência.

David Rice: Se tentarmos proteger o conhecimento tácito que alguém acumulou ao longo do tempo, como preservamos um papel legítimo para a intuição e a experiência sem criar uma desculpa para ignorar evidências que contradizem aquilo em que acreditamos?

Claire Maiers: Essa é precisamente a questão. No estudo de caso que mencionei, a medicina baseada na evidência surgiu como correção para um período de subjetividade excessiva e de risco causado pelo facto de as pessoas não seguirem as evidências.

Quando é que a intuição passa a ser preconceito? Penso que tudo depende da conceção do contexto e da especificidade dos usos da tecnologia. Não podemos conceber um único contexto que sirva para tudo. Depende da missão da organização, do setor, da escala e da dimensão da organização. Tudo tem de ser adequado ao objetivo.

A questão fundamental é: como concebemos um sistema sociotécnico completo e saudável para os seres humanos operarem? Temos de responder a essa pergunta muitas vezes e em contextos diferentes.

David Rice: As empresas gostam de dizer: “A IA informa as decisões. Os seres humanos tomam-nas.” Mas essa afirmação não me diz se um colaborador se sente realmente autorizado a rejeitar a recomendação do sistema. Como se dá poder às pessoas para fazer isso? O que tem de ser verdade sobre a cultura para que a supervisão humana seja mais do que um slogan de governação?

Claire Maiers: É uma pergunta muito importante. Não pretendo ter todas as respostas, mas há alguns conhecimentos que retirei do meu trabalho.

O primeiro é que os resultados devem estar acima de tudo. Uma organização com normas sólidas compreende que todos fazem parte da mesma equipa e avançam em direção ao mesmo resultado, claramente articulado. Algumas organizações dizem que a melhor ideia vence, independentemente da sua origem — pode vir de um funcionário da limpeza ou do diretor-geral.

Uma boa ideia é uma boa ideia. O mesmo se aplica a uma organização e cultura alinhadas em torno de resultados: isso concede autorização para questionar, porque a pessoa não é vista como desleal, problemática ou política. Está simplesmente a trabalhar para o mesmo objetivo.

O outro elemento é a responsabilidade. Existe aqui uma dimensão negativa, porque entramos no domínio da responsabilidade legal. Há muito que os académicos se preocupam com a questão de quem é responsável quando um sistema algorítmico causa danos. Se um veículo automatizado matar alguém, a responsabilidade é dos engenheiros de software, dos executivos, da empresa, da máquina ou de ninguém?

Isto é importante porque, se a prioridade máxima for a facilidade e evitar conflitos no trabalho, e se ninguém for responsabilizado pelas decisões porque pode simplesmente dizer que foi a IA que decidiu, torna-se muito mais fácil não analisar cuidadosamente as decisões aprovadas pelo ser humano.

Quando existe responsabilidade por parte da pessoa que participa no processo, isso obriga a um nível diferente de atenção. No entanto, não quero que sistemas complexos sejam impostos às pessoas e que toda a responsabilidade seja colocada sobre o indivíduo. A responsabilidade deve provavelmente continuar a existir ao nível da organização ou da ferramenta utilizada.

Se queremos que o ser humano integrado no processo funcione, a pessoa tem de sentir algum grau de responsabilidade e de posse sobre a decisão.

David Rice: É difícil. A participação humana pode ser cerimonial. Se a cultura fizer com que o movimento de carreira mais seguro seja aceitar a recomendação, e se contrariá-la significar assumir pessoalmente o risco, aprende-se rapidamente o que a organização realmente quer. A pessoa será penalizada quando contrariar a máquina e estiver errada, mas não receberá crédito quando estiver certa.

Claire Maiers: Exatamente. Não é uma resposta completa sobre a cultura necessária nas organizações, mas estamos a começar a juntar as peças do puzzle.

David Rice: Antes da conversa, fez uma comparação que achei muito interessante: não avaliamos uma recomendação de um analista júnior da mesma forma que avaliamos algo apresentado por um chefe de gabinete com quem trabalhamos há anos. Podemos adaptar a confiança com base na pessoa, na tarefa e na experiência. É possível que a nossa relação com a IA funcione da mesma maneira?

Claire Maiers: Em parte, sim. Trabalhei com um excelente diretor-geral que distinguia frequentemente entre confiança efetiva e confiança cognitiva.

Quando comparamos um analista júnior com um chefe de gabinete com quem temos uma longa história, existem vários tipos de confiança em jogo. A confiança cognitiva corresponde à nossa avaliação da capacidade da pessoa para realizar bem o trabalho. A confiança efetiva corresponde à crença de que essa pessoa tem os nossos melhores interesses em mente.

Com um analista júnior, questionamos naturalmente a capacidade cognitiva porque é inexperiente e está a aprender. Também não temos o mesmo nível de confiança efetiva que temos numa pessoa com quem trabalhámos durante cinco anos e com quem construímos uma relação.

Quando confiamos numa recomendação, devemos calibrar não só a origem da recomendação, mas também aquilo para que a vamos utilizar e o nível de risco envolvido. Um diretor-geral perante uma decisão de alto risco analisará muito mais cuidadosamente a forma como a análise foi elaborada e quem a produziu do que faria com uma decisão reversível e de menor risco.

Também sei que um chefe de gabinete experiente analisará com muito mais atenção qualquer informação de alto risco que me apresente. Essa pessoa também calibra o seu próprio trabalho, verifica os dados e duplica as verificações quando as consequências são maiores.

A maioria dos sistemas de IA não faz isso. Podemos pedir recomendações a diferentes sistemas, solicitar que desempenhem o papel de advogado do diabo ou introduzir mecanismos que os obriguem a trabalhar mais e a verificar a coerência das recomendações. Mas nunca teremos confiança efetiva num sistema de IA.

Como não existe essa relação e como o sistema tende a tratar as tarefas de forma semelhante, não existe uma calibração natural em função do risco. Podemos, contudo, aprender a calibrar a nossa própria interpretação e experiência com um sistema bem concebido e criado para um objetivo específico.

Isso significa que não devemos colocar decisões estratégicas importantes numa conversa pessoal e aleatória com o Claude, sem a preparar para aquilo que queremos fazer, e depois confiar na recomendação. Por isso, a resposta é sim e não.

David Rice: Existem diferentes formas de abordar a questão. Em algumas decisões importantes, tento criar algo específico para o projeto e fornecer todo o contexto possível sobre a razão pela qual a decisão é importante e aquilo que pretendo alcançar.

Depois apresento-lhe a minha lógica e digo: “Este é o meu raciocínio. Desafie-me como faria o meu diretor-geral. Faça perguntas que encontrem falhas no meu argumento.” Nesse sentido, pode ser uma ferramenta muito poderosa e útil. Mas não confiaria nela para fazer a análise e simplesmente dizer-me o que devo fazer.

Claire Maiers: Quando fez esse trabalho, o resultado ajudou-o sobretudo a articular aquilo que já pensava ou levou-o a pensar em algo novo e a mudar de opinião?

David Rice: Foi provavelmente necessário aprofundar mais antes de haver uma verdadeira mudança. A primeira resposta fazia-me perceber que talvez não tivesse explicado bem o contexto ou que precisasse de fornecer mais informação sobre a importância do assunto para o negócio.

Nas primeiras respostas, normalmente encontro falhas na lógica porque o sistema ainda não compreende suficientemente bem a minha perspetiva. Depois começo a perguntar-me se estou a explicar demasiado. Se estivesse a falar com uma pessoa, explicaria tudo isto ou deixaria passar?

Acabamos por falar com a IA de forma diferente. Quando apresenta algo que não parece fazer sentido no contexto, pensamos que devemos ter omitido alguma coisa. Quando trabalhamos com alguém, talvez pensemos que essa pessoa deveria saber. É uma dinâmica diferente e pode ser positiva e negativa.

Claire Maiers: O que acho interessante é que está a obrigá-lo a exteriorizar e concretizar o seu pensamento. Há muita investigação sobre a forma como surgem a inovação, a criatividade e as descobertas científicas. A verdade é que quase nunca surgem isoladamente. Surgem em conversa e na interação social com outras pessoas.

Na medida em que a IA consegue simular isso e ajudar a desenvolver o nosso pensamento, é um caso de utilização muito interessante.

David Rice: É aí que encontrei mais valor até agora. Valor real, e não apenas a capacidade de fazer mais coisas. Talvez exista algum valor nisso, mas é limitado em termos do que realmente se obtém.

Se a IA ficar integrada nas decisões quotidianas — quem é contratado, como é avaliado o desempenho, quais os investimentos realizados e aquilo que os gestores devem priorizar — ainda estamos a falar de pessoas que utilizam uma ferramenta? Parece que estamos a falar de mudar a forma como sabemos aquilo que sabemos. Que responsabilidade cria isso para os líderes de pessoas?

Claire Maiers: Gosto dessa formulação. A sua pergunta mostra que as organizações são mais do que a soma das suas partes e que a IA tornou evidente que é útil ver as organizações como sistemas sociotécnicos. Os únicos intervenientes numa organização não são as pessoas. A tecnologia também é um interveniente.

Isto já era verdade em muitas organizações antes da IA, mas é difícil negá-lo quando existem agentes de IA a tomar decisões e a agir dentro de uma organização.

Penso que há pelo menos uma grande questão pela qual os líderes de pessoas são responsáveis: onde traçar a linha e qual é a visão para a organização?

Não devemos aceitar como inevitável que a IA seja integrada nas práticas de recrutamento. Existem pressões de mercado difíceis de resistir, como o número crescente de candidaturas, que torna tentador utilizar filtros de IA. Mas cada líder e cada organização não têm de seguir a maioria.

A primeira decisão é quão integrada queremos que a IA esteja. Onde encontramos ganhos de qualidade, e não apenas ganhos de produtividade? Não apenas naquilo que vendemos ou oferecemos, mas também na experiência organizacional.

A primeira responsabilidade é definir a visão e traçar a linha. Depois, é necessário conceber o contexto. Criar uma cultura saudável numa organização é um trabalho difícil no início, mas existem muitos casos que mostram que esse trabalho sustenta a missão e a rentabilidade de uma organização a longo prazo.

É necessário perguntar o que pode ser automatizado, quais as decisões que podem ser automatizadas no contexto em que trabalhamos e como manter consumidores e colaboradores seguros. Também é necessário perguntar como criar uma organização onde as pessoas possam manifestar preocupações, rejeitar decisões e pensar criticamente.

Não quero fazer isto parecer uma tarefa pequena. É uma tarefa enorme, especialmente quando não existe uma base de confiança, uma missão bem articulada, colaboradores orientados para a missão ou uma cultura que incentive as pessoas a falar.

É necessário definir uma visão e trabalhar a partir dela. Qual é o contexto holístico que precisamos de criar? Também precisamos de líderes que coordenem esforços entre organizações. As organizações tendem a querer parecer-se umas com as outras e fazer o que os vizinhos fazem. Este trabalho será mais fácil quando, pelo menos dentro de cada setor, as organizações trabalharem coletivamente para criar um contexto que incentive uma aplicação saudável da IA e contribua para o florescimento humano.

David Rice: Gosto da ideia de definir a visão e construir o contexto. Em escala suficiente, milhares de decisões individuais apoiadas por IA vão moldar o comportamento organizacional de forma fundamental, influenciando o que é recompensado, quem é promovido e muitas outras coisas.

Mas, se ninguém decidir conscientemente que é assim que a empresa deve funcionar, não é um bom lugar para estar. A partir do momento em que ultrapassamos a adoção tecnológica, estamos perante uma questão de desenho organizacional.

Claire Maiers: Isto é desenho organizacional. Muitas vezes, essa responsabilidade fica esquecida. A direção executiva pode concentrar-se no modelo de negócio e esquecer que a organização é o motor que permite concretizá-lo. Precisa de tanta atenção como o modelo de negócio. O modelo operacional também.

David Rice: Foi uma excelente conversa. Obrigado por ter participado.

Claire Maiers: Foi muito interessante. Muito obrigada. Saio daqui cheia de energia.

David Rice: Até à próxima. Se ainda não o fez, visite peoplemanagingpeople.com/subscribe ou /ai-signal e subscreva as nossas newsletters. Pode subscrever a AI Signal ou a nossa newsletter regular de resumo.

Receberá diretamente na sua caixa de entrada todas as novidades do peoplemanagingpeople.com, incluindo as conversas deste podcast. Até à próxima: definam a visão e construam o contexto. Até breve.

Faça avaliações de desempenho e obtenha informações sobre o envolvimento dos colaboradores na sua ferramenta de IA favorita. Ligue a Teamflect ao ChatGPT, Claude ou qualquer LLM para verificar objetivos, escrever avaliações, avaliar feedback, criar tarefas e muito mais, tudo através de uma simples conversa. Experimente já a Teamflect gratuitamente.