Grandes aliados na tomada de decisões, os algoritmos estão cada vez mais presentes em nosso dia a dia, contudo, diferentemente do que muitas pessoas imaginam, eles podem cometer erros e carregar vieses na maneira como são programados.
Algoritmos nada mais são que mecanismos lógicos de tomada de decisões. Nós os utilizamos para resolver qualquer problema, mas nem sempre os transformamos em códigos. Quando desejo cozinhar, por exemplo, ao escolher qual cardápio e quais os ingredientes utilizar, estou usando um algoritmo, ou seja, utilizo um conjunto de informações que já obtive no passado – receitas – e elenco alguns fatores que irão nortear minha decisão de qual prato cozinhar. Neste caso, os fatores que eu particularmente levo em conta são o sabor e o quão nutritivos são os ingredientes. Perceba que se fosse outra pessoa cozinhando, os fatores de escolha poderiam ser completamente diferentes. Eles poderiam ser, por exemplo, o tempo de preparo do prato e o uso somente de ingredientes vegetarianos. A forma como cada um decide qual a melhor forma de cozinhar e o que comer é estritamente subjetiva e o mesmo ocorre em qualquer processo de tomada de decisão.
Quando tratamos de algoritmos que de fato são aplicados em códigos e empregados na resolução de problemas reais que impactam a vida de muitas pessoas, como na identificação da melhor maneira de organizar a distribuição de policiais em um bairro ou na identificação de quais anúncios políticos disponibilizar para um determinado perfil de cidadãos, é fundamental garantir que os fatores de classificação e priorização utilizados não contenham vieses. Mas nem sempre isso acontece.
Um estudo realizado pelo governo americano no final de 2020 revelou que a maior parte dos sistemas de reconhecimento facial é racista [1]. Uma das tarefas testadas foi o matching “um-para-um” de fotos, que corresponde a encontrar um “match” de uma foto de uma pessoa com outra foto da mesma pessoa em um banco de dados (isto é usado para desbloquear smartphones hoje em dia, por exemplo). No estudo, a maioria dos sistemas teve uma taxa de falsos positivos para rostos asiáticos e americanos-africanos maior que para rostos de pessoas caucasianas. Contudo, é interessante observar que para os sistemas desenvolvidos na Ásia, a taxa de falsos positivos entre caucasianos e asiáticos manteve-se bem próxima.
Um outro exemplo que pode ilustrar muito bem como algoritmos podem ser enviesados é na aplicação de verificação dos melhores candidatos para uma vaga de emprego. Em empresas grandes, o volume de inscrições para uma vaga pode ser muito grande e com isso, alguns softwares de inteligência artificial têm sido utilizados para “peneirar” os currículos das pessoas que tenham maiores chances de contratação – essa fase do processo de recrutamento tem o nome de “screening”. Para fazer isso, o algoritmo utilizado é treinado procurando por padrões em dados de candidatos contratados no passado e nas pessoas que tiveram bom desempenho na empresa. Esse seria o mais lógico a se fazer não é mesmo? O detalhe é que ao fazer isso, reforçam-se os padrões de contratação do passado, em que possivelmente a régua de inclusão de pessoas de etnias minoritárias e de mulheres poderia não ser adequada.
Uma das maiores referências no assunto de vieses de algoritmos é a cientista de dados Cathy O’Neil. Segundo ela, quando os algoritmos são treinados “cegamente” com dados históricos, eles “automatizam o status quo” [2]. Ela exalta que se nosso mundo fosse perfeito, os algoritmos funcionariam perfeitamente, mas ele não é. Segundo ela, a melhor forma de evitar os vieses nos códigos é garantir um processo cauteloso de auditoria. Isso exige que a lógica por trás seja transparente e que acima de tudo haja DIVERSIDADE.
No exemplo que citei de discriminação racial em algoritmos de reconhecimento facial, quando pessoas asiáticas foram envolvidas no desenvolvimento, a taxa de erros de falsos positivos para pessoas asiáticas se equiparou à taxa para caucasianos. No caso dos processos de “screening” de currículos, a presença de pessoas com perspectivas diferentes poderia mitigar a falta de inclusão nos processos seletivos. A diversidade de pessoas traz perspectivas diferentes para as discussões e reduz muito as chances de enviesamento. O mesmo ocorre para a diversidade dos dados utilizados.
Algoritmos são ferramentas poderosas que podem ser muito eficazes na resolução dos problemas complexos com os quais inevitavelmente nos deparamos. Com uma boa dose de DIVERSIDADE de pessoas e dados, os resultados que podem nos oferecer são indiscutíveis. Você já havia refletido sobre a importância da DIVERSIDADE no desenvolvimento de algoritmos?
Tomás Lichfett Machado
Líder de Projetos na Zeta Dados
[1] https://www.technologyreview.com/2019/12/20/79/ai-face-recognition-racist-us-government-nist-study/
[2] https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end?language=pt-br
