Você já ouviu falar em inteligência artificial racista? O que antes parecia possível somente em algum roteiro de filme de ficção científica, já se mostra presente em nossa sociedade. Neste artigo vamos falar sobre como o racismo algorítmico vem impactando o cenário de tecnologia e escalando efeitos da desigualdade racial.
Vivemos um momento de utilização generalizada de inteligência artificial e o que aparentemente deveria ser um método seguro e infalível, vem mostrado diversas falhas e equívocos. Muitas vezes, evidenciam problemas estruturais de nossa sociedade.
O reconhecimento facial é um tipo de I.A. que está sendo amplamente utilizado para facilidades do dia a dia e também surge como um auxiliar em mecanismos de segurança pública. Entretanto, essa tecnologia ainda apresenta viés e imprecisão gerando casos muito graves de racismo provocados pela inteligência artificial.
Continue a leitura e aprenda sobre as consequências do mau uso dessa tecnologia e como resguardar sua aplicação desse problema.
Tecnologias são neutras?
Existe uma percepção de que computadores são a provas de erros devido a sua precisão matemática e grande capacidade de processamento. Seguindo essa crença delegamos a eles decisões que se pretendem infalíveis.
Entretanto esquecemos que toda a inteligência das máquinas são programadas por nós, seres humanos e consequentemente estarão impregnadas com nossos valores, crenças, definição de sucesso e invariavelmente nossos preconceitos.
A implementação em larga escala de modelos de reconhecimento facial é uma das discussões mais polêmicas e atuais sobre inteligência artificial. Diversos estudos realizados nos últimos anos apontam um número alarmante de imprecisão, principalmente entre pessoas negras.
Inteligências artificiais podem ser racistas?
A inteligência artificial por si não é exatamente racista, mas ela pode ser estruturada em um contexto altamente atravessado por vieses e preconceitos causando uma situação de racismo e outras exclusões sociais quando aplicada.
Em 2015 o Google Photos tornou-se alvo de acusações de racismo algorítmico após um usuário negro ter suas fotos rotuladas como “Gorila” ao utilizar uma feature de categorização automática das fotos. A direção da companhia veio a público e se desculpou pelo acontecido, porém ficou nítido a falta de precisão do reconhecimento facial e o caso abriu especulações sobre os vieses raciais do caso.
O reconhecimento facial também segue amplamente utilizado em gadgets do nosso cotidiano. O seu uso para desbloqueio de fechaduras inteligentes e smartphones é um ótimo exemplo de que se a IA for contaminada por vieses racistas existirá um impacto negativo na usabilidade e acessibilidade desses dispositivos.
Esses exemplos podem até parecer inofensivos, mas expõe o risco real de uma escalada de desigualdades e violências raciais, que já existem.
Imagine a seguinte situação, um jovem negro com necessidades especiais está a caminho de uma consulta médica, acompanhado por sua mãe idosa. Ele entra em uma padaria para fazer um lanche, quando de repente é abordado violentamente pela polícia, com armas apontadas para sua cabeça e recebe voz de prisão por diversos crimes que ele jamais cometeu.
Não parece uma situação anormal, se não fosse o detalhe, foi identificado erroneamente por causa de um falso positivo do sistema de reconhecimento facial utilizado pela PM.
É importante considerarmos o constrangimento, a agressão e todo o risco a que esse rapaz foi exposto. Esse caso aconteceu na cidade de Salvador em setembro de 2019 e não foi a primeira vez que o sistema da Secretaria de Segurança Pública da Bahia reconheceu uma pessoa em consequência de um falso positivo culminando em uma abordagem violenta e prisão de uma pessoa inocente.
Mas por que as Inteligências Artificiais se tornam racistas?
Em nosso contexto social um dos motivos que levam inteligências artificiais apresentarem resultados racistas é porque elas podem estar sendo expostas a uma base de dados enviesada.
A falta de diversidade em times de desenvolvimento das IAs também é um problema que se reflete nos sistemas criados. No Brasil, cerca de 92% dos cargos da área de engenharia de equipamento e computação são ocupados por pessoas brancas, segundo dados do Ministério do Trabalho e Emprego em 2016.
Ou seja, podem ocorrer casos de racismo quando as I.A.s são treinadas a identificar, como caso de sucesso, apenas um padrão específico em um acervo de dados sem muita diversidade e com curadoria de um time de desenvolvimento pouco diverso. No caso a seguir aprofundaremos nesse ponto.
Após perceber que seu rosto não era reconhecido pelo sistema no qual trabalhava, Joy Buolamwini, mulher negra e pesquisadora do MIT (Massachusetts Institute of Technology), iniciou um estudo sobre a precisão dos algoritmos dos principais sistemas disponíveis no mercado.
O estudo Gender Shades avaliou sistemas de reconhecimento facial da IBM, Microsoft e Face++ revelando que existe um erro médio de 0,8% para reconhecimento de rostos de homens brancos, o que é considerado muito baixo. Porém podem errar até 34% ao reconhecer rostos de mulheres negras. Ou seja, esses modelos foram muito bem treinados para reconhecer homens brancos.
Para entender mais sobre a pesquisa e seus resultados assista o TED Talk onde a própria Joy fala sobre sua jornada científica em identificar inteligências artificiais racistas e prover modelos mais éticos para a ciência de dados.
E agora, como não criar uma inteligência artificial racista?
Essa não é uma pergunta simples de responder, pois como já vimos ao decorrer do texto, o desenvolvimento das tecnologias tendem a refletir as desigualdades presentes em nossa sociedade. Porém, existem algumas diretrizes que podem deixar mais transparente os sistemas de I.A. e suas aplicações práticas.
Curadoria de dados
A escolha criteriosa do dataset (conjunto de dados), é o primeiro passo para garantir a procedência, quantidade, qualidade e diversidade nos dados a serem utilizados.
Treinamento
Neste momento são criadas as características que farão parte da base de dados utilizada no treinamento da IA, e qualquer decisão arbitrária por parte do time de desenvolvimento pode impactar no enviesamento dos dados e resultados excludentes.
Explicabilidade das decisões:
Investir em xIA – Inteligência Artificial Explicável é um excelente caminho para evitar sistemas de decisão opacos e que podem estar repletos de vieses.
Auditoria Externa
Existem diversas iniciativas engajadas em ética de dados que realizam auditorias em IAs. A Liga da Justiça dos Algoritmos, foi criada pela Joy Buolamwini citada anteriormente no texto. Existe também o Big Brother Watch UK e o Safe Face Pledge, todos atuando a fim de garantir transparência das IAs.
Diversidade
Um time diverso e multidisciplinar enriquece o processo e agrega diferentes backgrounds e visões ao desenvolvimento da IA, reduzindo vieses e ampliando o impacto das soluções.
Não existe receita de bolo para resolver problemas estruturais da sociedade, mas um ótimo caminho é adotarmos um ponto de vista crítico sobre sistemas de inteligência artificial e o uso indiscriminado de reconhecimento facial.
A inovação precisa de diversidade e múltiplos olhares para se tornar uma ferramenta de disrupção e avanço social para todos. Enquanto a sociedade continuar utilizando em larga escala tecnologias que reforçam o racismo e outras discriminações, estaremos apenas tornando hi-tech velhas estruturas de poder e violência.
Gostou de saber porque a Inteligência artificial racista deve ser evitada? Aprenda mais sobre Inteligência Artificial no artigo: Qual a diferença entre Inteligência Artificial e Machine Learning?
