A Inteligência Artificial (IA) está cada vez mais presente em nosso dia a dia, quer percebamos este fato ou não. Automatização de tarefas em empresas, como a pré-triagem de currículos, sistemas de reconhecimento facial, e até mesmo filtros do Instagram: essas são apenas algumas das atividades em que podemos encontrar a IA. A tecnologia, que a princípio parece facilitar e otimizar uma série de atividades humanas, no entanto, não está isenta de problemas. Compreender o caminho tomado pelos modelos de Inteligência Artificial para chegar a um determinado resultado, por exemplo, é um deles. A justificativa para tomada de decisão pela tecnologia é fundamental para identificar possíveis vieses e dificuldades do sistema, e é uma tarefa sobre a qual estudiosos da área de computação se debruçam para tentar solucionar. 

A mestranda em Neuroengenharia do Instituto Santos Dumont (ISD), Jade Dias, de 23 anos, é uma delas. Utilizando uma ferramenta matemática chamada Teoria de Resposta ao Item, Jade propõe uma nova forma de análise desses modelos, em um artigo intitulado “Uso e Interpretação da Teoria de Resposta ao Item aplicada à Machine Learning”, que foi selecionado como um dos melhores na Latin American Workshop on Computational Neuroscience (LAWCN 21) e, com isso, garantiu a publicação na revista Communications in Computer and Information Science, da editora científica internacional Springer.

“Os modelos de aprendizagem de Inteligência Artificial acabam funcionando como uma espécie de ‘caixa-preta’, ou seja, ele te dá um resultado previsível, mas não te diz o caminho que ele tomou para chegar até aquele resultado”, explica Jade, que é bacharel em Ciência e Tecnologia pela Universidade Federal do Rio Grande do Norte (UFRN) e cursa também o bacharelado em Engenharia Biomédica. De forma prática, isso significa que, ao utilizar um sistema de IA para a pré-triagem de currículos de uma empresa, por exemplo, não temos como saber quais foram exatamente os critérios utilizados para alcançar aqueles resultados, o que resulta em problemas éticos no processo de seleção. O mesmo se dá nos sistemas de reconhecimento facial, cujo uso é frequentemente criticado por grupos de Direitos Humanos pela falta de transparência na tomada de decisões, que muitas vezes geram prejuízos principalmente para populações racializadas. 

Poder interpretar esses modelos, portanto, é um passo importante para sua melhoria e credibilidade. Segundo Jade, existem diversos métodos para tentar fazer essa interpretação, e o que ela fez foi adotar a Teoria de Resposta ao Item como método de análise. “Existem vários modelos de interpretação, e eu usei um que é novo e foi pouco aplicado até então, mas que apresentou bons resultados”, destaca. 

A TRI, como é conhecida, é um ramo da Teoria da Medida aplicado principalmente para avaliação de conhecimentos em testes de múltipla escolha e provas em geral, como é o caso do Exame Nacional de Ensino Médio (Enem). Ela permite analisar quais as questões ou itens de maior dificuldade dentro daquele modelo. Jade, então, utilizou a Teoria aplicada ao aprendizado de máquina (machine learning), para tentar identificar as principais dificuldades do sistema e, em seguida, aumentar a quantidade de exemplos nesses itens para tentar torná-los menos problemáticos, como explica o professor pesquisador Abner Rodrigues, orientador da pesquisa. “Ela utilizou a Teoria de Resposta ao Item aplicada ao Machine Learning, para que cada modelo apresentasse quais são os dados mais difíceis de processar. Então, com essa informação, podemos ter uma informação extra de como o modelo está tomando a decisão”, explica Abner.

A partir daí, os exemplos que são considerados mais difíceis ou problemáticos passam a receber centenas de exemplos aumentados artificialmente para melhorar o modelo. “Usamos a TRI para encontrar os itens que são mais difíceis e problemáticos, e aí a gente aumenta esses exemplos para treinar o modelo. O que identificamos é que sim, o modelo melhora, e aqueles itens deixam de ser tão problemáticos à medida em que são identificados e têm os exemplos aumentados”, completa o professor. 

Segundo ele, a principal inovação do estudo desenvolvido por Jade é a utilização de critérios definidos para escolher quais itens precisam ser mais “treinados” por serem mais difíceis ou problemáticos. “O pessoal já sabe que há alguns critérios para você aumentar um banco de dados para que o modelo funcione melhor, mas esses aumentos são feitos de forma arbitrária. A TRI é para que a gente possa saber o que é problemático e utilizar a aumentação exatamente para melhorar aquilo”, diz Abner. 

Jade, que prossegue estudando o tema, afirma que o trabalho ainda não está completo, mas que o reconhecimento pela comissão avaliadora da conferência internacional foi fundamental para que eles vissem que estavam no caminho certo. “Não foi algo que eu estava esperando, porque o trabalho completo ainda não está pronto. Essa é uma parte do meu trabalho atual, então não apostamos todas as fichas mostrando todo nosso trabalho agora, mas acabou que a metade dele acabou sendo suficiente para ser classificado como um dos melhores do evento. Eu tinha noção de que o que eu estava fazendo era realmente novo, mas isso nos deu um gás ainda maior para continuar os estudos”, sublinha.