Por Cláudio Lúcio, especialista em dados e fundador da A3Data
Você confiaria em uma máquina que, em um piscar de olhos, pode fabricar uma mentira convincente? No cenário atual, em que a Inteligência Artificial Generativa (GenAI) e os Modelos de Linguagem de Grande Escala (LLMs) estão em alta, as chamadas ‘alucinações’ – momentos em que a IA gera informações falsas ou desconexas – estão se tornando um problema urgente que resultam na questão: até onde podemos confiar nessas criações que moldam o futuro digital?
A relevância desse tópico não pode ser subestimada, visto que a confiabilidade dessas tecnologias é fundamental para sua aplicação em setores relevantes como medicina, finanças e direito.
No setor de saúde, por exemplo, diagnósticos incorretos podem resultar em tratamentos inadequados. Já no setor financeiro, previsões erradas podem causar prejuízos enormes. E no campo jurídico, informações imprecisas podem comprometer casos judiciais importantes. Dessa forma, entender como identificar e prevenir essas falhas não é apenas uma necessidade técnica, mas uma questão de segurança e sustentabilidade do negócio.
Estudos recentes publicados pela Vectara, startup fundada por ex-funcionários do Google, apontam que as alucinações da IA ocorrem com uma frequência que varia entre 3% e 27% em tarefas simples, como resumir artigos de notícias. Isso significa que boa parte das métricas usadas para medir a qualidade da escrita gerada automaticamente, como por exemplo, resumo e tradução de texto, não é adequada para quantificar o nível de alucinação desse mesmo texto.
Isso porque essas métricas (como ROUGE, BLEU e METEOR) avaliam a qualidade textual com base na similaridade com referências humanas, mas não consideram a precisão factual ou a veracidade das informações contidas no texto. Portanto, há esforços de pesquisa ativos para definir métricas eficazes para quantificar a alucinação.
Nesse sentido, há diversas formas de minimizar e evitar esse comportamento, inclusive proativamente. Para isso, é necessário conhecimento na área de negócio em questão e no tipo de tarefa que o modelo está executando e, assim, ter governança, criando métodos robustos de desenvolvimento e monitorando em tempo real.
Para ilustrar essa ação de forma mais simplificada, na área tecnológica chamamos de ‘guard rail’ (que são aquelas grades de proteção que são utilizadas em estradas) as regras e limitações que são determinadas para impedir que as LLMs (que, no caso, seriam os ‘carros’) ‘saiam da pista’ e gerem respostas prejudiciais, falsas ou que violem algum princípio ético.
O projeto de lei que tramita no Senado traz um conceito bastante interessante, que é o TEIA, um acrônimo que resume quatro conceitos essenciais para um modelo de governança de IA:‘T’ é de ‘transparência’, ao exigir mais clareza nos processos de decisão da IA; o ‘E’ de ‘explicabilidade’, que permite que os usuários compreendam os motivos por trás das decisões tomadas; o ‘I’ de ‘inteligibilidade’, que garante que os resultados da IA sejam compreensíveis para os seres humanos; e o ‘A’ de ‘auditabilidade’, que permite verificar se os sistemas estão funcionando corretamente e se os resultados estão sendo gerados de forma justa e imparcial.
Dessa forma, temos mais garantia de confiabilidade e precisão nas decisões. A partir dessa premissa, empresas podem estabelecer políticas claras sobre o uso da IA, definindo quem pode acessar e manipular os dados e algoritmos de IA, e criando comitês de revisão para monitorar e avaliar o desempenho dos modelos, a fim de garantir que eles sigam diretrizes éticas.
Portanto, é fundamental que esses diferentes setores do mercado invistam em governança de dados e em processos rigorosos de formação de pessoas com competências ligadas à IA. Além disso, é essencial que se inclua também o ‘human-in-the-loop’, ou ‘humano no circuito’ em tradução livre.
Como o significado já diz, essa expressão é definida pela interação ativa de humanos e a integração do conhecimento e experiência em diversas etapas do ciclo de vida de um sistema (que em grande parte é automatizado), a fim de melhorar a precisão, a confiabilidade e a eficácia do sistema. Além disso, é essencial incluir a fase de interação ativa de humanos, integrando seu conhecimento e experiência em diversas etapas do ciclo de vida de um sistema, em grande parte automatizado, de modo a melhorar a precisão, a confiabilidade e a eficácia do sistema.
Em resumo, a vulnerabilidade dessas áreas de atuação exige uma abordagem proativa e especialista para garantir a segurança e a eficácia dos sistemas de IA e, sobretudo, da máxima integridade da informação aos usuários.
