Este trabalho apresenta resultados parciais de uma pesquisa avaliativa sobre o uso de sistemas de inteligência artificial (IA) na análise documental de editais públicos, tendo como objeto o monitoramento dos editais da Política Nacional Aldir Blanc de Fomento à Cultura. O objetivo é testar a confiabilidade, previsibilidade e limites metodológicos da IA na extração e interpretação de dados, tomando como grupo de controle um banco previamente produzido e validado. A pesquisa dialoga com desafios teóricos, metodológicos e éticos do uso de ferramentas digitais na produção de conhecimento em ciências sociais, somando-se ao debate sobre regulação e governança da IA.

O grupo de controle reúne 101 editais de 15 capitais brasileiras, analisados a partir de matriz com 56 variáveis estruturadas segundo os objetivos da política pública, conforme descrito em Políticas culturais e dados (2026). A base foi construída por extração e codificação manual em duplo-cego, com consolidação por terceiro pesquisador, garantindo rastreabilidade e transparência analítica. O banco opera como parâmetro empírico para aferir desvios produzidos por análises automatizadas.

A etapa com IA consistiu na conversão do livro de códigos em um “livro de prompts”, organizado nos eixos “O que se coleta”, “Por que se coleta” e “Como se coleta”, incorporando cláusulas de segurança para mitigar alucinações e inferências indevidas. Destacam-se: falha segura (registro de “não identificado” quando não houver evidência textual), ancoragem visual direta, restrição de inferência aritmética e exigência de explicitação do raciocínio adotado.

Os testes comparativos envolveram diferentes sistemas (ChatGPT, Gemini e DeepSeek), em ambientes distintos, utilizando editais já codificados manualmente. Criaram-se variáveis para mensurar existência, intensidade e tipologia de desvios entre respostas da IA e o banco humano.

Os resultados indicam taxas significativas de desvio, sobretudo em variáveis numéricas: de 56 variáveis testadas, 22 apresentaram desvio, sendo 8 de alta intensidade. Observou-se recorrência de alucinação de dados, com justificativas logicamente coerentes, porém factualmente falsas. A IA apresentou melhor desempenho em variáveis interpretativas do que em extrações literais de valores financeiros. Identificaram-se ainda diferenças entre ambientes e versões (gratuitas versus comerciais), afetando a replicabilidade.

Do ponto de vista teórico-metodológico, a IA não pode ser tratada como instrumento neutro de mineração de dados, mas como agente cuja operação depende de condições técnicas, interacionais e de validação humana. A opacidade algorítmica e a variabilidade entre versões tensionam pressupostos de reprodutibilidade científica. A coerência textual das respostas pode mascarar erros estruturais com impacto em diagnósticos de políticas públicas.

Conclui-se que o uso de IA em pesquisas documentais exige protocolos rigorosos de validação cruzada e supervisão humana crítica. A IA deve ser incorporada como objeto e instrumento de investigação, sob condições experimentais controladas e com grupos de controle empíricos estabelecidos.

ALMEIDA, Virgílio; NAS, Elen. Desafios da IA responsável na pesquisa científica. Revista USP, São Paulo, n. 141, p. 17–28, abr./maio/jun. 2024.

EVANGELISTA, R. Por uma etnografia do poder na inteligência artificial, no capitalismo de vigilância e no colonialismo digital. In: IASULAITIS, S., and SILVEIRA, S. A., eds. Estudos sociopolíticos da Inteligência Artificial [online]. Campina Grande: EDUEPB, 2025, pp. 251-274.

IASULATIS, Sylvia; SILVEIRA, Sérgio Amadeu da. Estudos sociopolíticos da Inteligência Artificial. Campina Grande: EDUEPB, 2025.

MOREIRA, Daiany Alves Araújo; BELLO, Denize Dall. A Inteligência Artificial na pesquisa científica: vantagens, desvantagens e limitações. In: Cuadernos De Educación Y Desarrollo, v. 17, n. 7, 2025.

SAMPAIO, Rafael Cardoso; SABBATINI, Marcelo; LIMONGI, Ricardo. Diretrizes para o uso ético e responsável da inteligência artificial generativa [online] : um guia prático para pesquisadores. São Paulo : Sociedade Brasileira de Estudos Interdisciplinares da Comunicação - Intercom, 2024

SILVEIRA, Sérgio Amadeu da. A ideologia da transformação digital. Automatismos, solucionismos e alienação técnica. Revista Linguagem em Foco, v.15, n.3, 2024. p. 11-25. Disponível em: https://revistas.uece.br/index.php/linguagememfoco/article/view/12380.

ZUBOFF, Shoshana . The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. New York: PublicAffairs, 2019.