Detectar “fake news” através de grupos de leigos

(*)

Face às graves preocupações com a desinformação, as redes de comunicação social e as instituições noticiosas utilizam frequentemente verificadores de factos profissionais para separar o real do falso. Mas os verificadores de factos só conseguem avaliar uma pequena parte dos conteúdos que inundam as redes sociais e a comunicação social.

Um dos problemas com a verificação de factos é que há demasiados conteúdos para os verificadores profissionais poderem dar cobertura, especialmente num prazo razoável.

Um novo estudo realizado por investigadores do Instituto de Tecnologia de Massachusetts (MIT, na sigla inglesa), nos Estados Unidos da América, sugere uma abordagem alternativa: as verificações provenientes de grupos de leitores não especializados podem ser virtualmente tão eficazes como o trabalho de verificadores de factos profissionais.

No estudo agora publicado, com o título “Scaling up Fact-Checking Using the Wisdom of Crowds” (https://www.science.org/doi/10.1126/sciadv.abf4393), publicado na revista Science Advances, foram examinadas mais de 200 notícias que os algoritmos do Facebook tinham assinalado para uma análise mais aprofundada. Segundo os autores, pode ter sido encontrado uma forma alternativa de abordar esta verificação, utilizando grupos relativamente pequenos e politicamente equilibrados de leitores leigos para avaliar as manchetes e as frases principais das notícias.

A classificação média de um grupo de 10 a 15 pessoas correlacionou-se com as decisões dos verificadores de factos profissionais. Isto pode ajudar com o problema da escalabilidade, porque estes avaliadores são pessoas comuns sem formação de verificadores de factos, as quais se limitaram a ler as manchetes e a expor um juízo, sem gastar tempo a fazer qualquer pesquisa.

Isto significa que o método de crowdsourcing poderia ser aplicado amplamente e de forma mais barata. O estudo estima que o custo de ter leitores a avaliar as notícias desta forma é de cerca de 0,90€ por história.

“Não há nada que resolva o problema das falsas notícias online”, diz David Rand, professor no MIT, co-autor sénior do estudo. “Mas estamos a trabalhar para acrescentar abordagens promissoras ao kit de ferramentas anti-desinformação”, refere.

Uma massa crítica de leitores

Para conduzir o estudo, os investigadores utilizaram 207 artigos de notícias que um algoritmo interno do Facebook identificou como necessitando de verificação de factos, porque havia razões para acreditar que eram problemáticas, porque estavam a ser amplamente partilhadas ou porque se tratava de tópicos importantes, como o da saúde. A experiência envolveu 1128 residentes dos EUA.

A esses participantes foi dada a manchete e a frase principal de 207 notícias e foram feitas sete perguntas sobre quanto lhes parecia que a história era “exacta”, “verdadeira”, “fiável”, “fidedigna”, “objectiva”, “imparcial”, e “descrevendo um evento que realmente aconteceu”, para gerar uma pontuação global de exactidão sobre cada notícia.

Ao mesmo tempo, três verificadores de factos profissionais receberam todas as 207 histórias e foram solicitados a avaliá-las após a sua investigação. Em linha com outros estudos sobre a verificação de factos, embora as classificações dos verificadores de factos estivessem altamente correlacionadas entre si, a sua concordância estava longe de ser perfeita. Em cerca de 49 por cento dos casos, os três verificadores de factos concordaram com o veredicto adequado sobre a veracidade de um conteúdo; próximo de 42 por cento das vezes, dois dos três verificadores de factos concordaram entre si; e quase nove por cento das vezes, os três verificadores de factos tiveram classificações diferentes, cada um.

Curiosamente, quando os leitores não profissionais recrutados para o estudo foram classificados em grupos com o mesmo número de democratas e de republicanos, as suas classificações médias estavam altamente correlacionadas com as classificações dos verificadores de factos profissionais. E, com pelo menos um número de dois dígitos de leitores envolvidos, as classificações obtidas estavam tão fortemente correlacionadas com os verificadores de factos como as dos verificadores de factos entre si.

Estes leitores não foram treinados na verificação de factos e estavam apenas a ler as manchetes e as frases principais. Mesmo assim, foram capazes de corresponder ao desempenho dos verificadores de factos, como pode ler-se no artigo.

Embora possa parecer inicialmente surpreendente que um grupo de 12 a 20 leitores pudesse igualar o desempenho dos verificadores de factos profissionais, este é outro exemplo de um fenómeno clássico: a “sabedoria das multidões”. Numa vasta gama de aplicações, verificou-se que grupos de leigos igualam ou excedem o desempenho de julgamento de peritos. O estudo actual mostra que isto pode ocorrer mesmo no contexto altamente polarizador de identificação da desinformação.

Os participantes da experiência também fizeram um teste de conhecimento político e um teste da sua tendência para pensar analiticamente. Globalmente, as classificações das pessoas que estavam mais bem informadas sobre questões cívicas e empenhadas num pensamento mais analítico estavam mais estreitamente alinhadas com os resultados obtidos pelos verificadores de factos profissionais.

Mecanismos de participação

Os investigadores concluem que o resultado deste estudo poderia ser aplicado de muitas maneiras e notam que alguns proprietários dos meios de comunicação social estão, activamente, a tentar fazer com que o crowdsourcing funcione. O Facebook tem um programa, chamado “Community Review”, em que os leigos são contratados para avaliar o conteúdo das notícias; o Twitter tem o seu próprio projecto, “Birdwatch”, solicitando a opinião dos leitores sobre a veracidade dos tweets.

Para ter a certeza da utilidade e da viabilidade do estudo agora publicado, os autores notam que qualquer organização que utilize o crowdsourcing precisa de encontrar um bom mecanismo para a participação dos leitores. Se a participação for aberta a todos, é possível que o processo de crowdsourcing possa ser injustamente influenciado por terceiros que podem condicionar e enviesar o julgamento.

Por fim, os autores fazem notar que este processo não foi testado num ambiente onde qualquer pessoa possa optar por participar livremente. Por outro lado, as organizações noticiosas e de comunicação social teriam de encontrar formas de conseguir que um grupo suficientemente grande de pessoas avaliasse activamente os conteúdos, a fim de fazer funcionar o crowdsourcing.

.

………………….

.

(*) Artigo no âmbito do programa “Cultura, Ciência e Tecnologia na Imprensa”, promovido pela Associação Portuguesa de Imprensa.

.

30/06/2022