PolitiFact taraflı mı? Bu içerik analizi hayır diyor

bir eleştiridir ki PolitiFact uzun zamandır duymaya alışmıştır.

The Weekly Standard, 'PolitiFact büyük bir seçim yanlılığıyla uğraşıyor' 2011'de yazdı . ''Gerçek Denetçiler' Ezici Bir Şekilde Sağcı Pols ve Uzmanları Hedefliyor' bir Nisan 2017 manşeti Amacı “liberal medya önyargısını” ortaya çıkarmak ve bunlarla mücadele etmek olan NewsBusters sitesinden. Hatta bütün bir blog var PolitiFact'in önyargılı olduğu yolları göstermeye adanmıştır.

Poynter'ın sahibi olduğu teyit projesi, şeffaflığına işaret ederek bu suçlamaları reddetti. metodoloji ve finansman (Uluslararası Doğruluk Kontrol Ağı üyeliğinin yanı sıra) siyasi bir iknaya sahip olmadığının kanıtı olarak. Ve şimdi, PolitiFact'in bunu destekleyecek akademik bir çalışması var.

Rapor, araştırmacılar tarafından yayınlandı Mart ayında Washington Üniversitesi ve Carnegie Mellon Üniversitesi'nde düzenlenen bir araştırma, organizasyonun her iki taraftan konuşmacıları nasıl çerçevelediğini görmek için PolitiFact'in Demokratlar ve Cumhuriyetçiler hakkında yayınladığı dili analiz ediyor. Ayrıca, PolitiFact'in sorunları nasıl çerçevelediğini medyanın genel olarak nasıl çerçevelediğiyle karşılaştıran harici bir analiz içerir.

PolitiFact'in ilk olarak Poynter'a gönderdiği rapor, çoğunluğu 2010 ve 2017 yılları arasında olmak üzere, 2007'ye kadar uzanan yaklaşık 10.000 makale üzerinde otomatik metin analizi kullandı. Partiye göre bölündüğünde, Cumhuriyetçiler hakkında Demokratlar'ın yaklaşık 1,4 katı makale var. Eski başkan Barack Obama, yaklaşık 600 makale ile örneklemde en çok konuşulan konuşmacı oldu.

PolitiFact'in 'True' ile 'Pants on Fire!' arasında değişen altı puanlık ölçeğinin hesaplanmasında, oldukça eşit bir derecelendirme dağılımı vardır. Partilere göre bölünen bilgi doğrulama projesi, her bir grup hakkında yayınlanan makalelerin sayısındaki farka göre ayarlandığında, genellikle Demokratlara daha doğru ve Cumhuriyetçilere daha fazla yanlış puan veriyor.

(Ekran görüntüsü)

Rapora göre, belirli politikacılar için Obama için en sık kullanılan derecelendirme “çoğunlukla doğru”, Donald Trump'ınki ise “yanlış”. Bununla birlikte, her bir makaledeki en önemli konu etiketlerine bölündüğünde, PolitiFact'in kapsamı nispeten dengeli görünmektedir.

(Ekran görüntüsü)

PolitiFact'in en çok kapsanan ilk üç konusu ekonomi, sağlık ve vergilerdir - bunların tümü Cumhuriyetçi ve Demokrat konuşmacılar arasında yaklaşık olarak eşit olarak bölünmüştür. Rapora göre, göç ve silahlar gibi aykırı değerler, PolitiFact'in onları nasıl çerçevelediğinden ziyade, her bir tarafın bu konular hakkında ne kadar konuştuğuyla daha fazla ilgili olabilir.

“Konu içi bölünme, taraflar arasındaki genel bölünmeye benzer” diyor. 'Bu nedenle, iki taraf arasında bulduğumuz herhangi bir dil farklılığının, makalelerin içeriğine güçlü bir şekilde dayanmasını beklemiyoruz.'

Böylece araştırmacılar, daha sonra her makaleyi, hangi kelimelerin bir Cumhuriyetçi veya Demokrat hakkında olduğunu doğru bir şekilde tahmin etme olasılığı en yüksek olan kelimelere göre ayırdılar. Bunu yapmak için, istatistiksel teknikler ve doğal dil işleme modelleri kullandılar, yazarın yazmadığı alıntıları veya diğer metinleri kaldırdılar.

Raporun önceki analizleri göz önüne alındığında, buldukları şey oldukça şaşırtıcıydı - Cumhuriyetçiler hakkındaki makaleler 'Cumhuriyetçi' ve 'yanlış' gibi kelimelerle ilişkilendirilirken, Demokratlar hakkındaki makaleler 'Demokrat' ve 'doğru' ile ilişkilendirildi.

(Ekran görüntüsü)

Araştırmacılar, herhangi bir tarafla açıkça ilişkili herhangi bir kelimeyi çıkardıklarında, Demokrat konuşmacılarla ilgili hikayelerin genellikle 'yardım edildi' ve 'düşünmek' gibi kelimelerle tahmin edildiğini, Cumhuriyetçilerle ilgili hikayelerin ise 'Fox' ve 'göre' tarafından tahmin edildiğini buldular.

(Ekran görüntüsü)

Peki bu PolitiFact'in iddia edilen önyargısı hakkında ne diyor? Araştırmacılara göre çok fazla değil.

“Analizimizin bu kısmı, her bir tarafın bireylerini herhangi bir önyargı veya farklı muamele belirtisi gösterecek şekilde tanımlamak için kullanılan dilde belirgin bir farklılık bulmuyor” diye yazdılar.

Dış analizlerinde, araştırmacılar farklı bir sonuca varmadılar. Önceden tanımlanmış olumlu ve olumsuz terim listelerine dayalı bir duygu sınıflandırması yaptılar ve PolitiFact'in Cumhuriyetçiler için hem daha fazla olumsuz hem de olumlu kelimeler kullandığını buldular, bunlar hakkında makaleler ortalama olarak daha uzun olma eğilimindeydi.

(Ekran görüntüsü)

Raporda, 'Bu basit analizden, Demokratlar ve Cumhuriyetçiler arasındaki PolitiFact analizi arasında iletilen duyarlılıkta bir fark varsa, bunun incelikle ve/veya alana özgü şekillerde ifade edildiği sonucuna varıyoruz' deniyor.

Bazı sınırlamalar var. Cumhuriyetçiler ve Demokratlar hakkındaki makalelerin dengesizliği nedeniyle, metin sınıflandırması bir dizi kelimeden bir partiyi yalnızca yüzde 58 doğrulukla tahmin edebildi. Araştırmacılar ayrıca, kısmen yüksek maliyet ve kısmen de insan yorumcuların gerçek kontrol derecelendirmelerine öznel olarak yanıt verme potansiyeli nedeniyle PolitiFact'in içeriği üzerinde daha derinlemesine bir duygu analizi yapmadılar.

Ancak PolitiFact, raporun söyledikleri konusunda iyi hissediyor.

“Kendimizi nasıl hareket etmeye ve taşımaya çalıştığımızı kesinlikle pekiştiriyor. Bu nedenle, elbette kırmızı bayrak görmediğimiz için memnunuz,' dedi icra direktörü Aaron Sharockman bir mesajda. 'Fakat çok sayıda araştırmayı dikkatle inceleyen bir teyitçi olarak, bu çalışmaya değerinden daha fazla ağırlık vermemeliyiz. Bu, doğruluk kontrollerimizi yazmak için kullandığımız dile ve kelimelere bir bakış.”

'Tüm izleyiciler için güvenilirliğimizi artırmanın yollarını düşünmeden edemeyiz.'

Raporun bir parçası 50.000 dolarlık hibe Knight Vakfı'nın geçen Haziran ayında, teyit etme konusundaki güveni artırmak ve şüpheci izleyicilere ulaşmak için PolitiFact'e ödül olarak verdiği ödül. Geçen sonbaharda, teyit organizasyonunun üyeleri muhafazakar seçmenlerin çoğunlukta olduğu üç eyaleti gezdiler ve forumlar, bire bir toplantılar ve topluluk etkinlikleri düzenlediler ve onlara ulaşıp soruları yanıtladılar. PolitiFact ayrıca çalışmalarını eleştirmek için iki eski politikacıyı (her partiden birer tane) işe aldı.

Bu çabalar kısmen Rasmussen Muhabirleri anketi Eylül ayından bu yana, Trump destekçilerinin yüzde 88'inin medya gerçek kontrolüne güvenmediğini tespit etti. Ve PolitiFact'in dil analizi, bu bulguların iyi bir reddi gibi görünüyor.

Çalışmanın sonucu, 'Analizlerimiz, PolitiFact'in makalelerinde Demokratlar ve Cumhuriyetçilere yönelik muamelede herhangi bir sistematik farklılık tespit edemedi.

Ancak raporun ortak yazarlarından biri olan Noah Smith, Poynter'a gönderilen bir takip e-postasında bulgulara bir uyarı ekledi.

'Bunun nedeni gerçekten bulunacak bir şey olmaması veya araçlarımızın orada olanı bulmak için yeterince güçlü olmaması olabilir' dedi.