Analiz: Twitter'ın kitle kaynaklı gerçek kontrol deneyi sorunları ortaya koyuyor

Bir Poynter analizi, Birdwatch kullanıcılarının yarısından azının kaynaklar içerdiğini ve birçok teyit notunun partizan söylemler içerdiğini buldu.

Twitter'ın Birdwatch algoritmasının 14 Şubat versiyonu bazı notları yanıltıcı bilgilerle güçlendirdi.

5 Şubat'ta Twitter işaretlendi tartışmalı YouTuber Tim Pool'dan bir gönderi 2020 ABD başkanlık seçimlerinde hile yapıldığını söyledi. Platform, iddianın tartışıldığını ve “şiddet riski nedeniyle” katılımın kapatıldığını kaydetti.

Ama, üzerinde Kuş gözlemciliği , sosyal medya platformunun kitle kaynaklı bilgi doğrulama deneyi 14 Şubat'ta Twitter verilerinin analizine göre, kullanıcılar ezici bir çoğunlukla tweet'in yanıltıcı olmadığını söyledi. Ve çoğu Birdwatch kullanıcısı araçta, çürütülmüş iddiaları destekleyen bu notları yararlı ve bilgilendirici bulduklarını belirtti.

Bir notta, 'TIME'ın yetkili (sic) kaynağına göre, seçimleri Joe Biden lehine çevirmek için birlikte çalışan bir kabal gibi görünen bir gölge organizasyonda iyi organize edilmiş bir gizli katılımcı grubu vardı' diyor. Kullanıcı bir bağlantı içerirken bir Time Dergisi makalesi Gerçekten de “kabal” ve “komplo” gibi sözcükleri kullanan bu parçanın bağlamı – perde arkasında güçlü grupların seçim bütünlüğünü korumak için çalıştığı – kayboluyor.

bu kuş gözlemi algoritması yararlı notları ortaya çıkarmayı amaçlayan , 'gerçeklik kontrolüne' 0.68'lik bir yararlılık puanı atadı - tweet'teki notların en yükseği, algoritma tarafından 'yararlı olarak derecelendirilen' notların ilk %10'unun hemen dışında. 14 Şubat. Bu analizdeki 2.695'in yaklaşık %7'sini faydalı notlar oluşturuyor ve bunların üçte ikisinden daha azı başka bir tweet olmayan bir kaynak bağlantısı içeriyor.

17 Şubat'ta Twitter algoritmasını değiştirdi ve Havuz tweet'indeki notlar artık yararlı olarak değerlendirilmiyor, ancak hala gönderinin altında listeleniyor . Bu değişiklikten önce, yararlı olarak kabul edilecek daha düşük bir eşik vardı - yeni 0,84'e kıyasla yalnızca 0,5 - ve notların yararlı olarak kabul edilmesi, sırayla önceliklendirilmesi ve mavi bir notla işaretlenmesi için yalnızca üç derecelendirmeye ihtiyacı vardı.

Şimdi bir not, o tweet'i gündeme getirmek için beş puan toplamalı. Birdwatch'da yeni 'faydalı olarak derecelendirilen' sekmesi . Ve platformun veritabanındaki yaklaşık 2.700 nottan 126'sı yeni eşiği karşıladı - bu %5'ten az. Yeni 'faydalı' notların dörtte üçü Twitter dışından bir kaynak içeriyordu.

Bu, Birdwatch modelinin karşı karşıya olduğu sorunlardan birinin tam zamanında bir örneği: Görünüşte rastgele bir grup insan tarafından beslenen bir algoritma, gerçeği doğru bir şekilde 'değerlendirebilir' mi?

Birdwatch, pilot aşamasında 1.000'den biraz fazla kullanıcıyla, katılımcıların tweet'leri yanıltıcı olarak işaretlemesine ve bir kaynak belirten bir not eklemesine ve/veya neden yanıltıcı olabileceğinin bağlamını açıklamasına olanak tanır. Ardından, Birdwatch kullanıcıları bu notları yardımseverliğe göre sıralayabilir (bundan sonra algoritma devreye girer).

Sonunda, tüm Twitter kullanıcıları görünüşte bu notları tweet'lerin hemen altında görebilecekler, ancak şimdilik bunlarla sınırlı kalıyorlar. sitenin belirli bir bölümü . Birdwatch kullanıcıları, sonunda yardımseverlik algoritmasını besleyecek bir itibar puanı da oluşturacaklar.

Twitter ürün başkan yardımcısı Keith Coleman bir e-postada, “Birdwatch pilot uygulamasıyla hedefimiz, herkesin katkıda bulunabileceği ve doğal olarak insanların yararlı bulduğu bilgileri artıran bir sistem oluşturmaktır” dedi. 'Kimlerin katkıda bulunabileceği konusunda açıklığın önemli olduğuna ve çeşitli bir gruptan gelen girdilerle en yararlı notların yükseltilebileceğine inanıyoruz.'

Ancak sisteme şu anki haliyle bir bakış, teyitçilerin Birdwatch hakkında gündeme getirdiği zorlukları ortaya çıkarıyor: kullanıcılar arasında gerçekleri kontrol etme uzmanlığının olmaması, en itibarlı kullanıcıların yardımcı notlarını bir şekilde ortaya çıkaracak bir algoritma oluşturmanın zorluğu ve kullanıcıların partizan motivasyonları hakkında sorular.

“Sosyal medya platformlarının kutuplaşmış doğası ve ana akım kullanıcıların platformlar tarafından sunulan bu tür sorulara geri bildirim sağlamaktaki tereddütleri göz önüne alındığında, bu bulgulara şaşırmadım, oysa koridorun her iki tarafındaki motive olmuş kullanıcılar platformları anlatılarını tanıtmak için savaş alanları olarak görüyorlar. Uluslararası Doğrulama Ağı direktörü Baybars Örsek, “diğerleri” dedi.

En üretken Birdwatch kullanıcısının notlarının çoğu, sağı eleştiren tweetleri 'yanıltıcı' ve solu eleştirenleri 'yanıltıcı değil' olarak işaretliyor. (Örneğin, kullanıcı '' yazan bir tweet'i işaretledi. Biden Takımı Çin'e karşı yumuşak Senatör Ted Cruz ve Havuz tweet'inden “yanıltıcı değil”; süre Newsweek makalesi aşırı sağcılar ve GameStop destanı hakkında ve bir tweet Başkan Donald Trump'ı Capitol isyanına bağlamak 'yanıltıcı' ve 'zararlı' olarak işaretlendi.) Ve kullanıcının 82 notunun beşte birinden daha azında bir kaynak var, bunların çoğu başka tweet'ler. (Bu Birdwatch kullanıcısı, bir röportaj talebine yanıt vermedi.)

Coleman, Birdwatch'ın 'çeşitli katkıda bulunanlardan' gelen notları dikkate almaya teşvik edilebileceğini söyledi. Ayrıca, derecelendirme sistemi platformun arkasındaki ana itici güçtür.

Coleman, 'Bunların, birçok insanın değerli bulduğu katkıları ödüllendireceğine ve teşvik edeceğine ve Birdwatch'ı ele geçiren belirli bir grup veya ideolojinin riskini ele alacağına inanıyoruz.' Dedi. 'Bu, pilot çalışma boyunca aktif olarak üzerinde çalışacağımız bir şey.'

Ve gerçekten de, algoritmanın 17 Şubat değişikliklerinin ardından en yararlı olarak sıraladığı notlar, bir gün önceki yinelemeye göre daha sağlam kaynak kullanımı ve daha az partizan söylemi gösteriyor. Ancak, 1.000 kullanıcılı ve 2.700'den az notalı bir pilot program için bir algoritmayı değiştirmek bir şeydir, Birdwatch tüm kullanıcılar için kullanılabilir olduğunda bir algoritmayı değiştirmek başka bir şeydir - ve algoritmanın etkinliğinin kullanıcılar akmaya başladığında devam edip etmeyeceğini kim bilebilir? platforma, belki de en üretken pilot katılımcıların bazılarının davranışlarını kopyalayabilir.

Coleman, 'Mümkün olduğunca çok şey öğrenmeye ve pilot uygulama küçükken yinelemeye çalıştığımız için, şu anda ölçeklendirme için belirli bir zaman çizelgemiz yok' dedi. 'Güvenli bir şekilde yapabildiğimiz ve öğrenmeyi iyileştirmeye yardımcı olabileceği zaman ölçeği büyütmeyi planlıyoruz.'

Yine de Pool tweetinin altındaki notlarda olduğu gibi, partizan örnekleri veya Yanıltıcı bilgi hala normal notlar olarak görünür.

Toplam notların %10'undan fazlasını oluşturan en aktif beş kullanıcıdan dördü, en üretken kullanıcı ile benzer aktiviteye sahiptir. İçlerinden biri Jeffrey Epstein'ın ölümünün asla intihar olarak değerlendirilmediğini iddia ediyor. Bununla birlikte, en üretken ikinci Kuş Gözlemcisi, her notta Dünya Sağlık Örgütü ve FactCheck.org .

Twitter biyografilerine göre ilk 10 kullanıcıdan hiçbiri profesyonel teyitçi veya gazeteci değil.

PolitiFact genel yayın yönetmeni Angie Holan bir e-postada, 'Gerçek kontrolü, zihinsel olarak zorlu olduğu için aslında zor bir iştir' dedi. “İddiaları belirlemek için gerçekten konsantre olmanız ve zihinsel ataleti zorlamanız ve ardından bunları çürütmek veya doğrulamak için beyin fırtınası yapmanız gerekiyor. Ardından, aramayı takip etmeli ve ardından bulguları yazmalısınız. Açıkça söylemek gerekirse, sahilde bir gün değil. Ve eğer bir teyitçinin partizan bir motivasyonu varsa, bu kapsamlı ve tarafsız bir çabayı daha da zorlaştırır.”

Birdwatch, sorunlarına rağmen, geleneksel teyitçilerin gözden kaçırabileceği veya zarar verme potansiyeli nedeniyle kontrol etmemeyi tercih edebileceği yanlış bilgileri işaret ediyor - bu da dijital yanlış bilgilerdeki bazı boşlukları doldurmaya yardımcı olabilir. Sırasında oyun durdurma destanı , o şirketin hissesi hakkındaki yanlış bilgiler platformlara hızla yayıldı.

snopes ve PolitiFact GameStop ile ilgili iddiaları değerlendirmedi, oysa Potansiyel Müşteri Hikayeleri derecelendirildi bir Reddit gönderisi. Ancak Birdwatch'ta, en yüksek puan alan not - 1.00 yardımseverlik puanı alarak - hisse senedi hakkında konuşmanın gerçekleştiği Reddit hakkında yanıltıcı bir tweet'i işaretledi. Reddit, GameStop ve Robinhood yatırım uygulaması hakkında bu ayın başlarında yüksek hacimli işlem yapılan yaklaşık 50 not vardı.

Ve Birdwatch kullanıcıları, Virginia Senatörü Amanda Chase'e ait olduğunu iddia eden bir hesabı doğru bir şekilde sahte olarak işaretledi, ardından tweetlendi , “…Virginia'da bir uyuşturucu sorunumuz var ve esrarın yasallaştırılması yalnızca daha fazla esrar doz aşımına ve ölüme yol açacaktır…”

Örsek, kitle kaynak kullanımının yanlış bilgileri tespit ederek profesyonel teyitçilerin hayatlarını kolaylaştırabileceğini söyledi.

Coleman, Twitter'ın bu analizi mümkün kılan şeffaflığı korumaya ve platformun geleceği hakkında uzmanlardan gelen girdileri birleştirmeye kararlı olduğunu söyledi.

“Şirketten yerleşik bir ekip üyesiyle çalışmaktan Chicago Üniversitesi RISC Merkezi , muhabirler ve araştırmacılarla geri bildirim oturumlarına ev sahipliği yapmak için Twitter'ın ötesinde var olan çok sayıda uzmanlık ve bilgi birikiminden yararlanmak için çalışıyoruz' dedi.

Holan ve Örsek, Birdwatch kullanıcıları için teşvikler ve eğitimler önermenin yanı sıra, yüksek dereceli notları incelemek için profesyonel teyitçiler istihdam ediyor.

Holan, 'Ancak, kullanıcılarının içeriği kendileri için ücretsiz olarak denetleyeceğine inanan teknoloji şirketlerinden oldukça şüpheliyim' dedi. 'Çoğu kullanıcı, platformların kendi işlerini yürütmesine yardımcı olmayı kendi işi olarak görmüyor.'