Analizė: „Twitter“ sukauptas faktų tikrinimo eksperimentas atskleidžia problemų

„Poynter“ analizė parodė, kad mažiau nei pusė „Birdwatch“ naudotojų nurodo šaltinius, o daugelyje faktų tikrinimo užrašų yra partizaniškos retorikos.

Vasario 14 d. „Twitter“ „Birdwatch“ algoritmo versija papildė kai kurias pastabas klaidinančia informacija.

Vasario 5 d. Twitter pažymėjo prieštaringai vertinamo „YouTube“ nario Timo Poolo įrašas sakė, kad 2020 m. JAV prezidento rinkimai buvo suklastoti. Platforma pažymėjo, kad teiginys buvo užginčytas ir išjungė sužadėtuves „dėl smurto pavojaus“.

Bet, toliau Paukščių stebėjimas , socialinės žiniasklaidos platforma eksperimentas naudojant minios šaltinį faktų tikrinimą Remiantis vasario 14 d. „Twitter“ duomenų analize, dauguma vartotojų teigė, kad „Twitter“ nėra klaidinantis. Be to, dauguma „Birdwatch“ naudotojų įrankyje nurodė, kad šie užrašai, patvirtinantys demaskuotus teiginius, jiems buvo naudingi ir informatyvūs.

„Anot oficialaus (sic) šaltinio TIME, buvo gerai organizuota slaptų dalyvių grupė šešėlinėje organizacijoje, kuri skamba kaip sumaištis, kuri kartu siekė palenkti rinkimus Joe Bideno naudai“, – rašoma viename pranešime. Nors vartotojas įtraukia nuorodą į žurnalo „Time“ straipsnis kad iš tikrųjų vartojami tokie žodžiai kaip „susikalbėjimas“ ir „sąmokslas“, kūrinio kontekstas – kad galingos grupės dirbo užkulisiuose, siekdamos apsaugoti rinkimų vientisumą – yra prarastas.

The Paukščių stebėjimo algoritmas , kuriuo siekiama atskleisti naudingas pastabas, šiam „faktų patikrinimui“ priskyrė 0,68 naudingumo balą – aukščiausią iš tviteryje esančių pastabų, šiek tiek už 10 % pastabų, kurias algoritmas laiko „naudingomis“ nuo Vasario 14 d. Naudingai įvertintos pastabos sudarė apie 7 % iš 2 695 šioje analizėje ir mažiau nei dviejuose trečdaliuose jų yra šaltinio nuoroda, kuri nėra kitas tviteris.

Vasario 17 d., Twitter pakeitė savo algoritmą ir pastabos baseino tviteryje nebėra vertinamos kaip naudingos, nors jos vis dar yra išvardyti po įrašu . Iki šio pakeitimo buvo žemesnė riba, kuri buvo laikoma naudinga – tik 0,5, palyginti su nauja 0,84 riba – ir tereikia trijų įvertinimų, kad užrašai būtų laikomi naudingais, suskirstyti pagal prioritetus ir pažymėti mėlyna pastaba.

Dabar pastaba turi surinkti penkis įvertinimus, kad tviteris būtų įtrauktas į naujas „Birdwatch“ skirtukas „įvertintas naudingas“. . Ir iš tų beveik 2700 užrašų platformos duomenų bazėje 126 pasiekė naują ribą – tai yra mažiau nei 5%. Trijuose ketvirčiuose naujų „naudingų“ pastabų buvo šaltinis už „Twitter“.

Tai savalaikė vienos iš problemų, su kuriomis susiduria Birdwatch modelis, iliustracija: ar iš pažiūros atsitiktinės žmonių grupės maitinamas algoritmas kada nors gali tiksliai „įvertinti“ tiesą?

Bandomasis „Birdwatch“ etapas, kuriame dalyvauja šiek tiek daugiau nei 1 000 vartotojų, leidžia dalyviams pažymėti tviterius kaip klaidinančius ir pridėti pastabą, kurioje nurodomas šaltinis ir (arba) paaiškinamas kontekstas, kodėl tai gali būti klaidinanti. Tada „Birdwatch“ naudotojai gali reitinguoti šias pastabas pagal naudingumą (po to algoritmas perima viršų).

Galų gale visi „Twitter“ naudotojai, matyt, galės matyti šias pastabas tiesiai po „Twitter“ žinutėmis, tačiau kol kas jie apsiriboja konkrečioje svetainės dalyje . „Birdwatch“ naudotojai galiausiai sukurs reputacijos balą, kuris bus įtrauktas į naudingumo algoritmą.

„Mūsų tikslas su Birdwatch bandomuoju projektu yra sukurti sistemą, prie kurios kiekvienas galėtų prisidėti, o tai natūraliai padidina informaciją, kuri žmonėms atrodo naudinga“, – elektroniniame laiške sakė „Twitter“ produkto viceprezidentas Keithas Colemanas. „Manome, kad atvirumas, kas gali prisidėti, yra svarbus, o pasitelkus įvairios grupės indėlį, naudingiausios pastabos gali būti išaukštintos.

Tačiau pažvelgus į dabartinę sistemą, matyti iššūkiai, kuriuos faktų tikrintojai iškėlė apie „Birdwatch“: naudotojų faktų tikrinimo patirties stoka, sunku sukurti algoritmą, kuris kažkaip atskleistų labiausiai gerbiamų naudotojų naudingas pastabas ir klausimai apie partizanines vartotojų motyvacijas.

„Manęs nestebina šios išvados, atsižvelgiant į socialinės žiniasklaidos platformų poliarinį pobūdį ir pagrindinių vartotojų dvejones teikti atsiliepimus apie tokias platformų siūlomas užklausas, tuo tarpu motyvuoti vartotojai iš abiejų koridoriaus pusių platformas mato kaip kovos laukus, reklamuojančius savo pasakojimus. kiti“, – sakė Tarptautinio faktų tikrinimo tinklo direktorius Baybars Örsek.

Daugumoje produktyviausių „Birdwatch“ naudotojų užrašų „Twitter“ žinutės, kritikuojančios dešiniuosius, pažymimos kaip „klaidinančius“, o kairiuosius – kaip „neklaidinančius“. (Pavyzdžiui, vartotojas pažymėjo tviterį, kuriame sakoma „ Komanda Biden yra švelni prieš Kiniją “ iš senatoriaus Tedo Cruzo ir „Pool“ tviteryje paskelbė kaip „neklaidinančią“; kol „Newsweek“ straipsnis apie kraštutinių dešiniųjų ekstremistus ir GameStop sagą ir tviterį prezidento Donaldo Trumpo susiejimas su Kapitolijaus riaušėmis buvo pažymėtas kaip „klaidinantis“ ir „kenksmingas“.) Ir mažiau nei penktadalyje iš 82 naudotojo užrašų yra šaltinis, keli iš kurių yra kiti tviterio žinutės. (Šis „Birdwatch“ naudotojas neatsakė į interviu prašymą.)

Colemanas sakė, kad „Birdwatch“ gali būti paskatintas atsižvelgti į pastabas, kurias pateikia „įvairių bendradarbių grupė“. Be to, reitingų sistema yra pagrindinė platformos varomoji jėga

„Manome, kad tai bus apdovanota ir paskatinta už indėlį, kuris daugeliui žmonių atrodo vertingas, ir pašalins riziką, kad viena konkrečia grupė ar ideologija perims „Birdwatch“, – sakė Colemanas. „Tai yra kažkas, prie kurio mes aktyviai dirbsime viso bandomojo laikotarpio metu.

Ir iš tiesų, užrašai, kuriuos algoritmas įvertino kaip naudingiausius po vasario 17 d. pakeitimų, rodo tvirtesnį šaltinį ir mažiau partizaniškos retorikos nei kartojimas iš vos prieš dieną. Tačiau bandomosios programos, kurioje yra 1 000 vartotojų ir mažiau nei 2 700 užrašų, algoritmo keitimas yra vienas dalykas, o algoritmo keitimas, kai tik Birdwatch bus pasiekiamas visiems vartotojams, yra kitas dalykas – ir kas žino, ar algoritmo veiksmingumas išliks, kai vartotojai pradės pilti. į platformą, galbūt atkartojant kai kurių produktyviausių pilotų dalyvių elgesį.

„Šiuo metu neturime konkrečios mastelio keitimo laiko juostos, nes stengiamės kuo daugiau išmokti ir kartoti, kol pilotas mažas“, – sakė Colemanas. „Planuojame padidinti mastą, kai galime tai padaryti saugiai ir kada tai gali padėti pagerinti mokymąsi.

Vis dėlto, kaip ir užrašuose po „Twitter“ žinute, yra partizanų pavyzdžiai arba klaidinanti informacija vis dar matomi kaip įprasti užrašai.

Keturi iš penkių aktyviausių vartotojų, kurie sudaro daugiau nei 10 % visų užrašų, turi panašią veiklą kaip ir produktyviausias naudotojas. Vienas iš jų teigia, kad Jeffrey Epstein mirtis niekada nebuvo laikoma savižudybe. Tačiau antrasis produktyviausias paukščių stebėtojas kiekvienoje pastaboje nurodo šaltinį, įskaitant nuorodas iš Pasaulio sveikatos organizacijos ir FactCheck.org .

Nė vienas iš 10 geriausių vartotojų, remiantis jų „Twitter“ biografija, nėra profesionalus faktų tikrintojas ar žurnalistas.

„Faktų tikrinimas iš tikrųjų yra sunkus darbas, nes jis reikalauja psichikos pastangų“, – elektroniniame laiške sakė „PolitiFact“ vyriausioji redaktorė Angie Holan. „Jūs tikrai turite susikaupti ir įveikti psichinę inerciją, kad nustatytumėte teiginius, o tada sugalvotumėte būdus, kaip juos paneigti ar patikrinti. Tada jūs turite atlikti paiešką ir užrašyti išvadas. Tiesą sakant, tai ne diena paplūdimyje. Ir jei faktų tikrintojas turi partizanišką motyvaciją, tai dar labiau apsunkina kruopščias ir lygias pastangas.

Nepaisant problemų, „Birdwatch“ pažymi klaidingą informaciją, kurią tradiciniai faktų tikrintojai gali praleisti arba nuspręsti netikrinti dėl galimos žalos – tai galėtų padėti užpildyti kai kurias skaitmeninės dezinformacijos spragas. Metu žaidimo sustabdymo saga , klaidinga informacija apie tos įmonės akcijas greitai pasklido įvairiose platformose.

Snopes ir PolitiFact nevertino pretenzijų dėl GameStop, tuo tarpu Įvertintos pagrindinės istorijos vienas Reddit įrašas. Tačiau „Birdwatch“ aukščiausias įvertinimas – 1,00 naudingumo balo – pažymėjo klaidinantį „Twitter“ pranešimą apie „Reddit“, kuriame vyko pokalbis apie akcijas. Buvo apie 50 pastabų apie „Reddit“, „GameStop“ ir „Robinhood“ investicinę programą, kuriomis anksčiau šį mėnesį buvo prekiaujama daug.

Ir Birdwatch naudotojai teisingai pažymėjo paskyrą, teigiančią, kad ji priklauso Virdžinijos senatorei Amandai Chase, kaip netikrą. „Twitter“ paskelbė , „... Virdžinijoje turime narkotikų problemą, o marihuanos legalizavimas tik sukels daugiau marihuanos perdozavimo ir mirčių...“

„Crowdsourcing“ gali palengvinti profesionalių faktų tikrintojų gyvenimą, nes aptinka klaidingą informaciją, sakė Örsekas.

Colemanas teigė, kad „Twitter“ yra įsipareigojęs išlaikyti skaidrumą, dėl kurio buvo įmanoma atlikti šią analizę, ir įtraukti ekspertų nuomonę apie platformos ateitį.

„Iš darbo su integruotu komandos nariu iš Čikagos universiteto RISC centras , norėdami surengti grįžtamojo ryšio sesijas su žurnalistais ir tyrėjais, stengiamės pasinaudoti daugybe patirties ir žinių, kurios egzistuoja ne tik „Twitter“, – sakė jis.

Holanas ir Örsekas rekomenduoja „Birdwatch“ naudotojams paskatas ir mokymus, taip pat samdyti profesionalius faktų tikrintojus, kad jie patikrintų aukšto rango užrašus.

„Tačiau aš gana abejoju technologijų įmonėmis, kurios tiki, kad jų vartotojai nemokamai moderuos turinį“, – sakė Holanas. „Dauguma vartotojų nelaiko savo darbu padėti platformoms valdyti savo verslą.