Hvordan YouTube byggede en radikaliseringsmaskine til det yderste højre

Tech


Hvordan YouTube byggede en radikaliseringsmaskine til det yderste højre

For David Sherratt, som så mange teenagere, begyndte den ekstreme højre radikalisering med videospiltutorials på YouTube. Han var 15 år gammel og løst liberal, mest interesseret i 'Call of Duty'-klip. Så førte YouTubes anbefalinger ham andre steder hen.

'Som jeg blev ved med at se, begyndte jeg at se ting som online ateistsamfundet,' sagde Sherratt, 'som derefter blev en port til ateismesamfundets borgerkrig over feminisme.' På grund af en stor subkultur af YouTube-ateister, der var imod feminisme, 'tror jeg, jeg faldt ned i det kaninhul meget hurtigere,' sagde han.


Under den fire år lange tur ned i kaninhullet skabte teenageren overskrifter for sit engagement i mænds rettighedsbevægelsen, en udkantsideologi, der mener, at mænd er undertrykt af kvinder, og som han ikke længere støtter. Han lavede videoer med en fremtrædende YouTuber, der nu er elsket af den yderste højrefløj.

Han deltog i en visning af en dokumentar om 'mænds rettigheder'-bevægelsen og hang ud med andre YouTubere bagefter, hvor han mødte en ung mand, der virkede 'en smule ude', sagde Sherratt. Alligevel tænkte han ikke så meget over det, og endte med at stille op til et gruppebillede med manden og andre YouTubere. Nogle af Sherratts venner fik endda en forbindelse med manden online bagefter, hvilket fik Sherratt til at tjekke sin YouTube-kanal ud.

Det, han fandt, forringede hans syn på dokumentarfremvisningen. Den unge mands kanal var fuld af Holocaust-benægtelsesindhold.

'Jeg havde mødt en nynazist og vidste det ikke engang,' sagde Sherratt


Mødet var en del af hans misfornøjelse med den yderste højre politiske verden, som han langsomt var trådt ind i i slutningen af ​​sin barndom.

»Jeg tror, ​​at en af ​​de virkelige ting, der gjorde det så svært at komme ud og indse, hvor radikaliseret jeg var blevet på visse områder, var det faktum, at højreekstremister på mange måder får sig selv til at lyde mindre højreekstremt; mere moderat eller mere venstreorienteret,” sagde Sherratt.

Sherratt var ikke alene. YouTube er blevet et stille kraftcenter for politisk radikalisering i de senere år, drevet af en algoritme, som en tidligere medarbejder siger, antyder stadig mere udkantsindhold. Og højreekstremistiske YouTubere har lært at udnytte den algoritme og lande deres videoer højt i anbefalingerne på mindre ekstreme videoer. The Daily Beast talte med tre mænd, hvis YouTube-vaner skubbede dem ned ad en ekstrem højre vej, og som siden er logget ud af had.

Fringe by Design

YouTube har et massivt seertal med næsten 2 milliarder daglige brugere, mange af dem unge. Siden er mere populær blandt teenagere end Facebook og Twitter. Et Pew-studie fra 2018 fandt ud af, at 85 procent af de amerikanske teenagere brugte YouTube, hvilket gør det til langt den mest populære online platform for sættet under 20 år. (Facebook og Twitter, som har været udsat for regulatorisk vrede for ekstremistisk indhold, er populære blandt henholdsvis 51 og 32 procent af teenagere.)


YouTube blev lanceret i 2005 og blev hurtigt opkøbt af Google. Teknikgiganten gik i gang med at forsøge at maksimere profitten ved at holde brugerne til at se videoer. Virksomheden hyrede ingeniører til at lave en algoritme, der ville anbefale nye videoer, før en bruger var færdig med at se deres nuværende video.

Den tidligere YouTube-ingeniør Guillaume Chaslot blev hyret til et team, der designede algoritmen i 2010.

'Folk tror, ​​det er at foreslå det mest relevante, denne ting, der er meget specialiseret til dig. Det er ikke tilfældet,' sagde Chaslot til The Daily Beast og tilføjede, at algoritmen 'optimerer til visningstid', ikke for relevans.

'Målet med algoritmen er virkelig at holde dig i kø i længst tid,' sagde han.


'Målet med algoritmen er virkelig at holde dig i kø i længst tid.' - tidligere YouTube-ingeniør Guillaume Chaslot

Den fiksering på visningstid kan være banal eller farlig, sagde Becca Lewis, en forsker i nonprofitorganisationen Data & Society for teknologiforskning. 'Med hensyn til YouTubes forretningsmodel og forsøg på at holde brugerne engageret i deres indhold, giver det mening, hvad vi ser algoritmerne gøre,' sagde Lewis. 'Den algoritmiske adfærd er fantastisk, hvis du leder efter makeupartister, og du ser en persons indhold og vil have en masse andres råd om, hvordan du laver din øjenskygge. Men det bliver meget mere problematisk, når man taler om politisk og ekstremistisk indhold.'

Chaslot sagde, at det var tydeligt for ham dengang, at algoritmen kunne hjælpe med at forstærke udkantstro.

'Jeg indså virkelig hurtigt, at YouTubes anbefaling var at sætte folk i filterbobler,' sagde Chaslot. 'Der var ingen vej udenom. Hvis en person var til Flat Earth-konspirationer, var det dårligt for visningstiden at anbefale anti-Flat Earth-videoer, så det vil ikke engang anbefale dem.'

Lewis og andre forskere har bemærket, at anbefalede videoer ofte har en tendens mod udkanten. Skrive for New York Times , observerede sociolog Zeynep Tufekci, at videoer af Donald Trump anbefalede videoer 'som indeholdt hvide overherredømmer, Holocaust-benægtelser og andet foruroligende indhold.'

Matt, en tidligere højrefløj, der bad om at tilbageholde sit navn, var personligt fanget i sådan en filterboble.

For eksempel beskrev han at se en video af Bill Maher og Ben Affleck, der diskuterede islam, og at han så en anbefalet mere ekstrem video om islam af Infowars-medarbejder og konspirationsteoretiker Paul Joseph Watson. Den video førte til den næste video og den næste.

'Dyv ned i [Watsons] kanal og begynd at finde hans anti-immigrations-ting, som ofte igen fører til, at folk bliver mere sympatiske over for etno-nationalistisk politik,' sagde Matt.

'Denne slags indirekte sendte mig ned ad en vej til at bevæge mig langt mere til højre politisk, da det fik mig til at opdage andre mennesker med lignende ekstreme højre holdninger.'

Nu, 20, har Matt siden forladt ideologien og opbygget en anonym tilstedeværelse på internettet, hvor han skændes med sine tidligere brødre til højre.

'Jeg tror bestemt, at YouTube spillede en rolle i mit skift til højre, for gennem de anbefalinger, jeg fik,' sagde han, 'førte det mig til at opdage andet indhold, der var meget i centrum, og dette blev kun gradvist værre med tiden, får mig til at opdage mere uhyggeligt indhold.'

Denne modstand mod feminisme og racelige ligestillingsbevægelser er en del af en YouTube-bevægelse, der beskriver sig selv som 'anti-social retfærdighed.'

'Jeg tror, ​​at anti-SJW-ting appellerer til unge hvide fyre, der føler, at de mister deres status på grund af mangel på et bedre udtryk.' - Andrew, en tidligere hvid overherredømme

Andrew, som også bad om at tilbageholde sit efternavn, er en tidligere hvid overherredømme, som siden har givet afkald på bevægelsen. I disse dage blogger han om emner, som den yderste højrefløj ser på som anathema: raceretfærdighed, ligestilling mellem kønnene og, en af ​​hans personlige passioner, det lodne samfund. Men interessen for videospil og onlinekultur var en konstant i løbet af hans sidste årti med ideologisk udvikling. Da Andrew var 20, sagde han, blev han sympatisk over for hvid nationalisme efter at have indtaget bevægelsens talepunkter på et ikke-relateret forum.

Spilkulturen på YouTube vendte ham længere nede ad den yderste højre vej. I 2014 lancerede en koalition af trolde og højreorienterede Gamergate, en chikanekampagne mod mennesker, som de anså for at forsøge at fremme feministiske eller 'social retfærdighed' i videospil. Bevægelsen havde en stor tilstedeværelse på YouTube, hvor den overbeviste nogle spillere (især unge mænd) om, at deres videospil var under angreb.

'Det skabte en trussel mod noget, folk satte en urimelig stor værdi på,' sagde Andrew. ''SJW'er' [krigere om social retfærdighed] var aldrig en trussel mod videospil. Men hvis folk kunne få dem til at tro, at de var,” så var de modtagelige for yderligere, vildere påstande om disse nye fjender på venstrefløjen.

Matt beskrev de YouTube-fodrede følelser af tab som et middel til at radikalisere unge mænd.

'Jeg tror, ​​at anti-SJW ting appellerer til unge hvide fyre, der føler, at de mister deres status på grund af mangel på et bedre udtryk,' sagde han. 'De ser, at minoriteter taler for deres egne rettigheder, og det gør dem utilpas, så de prøver at kæmpe imod det.'

Mens han var i det yderste højrefløj, så Andrew anti-feministisk indhold fungere som en gateway til mere ekstreme videoer.

'Den falske idé om, at årsager til social retfærdighed har en slags uhyggelig bagtanke, at de fordrejer sandheden på en eller anden måde' kan hjælpe med at åbne seerne for mere ekstreme årsager, sagde han. 'Når du har fået nogen til at tro det, kan du faktisk gå hele vejen til hvid overherredømme ret hurtigt.'

Lewis identificerede fællesskabet som en af ​​flere radikaliseringsveje 'der kan starte fra et mainstream konservativt perspektiv: ikke åbenlyst racistisk eller sexistisk, men fokuseret på at kritisere feminisme, med fokus på at kritisere Black Lives Matter. Derfra er det virkelig nemt at få adgang til indhold, der er åbenlyst racistisk og åbenlyst sexistisk.'

Chaslot, den tidligere YouTube-ingeniør, sagde, at han foreslog, at virksomheden lod brugere fravælge anbefalingsalgoritmen, men hævder, at Google ikke var interesseret.

Googles administrerende direktør, Sundar Pichai, gav mundheld til problemet under en kongreshøring i sidste uge. Da han blev spurgt om en særlig skadelig konspirationsteori om Hillary Clinton, der optræder højt i søgninger efter ikke-relaterede videoer, lovede den administrerende direktør ikke at handle.

'Det er et område, vi anerkender, at der er mere arbejde at gøre, og det vil vi helt sikkert fortsætte med,' sagde Pichai. 'Men jeg vil gerne erkende, at der er mere arbejde at gøre. Med vores vækst følger mere ansvar. Og vi er forpligtet til at gøre det bedre, når vi investerer mere i dette område.'

Men mens YouTube overvejer en løsning, kommer folk til skade.

Hårdt højresving

Den 4. december 2016 affyrede Edgar Welch en AR-15 riffel i en populær pizzarestaurant i Washington, D.C.. Welch mente, at demokraterne drev sexhandel med børn gennem pizzeriakælderen, en konspirationsteori kaldet 'Pizzagate'.

Som mange moderne konspirationsteorier spredte Pizzagate sig på YouTube, og disse videoer så ud til at påvirke Welch, som sendte dem til andre. Tre dage før skyderiet sendte Welch en sms til en ven om sammensværgelsen. 'Se 'PIZZAGATE: The bigger Picture' på YouTube,' han skrev .

Andre YouTube-fodrede konspirationsteorier har på samme måde resulteret i trusler om våbenvold. En mand, der var stærkt involveret i konspirationsteori-fællesskaber på YouTube angiveligt truet med en massakre i YouTubes hovedkvarter denne sommer, efter at han kom til at tro på en anden konspirationsteori om videocensur. En anden mand, der troede på den YouTube-drevne QAnon-teori, førte en væbnet standoff ved Hoover Dam i juni. En nynazist arresteret med en masse våben i sidste uge drev en YouTube-kanal hvor han talte om at dræbe jøder.

”Unge er mere modtagelige for at få deres politiske idealer formet. Det er det tidspunkt i dit liv, hvor du finder ud af, hvem du er, og hvad din politik er.' - teknologiforsker Becca Lewis

Religiøse ekstremister har også fundet et hjem på YouTube. Fra marts til juni 2018 uploadede folk 1.348 ISIS-videoer til platformen, ifølge en undersøgelse af Projekt mod ekstremisme . YouTube slettede 76 procent af disse videoer inden for to timer efter deres uploads, men de fleste konti forblev stadig online. Det den radikale muslimsk-amerikanske præst Anwar al-Awlaki radikaliserede flere potentielle terrorister, og hans prædikener var populære på YouTube.

Mindre eksplicit voldelige skuespillere kan også radikalisere seerne ved at udnytte YouTubes algoritme.

'YouTubere er ekstremt dygtige til uformel SEO [søgemaskineoptimering],' sagde Lewis fra Data & Society. 'De vil tagge deres indhold med bestemte søgeord, de har mistanke om, at folk søger efter.'

Chaslot beskrev et populært YouTube-titelformat, der spiller godt sammen med algoritmen såvel som til seernes følelser. 'Søgeord som 'A ødelægger B' eller 'A ydmyger B'' kan 'udnytte algoritmen og menneskelige sårbarheder.' Konservative videoer, som dem med den højreorienterede personlighed Ben Shapiro eller Proud Boys-grundlæggeren Gavin McInnes, bruger ofte dette format.

Nogle randbrugere forsøger at udbrede deres visninger ved at få dem til at blive vist i søgeresultaterne for mindre ekstreme videoer.

'En moderat bruger vil have visse talepunkter,' sagde Sherratt. 'Men de radikale, fordi de altid forsøger at infiltrere, og forsvinder abonnenter og seere fra de mere moderate positioner, vil de sætte alle de nøjagtigt samme tags ind, men med et par flere. Så det vil ikke kun være 'migrantkrise' og 'islam', det vil være 'migrantkrise', 'islam' og 'vestens død''.

'Du kunne se de mere moderate videoer, og de ekstreme videoer vil være i den [anbefalings] boks, fordi der ikke er noget koncept inden for den anti-sociale retfærdighedssfære, som den yderste højrefløj ikke er villige til at bruge som et værktøj til at samarbejde -vælg den sfære.'

Sårbar seerskare

Unge mennesker, især dem uden fuldt udformet politisk overbevisning, kan let blive påvirket af ekstreme videoer, der vises i deres anbefalinger. 'YouTube appellerer til sådan en ung demografi,' sagde Lewis. ”Unge er mere modtagelige for at få deres politiske idealer formet. Det er det tidspunkt i dit liv, hvor du finder ud af, hvem du er, og hvad din politik er.'

Men YouTube har ikke fået samme opmærksomhed som Facebook og Twitter, som er mere populære blandt voksne. Under Pichais tirsdags kongresvidnesbyrd fandt kongresmedlemmer tid at spørge Googles administrerende direktør om iPhones (et produkt Google ikke fremstiller), men stillede få spørgsmål om ekstremistisk indhold.

Pichais vidnesbyrd kom to dage efter PewDiePie , YouTubes mest populære bruger, anbefalede en kanal, der poster hvide nationalistiske og antisemitiske videoer. PewDiePie (rigtige navn Felix Kjellberg) har mere end 75 millioner abonnenter, hvoraf mange er unge mennesker. Kjellberg er tidligere blevet anklaget for bigotteri, efter at han havde lagt mindst ni videoer op med antisemitiske eller nazistiske billeder. I et stunt i januar 2017 hyrede han folk til at holde et 'død over alle jøder'-skilt for kameraet.

Nogle populære YouTubere i det mindre ekstreme antisociale retfærdighedssamfund blev mere åbenlyst sexistiske og racistiske i slutningen af ​​2016 og begyndelsen af ​​2017, en tendens, som nogle seere måske ikke bemærker.

'Retorikken begyndte at flytte sig meget længere til højre, og Overton-vinduet bevægede sig,' sagde Sherratt. 'Et minut var det 'vi er liberale, og vi synes bare, at disse typer af social retfærdighed er for ekstreme eller går for vidt i deres taktik' og seks måneder senere blev det til 'progressivisme er en ond ideologi'.'

En af Matts foretrukne YouTube-kanaler 'startede som en teknologisk kanal, der ikke kunne lide feminister, og nu laver han videoer, hvor næsten alt er en marxistisk konspiration for ham,' sagde han.

'Du kan forbyde igen og igen, men de vil ændre diskursen.' - Chaslot, den tidligere YouTube-ingeniør

I nogle tilfælde kan YouTube-videoer erstatte en persons tidligere informationskilder. Konspirations-youtubere afskrækker ofte seere fra at se eller læse andre nyhedskilder, Chaslot har tidligere bemærket . Tendensen er god for konspirationsteoretikere og YouTubes bundlinje; seerne bliver mere overbeviste om konspirationsteorier og bruger flere annoncer på YouTube.

Problemet strækker sig til unge YouTube-seere, som måske følger deres yndlingskanal religiøst, men ikke læser mere konventionelle nyhedsmedier.

'Det er her, folk får deres information om verden og om politik,' sagde Lewis. 'Nogle gange i stedet for at gå til traditionelle nyhedskilder, ser folk bare indholdet af en influencer, de kan lide, som tilfældigvis har bestemte politiske meninger. Børn får muligvis en meget anderledes oplevelse fra YouTube, end deres forældre forventer, uanset om det er ekstremistisk eller ej. Jeg tror, ​​YouTube har magten til at forme folks ideologier mere, end folk giver det æren for.'

Nogle aktivister har opfordret YouTube til at forbyde ekstreme videoer. Virksomheden imødegår ofte, at det er svært at screene de rapporterede 300 timers video, der uploades hvert minut. Selv sagde Chaslot, at han er skeptisk over for forbuds effektivitet.

'Du kan forbyde igen og igen, men de vil ændre diskursen. De er meget gode til at holde sig under grænsen for acceptabelt,' sagde han. Han pegede på videoer, der opfordrer den demokratiske donor George Soros og andre fremtrædende demokrater til at være ''de første sænket til helvede'.' 'Videoen forklarede, hvorfor de ikke fortjener at leve, og siger ikke eksplicit at dræbe dem, ” så det går uden om reglerne mod voldeligt indhold.

Samtidig 'fører det til en slags terrormentalitet' og viser sig i anbefalinger.

'Hvor end du sætter grænsen, vil folk finde en måde at være på den anden side af det,' sagde Chaslot.

'Det er ikke et problem med indholdsmoderering, det er et algoritmeproblem.'