Cory Doctorow om overvåkningskapitalisme
Dette skal ikke primært være en blogg for teknologikritikk, men jeg må innom det også, fordi vi må forstå problemet før vi kan finne løsningen. Det er mye teknologikritikk på gang nå, det er nesten en innbakt del av teknologiopplevelsen: Du bruker og hater teknologien samtidig. Men mye av denne kritikken er ganske dårlig. Ofte bommer den fordi kritikerne tar selve teknologilandskapet for gitt. Dermed ser de ikke de beste løsningene, og de løsningene de ser, kan i stedet ende opp med å virke mot sin hensikt.
La oss for eksempel si at Google, Facebook eller Twitter har sensurert en ytring jeg mener de burde tillatt. Hvis jeg formulerer kritikken som at «Google/Facebook/Twitter må slutte å misbruke makten sin på denne måten», høres det tilsynelatende fornuftig og kritisk ut. Samtidig tar jeg på en måte makten deres for gitt. Jeg sier bare at de bør bruke den bedre. Det blir som om jeg var en undersått som la fram min sak for en allmektig konge. «Vær så snill, herre konge, bruk makten din på en god måte!» Dette er noe helt annet enn det jeg egentlig burde si, som er: «Det burde ikke finnes allmektige konger.»
Tenk på da Aftenposten brukte forsiden sin til et brev til Facebook hvor de ba dem om å slutte å sensurere deres bruk av et berømt krigsfotografi. Dette burde selvfølgelig ikke Facebook gjort, men måten Aftenposten formulerte kritikken på, gjorde det veldig klart hvem som var den allmektige kongen og hvem som var undersåtten. «Vær så snill, Mark Zuckerberg, bruk makten din på en god måte.» Jeg har sjelden vært så flau på vegne av norske medier som den gangen. I stedet burde de sagt: «Det bør ikke finnes tjenester som er så store som Facebook, nå må vi alle gå sammen om å løsrive oss.»
Cory Doctorows lange essay / minibok How to destroy surveillance capitalism er derimot et godt eksempel på hvordan man bør gjøre dette. Han tar ikke landskapet for gitt, og påpeker at ordene vi bruker om problemet peker oss mot løsninger som forsterker problemet. Essayet er en kritikk av boka The Age of Surveillance Capitalism av Shoshana Zuboff, som populariserte begrepet overvåkningskapitalisme. Han kritiserer den for å ta for gitt at landskapet må være slik det er nå, med hele nettet i hendene på noen få giganter:
“There’s a critical piece missing from the debate, though. All these solutions assume that tech companies are a fixture, that their dominance over the internet is a permanent fact. Proposals to replace Big Tech with a more diffused, pluralistic internet are nowhere to be found. Worse: The “solutions” on the table today require Big Tech to stay big because only the very largest companies can afford to implement the systems these laws demand.”
Kritikernes største tabbe, mener han, er at de tror at teknologigigantene snakker sant i salgsbrosjyrene sine om hvor vanvittig mye makt de har over brukerne sine. Med andre ord at trusselen fra Google og Facebook er at de er så utrolig flinke til å manipulere oss til fordel for annonsørene sine:
“The fear of surveillance capitalism starts from the (correct) presumption that everything Big Tech says about itself is probably a lie. But the surveillance capitalism critique makes an exception for the claims Big Tech makes in its sales literature — the breathless hype in the pitches to potential advertisers online and in ad-tech seminars about the efficacy of its products: It assumes that Big Tech is as good at influencing us as they claim they are when they’re selling influencing products to credulous customers. That’s a mistake because sales literature is not a reliable indicator of a product’s efficacy.
Surveillance capitalism assumes that because advertisers buy a lot of what Big Tech is selling, Big Tech must be selling something real. But Big Tech’s massive sales could just as easily be the result of a popular delusion or something even more pernicious: monopolistic control over our communications and commerce.
Being watched changes your behavior, and not for the better. It creates risks for our social progress. Zuboff’s book features beautifully wrought explanations of these phenomena. But Zuboff also claims that surveillance literally robs us of our free will — that when our personal data is mixed with machine learning, it creates a system of persuasion so devastating that we are helpless before it. That is, Facebook uses an algorithm to analyze the data it nonconsensually extracts from your daily life and uses it to customize your feed in ways that get you to buy stuff. It is a mind-control ray out of a 1950s comic book, wielded by mad scientists whose supercomputers guarantee them perpetual and total world domination.”
Det de egentlig driver med, skriver han, er at de kategoriserer oss ut fra interessene våre. Dermed hjelper de for eksempel ekstremister og ondsinnete aktører med å finne ofre de kan lyve til. I tillegg dominerer de nettet gjennom å være så store at de i praksis knapt har konkurrenter. Alt dette er ille, men det er ikke slik at de har funnet en måte å frata oss vår frie vilje. De ønsker og prøver også å manipulere oppførselen vår, men manipuleringen fungerer bare delvis, for noen, i en kort periode, før vi tilpasser oss og det ikke fungerer bra nok til å være lønnsomt lenger. Facebook kan få deg til å bruke veldig mye tid på Facebook, men de har lite makt til å få deg til å kjøpe produktet annonsøren deres har betalt dem for å selge til deg.
Doctorow benekter ikke at de enorme datamengdene disse selskapene sitter på er verdifull. Men det som gir dataene verdi er ikke at de danner et så korrekt bilde av psyken din at man kan styre tankene dine, men kombinasjonen av disse dataene med monopolmakt. At de kan styre tankene dine er en bløff. Bak bløffen skjuler det seg en mer gammeldags og jordnær form for manipulering.
“Surveillance capitalists are like stage mentalists who claim that their extraordinary insights into human behavior let them guess the word that you wrote down and folded up in your pocket but who really use shills, hidden cameras, sleight of hand, and brute-force memorization to amaze you. Or perhaps they’re more like pick-up artists, the misogynistic cult that promises to help awkward men have sex with women by teaching them “neurolinguistic programming” phrases, body language techniques, and psychological manipulation tactics like “negging” — offering unsolicited negative feedback to women to lower their self-esteem and prick their interest. Some pick-up artists eventually manage to convince women to go home with them, but it’s not because these men have figured out how to bypass women’s critical faculties. Rather, pick-up artists’ “success” stories are a mix of women who were incapable of giving consent, women who were coerced, women who were intoxicated, self-destructive women, and a few women who were sober and in command of their faculties but who didn’t realize straightaway that they were with terrible men but rectified the error as soon as they could.»
Det er altså monopolmakten som er nøkkelen til problemet, ikke psykologisk manipulasjon. Manipuleringen du finner på for eksempel Facebook, hevder han, er av en ganske primitiv type: Facebook fanger deg gjennom nettverket ditt, slik at du må innom i blant for å se hva venner og familie driver med, selv om du ikke synes du får noe igjen for det. Og de fremhever innhold som øker “engagement”, dvs som gjør deg sint eller redd. Annonser på Facebook treffer deg litt bedre enn andre steder, fordi de vet så mye om deg, men effekten er fremdeles liten. Når klikket du sist på en Facebook-annonse? Den teknologiske nyskapningen Facebook tjener penger på er ikke at de er flinke til å vise noen få annonser som treffer perfekt, men at de får folk til å bruke så mye tid på tjenesten at de kan vise svært mange annonser som treffer dårlig.
Gigantene er med andre ord ikke særlig flinke til det de hevder å være flinke til.
Zuboff and her cohort are particularly alarmed at the extent to which surveillance allows corporations to influence our decisions, taking away something she poetically calls “the right to the future tense” — that is, the right to decide for yourself what you will do in the future. It’s true that advertising can tip the scales one way or another: When you’re thinking of buying a fridge, a timely fridge ad might end the search on the spot. But Zuboff puts enormous and undue weight on the persuasive power of surveillance-based influence techniques. Most of these don’t work very well, and the ones that do won’t work for very long.
Det er rå makt, ikke psykologi, som er nøkkelen til å forstå måten gigantene manipulerer oss på, mener Doctorow. Google bestemmer rekkefølgen på søkeresultatene, og ingen blar lenger enn til side fem. Amazon bestemmer hvilke produkter du får se når du søker. Dette bruker de til sin fordel, og selv i de tilfellene hvor de ikke har en direkte egenintresse i rangeringen, påvirker de oss likevel gjennom å styre hva vi ser og ikke ser. Denne makten er skadelig i seg selv. Ingen enkeltselskaper bør ha en slik total makt over hva vi ser, selv om makten ikke lar seg bruke slik de påstår til annonsørene sine.
Monopolmakten gjør det svært vanskelig å regulere teknologibransjen. Man ender lett opp med lover som gjør alt verre fordi prosessen med å skrive lovene har blitt korrumpert av gigantene.
Hvis det er slik at teknologigigantene har bygget selskapene sine på en bløff - at de kan manipulere brukerne sine - så snakker vi egentlig om en boble: Noen hevder at de har funnet opp noe smart som vil tjene mye penger, og investorene har nok tillit til dem til at de klarer å vokse seg store og erobre verden, men før eller siden sprekker boblen. Jeg tipper at mange små annonsører på Google og Facebook har stilt seg selv spørsmålet “hvorfor i all verden gjør vi dette?” Jeg gjorde det iallfall selv da jeg ga ut Ytringsfrihet annotert på eget forlag i 2019, og testet ut Facebook-annonser for å markedsføre den. Utgiften til Facebook var det eneste håndfaste resultatet av dette eksperimentet. Gevinsten var antagelig null. Det fantes åpenbart mennesker som ønsket å lese boka, men Facebook visste ikke hvordan de skulle finne dem, selv med den enorme datamengden de satt på, og selv om de har total makt over innholdet som møter brukerne deres.
Dette har alltid vært erfaringen min med nettannonser. Jeg har aldri følt at jeg har fått noe igjen for det. Poenget mitt er at Facebook var ment å være mye flinkere til dette enn de som kom før dem, og det er de ikke. Det er dette som er bløffen Doctorow snakker om. Hva skjer når vi slutter å tro på bløffen? Forhåpentligvis det samme som har skjedd tidligere når andre bløffer innen kapitalismen har blitt avslørt, at boblen sprekker. Men monopolmakten disse selskapene har kan redde dem. Hvem ellers skal du gi annonsepengene dine til, liksom?
De som snakker om “overvåkningskapitalisme” sier i blant at det som har vokst frem er en helt egen, ny form for kapitalisme, som fungerer etter andre regler enn tidligere. I stedet er det en ny variant av noe gammelt.
The belief in surveillance capitalism as a “rogue capitalism” is driven by the belief that markets wouldn’t tolerate firms that are gripped by false beliefs. An oil company that has false beliefs about where the oil is will eventually go broke digging dry wells after all.
But monopolists get to do terrible things for a long time before they pay the price. Think of how concentration in the finance sector allowed the subprime crisis to fester as bond-rating agencies, regulators, investors, and critics all fell under the sway of a false belief that complex mathematics could construct “fully hedged” debt instruments that could not possibly default. A small bank that engaged in this kind of malfeasance would simply go broke rather than outrunning the inevitable crisis, perhaps growing so big that it averted it altogether. But large banks were able to continue to attract investors, and when they finally did come a-cropper, the world’s governments bailed them out.
Doctorow ønsker å unngå tech exceptionalism, ideen om at teknologibransjen er grunnleggende forskjellig (på godt eller ondt) fra andre bransjer. For eksempel er han skeptisk til påstanden om at netteknologi nødvendigvis fører til monopoler, nærmest av seg selv. Det er mange fordeler ved å være gigant. Facebook og Twitter nyter godt av nettverkseffekten, dvs verdien av den eksisterende brukermassen, som gjør at bedre alternativer som Mastodon sliter med å ta av. Men gigantene ble selv store gjennom å knuse tidligere giganter. Det var ikke umulig for dem å bli store. Facebook klarte å knuse Myspace, Google klarte å knuse Altavista. Men det er nesten umulig for nye selskaper og tjenester å utfordre gigantene nå, fordi de har vårt så flinke til å misbruke monopolmakten sin, blant annet til å manipulere lovverket.
Myndighetene ser ikke lenger på store selskaper som et problem i seg selv, og hindrer dem ikke å kjøpe opp konkurrenter. Dermed kan de kjøpe seg ut av enhver trussel, slik Facebook har gjort med Instagram og WhatsApp. Gigantene skaper svært lite nytt på egen hånd lenger. De overlever ved å kjøpe opp spennende nye tjenester før de vokser seg store nok til å utfordre dem. Dette er langt på vei også investerringsstrategien bak oppstartsfirmaer, å vokse til man kan selge ut til en redd gigant. Dermed er gigantene et hinder for den innovasjonen vi ville ha sett hvis utfordrerne hadde hatt de samme mulighetene som de selv hadde for femten-tjue år siden.
Doctorow kritiserer “overvåkningskapitalisme” som analytisk verktøy, og mener altså at mye av det disse selskapene hevder å ha fått til med dataene sine er løgn, men det betyr selvfølgelig ikke at all overvåkningen er ufarlig. Den tar fra oss følelsen av å være alene, uobservert, med våre egne tanker. Det er vanskelig å være deg selv når du opplever at alt du gjør observeres av andre. En slik totalovervåkning bygger opp angst, og angsten forsterkes ved at overvåkernes apper hele tiden dulter oss og vil ha oppmerksomheten vår. Alle varslene du får på telefonen handler bare i liten grad om å fortelle deg om viktige ting, og større grad om at appene trenger oppmerksomheten din for å tjene penger.
I blant blir disse dataene stjålet. Du kan på en måte ta for gitt at alle data du deler med nettjenester før eller siden vil bli stjålet, så fremt de ikke har bygget ende-til-ende-kryptering inn i løsningen fra bunnen av. Det er det få som gjør, fordi det ville hindret dem i å analysere dataene. Og når de kan se hva du gjør, vil også uvedkommende kunne gjøre det. Kanskje i morgen, kanskje om tjue år, eller kansskje har de gjort det i lang tid allerede. Dette gjør noe med deg, kunnskapen om at ingenting forsvinner, og at det før eller siden kan ende opp i feil hender.
Dette er på en måte et problem med all IT-teknologi, men det er et problem som kan løses ganske greit hvis forretningsmodellen til selskapet tillater det. Hvis de som tar vare på dataene dine ikke er avhengig av å analysere dem, kan de også kryptere dem slik at det er umulig for andre enn deg selv å lese dem. Slike data kan fremdeles stjeles, men angrepsflaten blir mindre.
De enorme datamengdene som samles inn om oss gir altså ikke gigantene den gevinsten de påstår at det gir. Det gir dem ikke evnen til å styre tankene våre. Men overvåkningen er farlig fordi den gjør det mulig å skade deg og meg.
“This is another harm of tech exceptionalism: The belief that more data always produces more profits in the form of more insights that can be translated into better mind-control rays drives firms to over-collect and over-retain data beyond all rationality. And since the firms are behaving irrationally, a good number of them will go out of business and become ghost ships whose cargo holds are stuffed full of data that can harm people in myriad ways — but which no one is responsible for any longer. Even if the companies don’t go under, the data they collect is maintained behind the minimum viable security — just enough security to keep the company viable while it waits to get bought out by a tech giant, an amount calculated to spend not one penny more than is necessary on protecting data.”
I stedet for å tenke på det som skjer i teknologibransjen som noe helt nytt og unikt, bør vi se det i lys av det som skjer i andre bransjer som har blitt sentralisert på den samme måten: Eierskapet og makten samles på noen få hender, som dermed er i stand til å kuppe lovverket og stoppe konkurrenter. Det har skjedd før, og det skjer alltid omtrent på samme måte.
“All this is to say that the tight social bonds, small number of firms, and regulatory capture of concentrated industries give the companies that comprise them the power to dictate many, if not all, of the regulations that bind them.
This is increasingly obvious. Whether it’s payday lenders winning the right to practice predatory lending or Apple winning the right to decide who can fix your phone or Google and Facebook winning the right to breach your private data without suffering meaningful consequences or victories for pipeline companies or impunity for opioid manufacturers or massive tax subsidies for incredibly profitable dominant businesses, it’s increasingly apparent that many of our official, evidence-based truth-seeking processes are, in fact, auctions for sale to the highest bidder.
Doctorow mener det er her vi bør lete etter forklaringen på at nettmiljøer erobres av konspirasjonsteorier og rasisme. Vi vet systemet er ødelagt, og mange merker konsekvensene av dette i sin egen hverdag. Dette gjør oss mer mottagelige for ideologier som spinner videre på ideen om at vi har blitt forrådt av en korrupt elite:
“If racists haven’t gotten more convincing in the past decade, then how is it that more people were convinced to be openly racist at that time? I believe that the answer lies in the material world, not the world of ideas. The ideas haven’t gotten more convincing, but people have become more afraid. Afraid that the state can’t be trusted to act as an honest broker in life-or-death decisions, from those regarding the management of the economy to the regulation of painkillers to the rules for handling private information. Afraid that the world has become a game of musical chairs in which the chairs are being taken away at a never-before-seen rate. Afraid that justice for others will come at their expense. Monopolism isn’t the cause of these fears, but the inequality and material desperation and policy malpractice that monopolism contributes to is a significant contributor to these conditions. Inequality creates the conditions for both conspiracies and violent racist ideologies, and then surveillance capitalism lets opportunists target the fearful and the conspiracy-minded.”
Her tror jeg han bommer. Perspektivet blir for USA-sentrisk. Jeg tror egentlig ikke nordmenn materielt sett har fått en særlig utrygg hverdag de siste tiårene. Likevel ser vi de samme trendene her som andre steder. Det han rører borti her er en klassisk debatt: Er det ideer eller materielle faktorer som endrer verden? Svaret er som regel begge deler, men problemet er å identifisere hvordan disse faktorene spiller sammen. Når du skal forklare et globalt fenomen som rammer på tvers av ulike samfunnssystemer, må du løfte blikket opp fra det landet du bor i.
Flere har foreslått at løsningen på problemet er at vi begynner å betale for nettjenester igjen. Dette er Doctorow skeptisk til. Betaltjenester som Apple App Store er også en del av problemet, påpeker han. (Apple har så mye makt over app-markedet at de driver med regelrett pengeutpresning av apper. Hvis appen formidler en betalbar tjeneste, insisterer Apple på at betalingen skal skje gjennom dem, slik at de kan ta utrolige 30% av pengene.) Her er jeg uenig. Joda, en gigant som tar betalt av brukerne er ikke særlig bedre enn en gigant som viser dem annonser. Men manglende betalingsvilje er likevel en viktig del av årsaken til at vi endte opp der vi er. Et rent annonsebasert internett er nesten nødt til å være fryktelig, fordi bare onde giganter kan overleve i et slikt markedet. Et internett som i større grad tar betalt for ting kan også være fryktelig, hvis markedet domineres av giganter som Apple og Amazon, men det er ikke lenger uunngåelig.
Det han har rett i er at det er sentraliseringen og monopolmakten som er hovedproblemet, ikke den overvåkningsbaserte forretningsmodellen. Boka The Age of Surveillance Capitalism, som han kritiserer, skiller såvidt jeg vet mellom “farlige” overvåkningsbaserte selskaper som Google og Facebook og “gode” selskaper som Apple og Amazon, som tilbyr nyttige ting for penger. Dette er et ganske absurd skille å trekke opp, når du ser hvor brutalt Apple og Amazon oppfører seg mot konkurrenter og de som jobber for dem. Det er derfor viktig å påpeke at det ikke er nok å betale for tjenester. Det har også noe å si hvem du støtter med pengene dine.
Hele essayet er uansett verdt å lese. Jeg er som sagt mer interessert i å finne veien bort fra tingene som gjør meg trist enn å analysere hver eneste detalj av hva de driver med. Men det er viktig å forstå hva det er vi ønsker å komme oss bort fra. Hvis teknologikritikken vår implisitt godtar at verden må styres av en håndfull teknologigiganter, ender vi opp med kritikk av typen “Google burde gjøre X, Facebook burde slutte å gjøre Y”.
I stedet bør vi si at selskaper som Google og Facebook ikke burde finnes. Google burde være én av flere søkemotorer, og ikke så mye mer. Facebook burde være en del av et desentralisert, åpent sosialt nettverk.
Først når du forstår hva problemet er, vet du retningen du kan lete etter i for å finne noe bedre.
Tilbakemeldinger
Harald Eilertsen skriver: “Nå har jeg ikke rukket å lese artikkelen fra Doctorow enda, så skal være litt forsiktig med å kritisere den. Men fra hva du referere her så ser det ut til at han enten ikke har lest Zuboff, eller bare skummet veldig lett over den. De er nok mer enige enn hva det later til fra din omtale ihvertfall.
Det som slår meg med The Age of Surveillance Capitalism er nettopp at hun bruker sin bakgrunn i bl.a. økonomisk historie til å forstå overvåkningskapitalismen. Både hvor den bygger på tidligere kapitalistisk tankegods, og hvor den er (eller utgir seg for å være) annerledes. Hun gir absolutt ikke noe inntrykk av å være fastlåst i en forestilling om at verden eller internettøkonomien må være som den er i dag. Tvert imot vier hun en god del av boken til en verden før overvåkningskapitalismen, hvor man båda hadde et mer mangfoldig internett, men også nyttige tjenester bygget på data uten at datene ble høstet for profitt av monopolistiske selskaper. Dette er også eksempler hun stadig kommer tilbake til igjennom boken, nettopp som en kontrast til dagens overvåkningsbaserte internettøkonomi.
Godt mulig hun overdriver hvor treffsikre forutsigelsene til disse selskapene er, men om jeg leser din omtale riktig så risikerer Doctorow å gjøre det motsatte - å underdrive faren for den typen manipulering de prøver seg på. At de ikke er veldig treffsikre i dag, betyr ikke at de ikke vil forbedre seg. Og ser vi på hva disse selskapene driver med, så er alt rettet nettopp mot å forbedre sin evne til å forutse og manipulere oppførselen, ikke bare til individer, men grupper av mennesker.
Jeg er forøvrig helt enig i at monopolmakten til selskapene er hovedproblemet. Jeg føler bare ikke at Zuboff gjør noe forsøk på å argumentere imot det. Tvert imot, argumenterer hun jo nettopp for at det er den komplette aggregeringen av data fra mange kilder, og mange aspekter av livene våre som gir overvåkningskapitalistene makten sin. Hun skriver kanskje ikke “monopol” med store bokstaver, men det ligger likevel godt oppe i dagen.
Det hun imidlertid sier (og som jeg er enig i) er at regulering med sikte på å bryte opp disse selskapene ikke vil ha noen effekt. Vi må sikte på regulering som gjør den bakenforliggende forretningsmodellen ulovlig.
Altså ikke bare at gigantiske monopolselskaper som Facebook, Google og Amazon ikke bør finnes, men at selve forretningsmodellen hvor man samler inn og omsetter adferdsdata fra brukerne av sine produkter og tjenester ikke skal være lov.
Og ja, Zuboff omtaler eksplisitt Amazon som en av overvåkningskapitalistene.”