Jacob van de Kerkhof

Contentmoderatie is het proces van het ordenen en aanbevelen van content op het internet en op sociale media. Tussenhandeldiensten, waaronder zeer grote online platforms als Facebook, YouTube, en TikTok, bepalen door contentmoderatie de toon van het online debat en de effectieve grenzen van de uitingsvrijheid. Dit proefschrift onderzoekt hoe de Digitaledienstenverordening (‘DSA’) een netwerk van actoren toegang biedt tot content moderatie, en hoe dit invloed heeft op de manier waarop de uitingsvrijheid daarbij wordt afgewogen tegen andere rechten en belangen. De DSA stelt eisen aan dit proces en geeft verschillende actoren een formele rol waarmee zij invloed kunnen uit oefenen op het content-moderatie-proces. Die rol wordt onder andere toebedeeld aan gebruikers, het maatschappelijk middenveld, en statelijke actoren. Omdat elk van deze actoren eigen belangen heeft, is het mogelijk dat de uitingsvrijheid in de verdrukking komt. Hoe de DSA het betrekken van deze actoren vorm geeft is daarom van cruciaal belang, en vormt de kern van dit proefschrift.

Hoofdstuk I vormt de inleiding van dit proefschrift. Allereerst wordt daarin de onderzoeksvraag ingeleid: Hoe beïnvloedt de DSA en de formele rol die zij creëert voor tussenhandeldiensten, gebruikers, het maatschappelijk middenveld, en statelijke actoren het wegen van de uitingsvrijheid in content moderatie? Deze onderzoeksvraag wordt beantwoord aan de hand van drie relevante groepen van actoren: tussenhandeldiensten, gebruikers en het maatschappelijk middenveld, en statelijke actoren. Bij deze beantwoording is gebruik gemaakt van verschillende methoden. Naast zuiver juridisch onderzoek wordt gebruik gemaakt van empirische onderzoeksmethoden uit de computer- en mediawetenschappen. Dit is nodig om te beschrijven hoe content moderatie werkt, en hoe tussenhandeldiensten zich conformeren aan de DSA.

Naast de methodologie schetst hoofdstuk I de achtergrond van het proefschrift. De DSA is een relatief nieuwe Europese verordening die een geharmoniseerd regime creëert voor tussenhandeldiensten, waaronder online platforms en online zoekmachines. De DSA volgt de Richtlijn elektronische handel uit 2000 op. Daarmee vormt zij een veel gezochte wettelijke interventie in het online domein: het internet is sinds 2000 fors veranderd, en brengt nieuwe gevaren met zich mee. Er bestaat een lacune tussen die gevaren en de instrumenten die bestaande wettelijke instrumenten bieden om die gevaren het hoofd te bieden. Hoofddoelen van de DSA zijn het voorkomen van fragmentatie tussen lidstaten, het stimuleren van verantwoordelijk en zorgvuldig gedrag van tussenhandeldiensten om een veilige, voorspelbare, en betrouwbare online omgeving van Unieburgers te garanderen. Deze doelen beoogt de DSA te realiseren met een reeks zorgvuldigheidsverplichtingen die transparantie vergroten en die het mogelijk maken dat tussenhandeldiensten rekenschap afleggen over hun handelen. Deze zorgvuldigheidsverplichtingen volgen een gelaagde structuur: naarmate de tussenhandeldienst groter wordt – en daarmee haar maatschappelijke impact – zijn meer verplichtingen van toepassing. In deze constellatie zijn de meeste verplichtingen van toepassing op Zeer Grote Online Platforms en Zeer Grote Online Zoekmachines.

Een deel van de zorgvuldigheidsverplichtingen rondom content moderatie bestaat uit het creëren van een netwerk van actoren. Dit kan worden gezien in het licht van Robyn Caplan’s theorie over networked platform governance. Zij omschrijft hoe platformbestuur gedelegeerd kan worden naar meerdere actoren, die in een netwerk gezamenlijk het bestuur van een platform bepalen. Deze actoren hebben allemaal verschillende machtsposities en verschillende mate van invloed. Dit maakt het moeilijk om te bepalen aan wie het resultaat van dat platformbestuur – hoe content gemodereerd wordt, en daarmee hoe de uitingsvrijheid gewogen wordt – uiteindelijk kan worden toegerekend. Deze spanning wordt onderzocht in de volgende hoofdstukken.

Hoofdstuk II geeft een empirische achtergrond inzicht in hoe het content moderatie landschap eruit ziet. Het hoofdstuk onderzoekt hoe de DSA transparantie database inzicht geeft in content moderatie praktijken, en of tussenhandeldiensten inderdaad transparantie verschaffen. Bevindingen uit een empirische analyse van de database laten zien dat, hoewel de architectuur van de database geschikt lijkt om transparantie te verschaffen, de invulling door tussenhandeldiensten soms te wensen over laat. Opvallend is dat het gros van de content moderatiebeslissingen buiten sociale mediaplatforms plaatsvindt. Vrijwel alle content moderatiebeslissingen worden gemaakt op basis van algemene voorwaarden, niet op basis van geldend recht. Daarnaast valt op dat tussenhandeldiensten verschillende moderatiewijzen hanteren. Sommigen rapporteren dat zij alles geautomatiseerd doen, terwijl anderen stellen dat alle moderatie door menselijke moderatoren gebeurt. Op de waarde van de verschafte informatie valt veel af te dingen: het is in veel gevallen onduidelijk waarom content verwijderd is, omdat tussenhandeldiensten gebruikmaken van generieke verwijzingen naar algemene voorwaarden. De belangrijkste conclusies van dit hoofdstuk voor het proefschrift zijn dat tussenhandeldiensten grotendeels modereren op basis van hun eigen algemene voorwaarden, en dat de mate van kennisdeling tussen actoren grotendeels bepaald wordt door de mate waarin tussenhandeldiensten kennis verschaffen.

Hoofdstuk III richt zich op de aansprakelijkheidsuitzondering die tussenhandeldiensten genieten onder de DSA. De academische consensus op dit onderwerp is dat deze niet veranderd is sinds de Richtlijn elektronische handel en dat de zorgvuldigheidsverplichtingen in de DSA los gezien moeten worden van de aansprakelijkheidsuitzondering. Hoofdstuk III betoogt dat die conclusie genuanceerd kan worden. Ten opzichte van de Richtlijn elektronische handel kan in sommige gevallen wel degelijk een hogere mate van zorgvuldigheid verwacht worden, waardoor tussenhandeldiensten eventueel kunnen worden uitgesloten van de aansprakelijkheidsuitzondering. Een strengere interpretatie van de aansprakelijkheidsuitzondering kan in sommige gevallen slachtoffers van illegale content beter in staat stellen de tussenhandeldienst aansprakelijk te houden voor het hosten van illegale content. De strengere interpretatie kan als aanmoediging dienen om een beter notice-and-action mechanisme te faciliteren, moderatiepraktijken aan te scherpen tegen illegale content, en een beter evenwicht te bewerkstelligen tussen de belangen van de tussenhandeldienst en die van de benadeelde persoon. De uitingsvrijheid zoals deze geïnterpreteerd wordt door het Europees Hof voor de Rechten van de Mens (EHRM) hoeft zich niet tegen die interpretatie te verzetten. Evenmin zou deze interpretatie niet gedragen worden door de DSA. Artikel 16 voorziet dat hosting diensten een eenvoudig toegankelijk en gebruiksvriendelijk notice-and-action mechanisme aan moeten bieden. Het niet aanbieden van zo’n mechanisme verstoort de mogelijkheden om hosting diensten aansprakelijk te houden. Om te voorkomen dat het loont om een disfunctioneel mechanisme aan te bieden, zou een hosting dienst die zich aan de verplichtingen van artikel 16 onttrekt uitgesloten kunnen worden van de aansprakelijkheidsuitzondering. Hetzelfde geldt voor online platforms die zich structureel onttrekken aan de verplichtingen van artikel 23 DSA. Artikel 23 verplicht online platforms tot het blokkeren van gebruikers die frequent kennelijk illegale content uploaden. Wanneer een online platform dat niet doet, handelt het online platform niet te goeder trouw, en kan het daarmee uitgesloten worden van de aansprakelijkheidsuitzondering van artikel 6 DSA. Het hoofdstuk betoogt ook dat met aangescherpte zorgvuldigheidsverplichtingen ten aanzien van kennelijk illegale inhoud, terroristische inhoud, en kindermisbruik, de lat verlaagd kan worden ten opzichte van de Richtlijn elektronische handel voor feitelijke toetsing of een hosting dienst op de hoogte is van illegale content en daarmee onder verplichting staat die te verwijderen. Dit zou ook kunnen leiden tot het uitsluiten van de aansprakelijkheidsuitzondering van te kwader trouw handelende actoren. Het hoofdstuk betoogt dat tussenhandeldiensten zo een grotere mate van rekenschap moeten afleggen over hoe zij hun content moderatieprocessen inrichten.

Hoofdstuk IV richt zich op een specifiek aspect uit het aansprakelijkheidsvraagstuk, namelijk het notice-and-action mechanisme. Het notice-and-action mechanisme vervult een sleutelrol in het aansprakelijk houden van hosting diensten voor illegale content, en maakt het voor gebruikers mogelijk om hun voorkeuren kenbaar te maken en invloed uit te oefenen op content moderatie. Het hoofdstuk onderzoekt met een empirische walkthrough hoe AliExpress, TikTok, Twitch, en X hun notice-and-action mechanismen vormgeven, of dit strookt met de vereisten van artikel 16 DSA, en of dit eventuele aansprakelijkheid van hostingdiensten beïnvloedt. Het onderzoek laat zien dat de genoemde tussenhandeldiensten hun notice-and-action mechanismen verschillend vormgeven, en dat die vormgeving vaak geijkt is op de dienst die zij aanbieden. Ook laat het hoofdstuk zien dat met name bij de gemakkelijke toegankelijkheid grote verschillen zichtbaar zijn tussen de tussenhandeldiensten. Dit komt doordat de notice-and-action mechanismen voor de DSA vaak sterk verweven zijn met de notice-and-action mechanismen die worden gebruikt bij schendingen van de algemene voorwaarden, ook al maakt – en vereist – de zelfs daartussen een scherp onderscheid. Deze sterke verwevenheid kan er ook toe leiden dat gebruikers content rapporteren buiten het mechanisme van artikel 16 om. Het hoofdstuk concludeert dat de vormgeving van de bestaande mechanismen misleidend kan zijn voor gebruikers. Bovendien beïnvloedt de vormgeving de aansprakelijkheid voor eventuele illegale content, zeker nu mechanismen voor het rapporteren van inhoud onder algemene voorwaarden vaak niet de gelegenheid bieden inzicht te verschaffen in waarom bepaalde content illegaal wordt geacht. Wanneer gebruikers echter niet voldoende toelichting verschaffen over de kwalificatie van bepaalde content als ‘illegaal’, hoeven hosting diensten de content niet te verwijderen. Het hoofdstuk laat verder zien dat naleving van artikel 16 wisselend is, en dat er bij een aantal tussenhandeldiensten ruimte voor verbetering is. Omdat notice-and-action mechanismen voor gebruikers een belangrijke weg zijn om hun voorkeuren kenbaar te maken – en daarmee bij te dragen aan content moderatie en het afwegen van de uitingsvrijheid – is het nodig dat artikel 16 strenger wordt gehandhaafd.

Hoofdstuk V verkent artikel 22 DSA, dat gaat over betrouwbare flaggers (‘trusted flaggers’). Betrouwbare flaggers kunnen statelijke of niet-statelijke entiteiten zijn, zoals NGOs, ministeries, toezichthouders of de politie. Betrouwbare flaggers hebben een geprivilegieerde positie in het content moderatie proces; hun kennisgevingen dienen met prioriteit en onverwijld te worden behandeld. Betrouwbare flaggers opereren primair in een bilaterale verhouding tot het online platform, wat leidt tot ondoorzichtigheid van hun handelen. Daarnaast is het waarschijnlijk dat online platforms druk voelen om mee te gaan in verwijderverzoeken van betrouwbare flaggers door de gepriviligeerde positie die zij hebben. Dit kan leiden tot het verwijderen van legale content, hetgeen de uitingsvrijheid onder druk zet. Door de ondoorzichtigheid van hun opereren kan dit slecht gecorrigeerd worden. Artikel 22 DSA formaliseert dit proces. Betrouwbare flaggers worden benoemd door de nationale digitaledienstencoördinator. Zij krijgen met hun status toegang tot álle online platforms – dus niet alleen die waarmee ze een bilaterale verhouding hebben. Artikel 22 maakt het raamwerk waarin betrouwbare flaggers opereren bovendien doorzichtiger. Zij mogen enkel kennisgeven van illegale inhoud aan online platforms, wat betekent dat ze binnen de grenzen van de nationale- en uniewetgeving moeten opereren. Daarnaast worden ze geacht te rapporteren over al hun kennisgevingen, hetgeen overmatig gebruik van hun privileges tegengaat. Daarmee wordt een deel van de kritiek op het oorspronkelijke raamwerk van betrouwbare flaggers beantwoord. De regulering via artikel 22 DSA roept ook vragen op. Betrouwbare flaggers worden benoemd door nationale autoriteiten, en hanteren vaak nationaal recht. De bepaling bevat weinig waarborgen om te zorgen dat nationaal recht niet Uniebreed wordt uitgerold, hetgeen ook de uitingsvrijheid onder druk zou kunnen zetten. Om deze risico’s te bestrijden bepleit het hoofdstuk een geharmoniseerd portaal dat betrouwbare flaggers gebruiken om inhoud te rapporteren. Een ander zwak punt van artikel 22 DSA is dat het niet duidelijk is wat het onafhankelijkheidsvereiste betekent in de benoeming van betrouwbare flaggers. Hoewel dit bedoeld is om geldstromen vanuit tussenhandeldiensten tegen te gaan, is het in de praktijk vaak zo dat betrouwbare flaggers daar financieel van afhankelijk zijn. Het hoofdstuk doet op dit punt de suggestie dat de Europese Commissie kan faciliteren dat betrouwbare flaggers een faire financiële tegemoetkoming ontvangen ter ondersteuning van hun taak in het tegengaan van illegale inhoud.

Hoofdstuk VI onderzoekt hoe handhaving door digitaledienstencoördinatoren zich verhoudt tot de uitingsvrijheid. Digitaledienstencoördinatoren zijn nationale toezichthouders op naleving van de DSA. In hun toezichthoudende rol hebben zij mogelijkerwijs veel impact op de uitingsvrijheid op het internet; zij mogen content moderatiepraktijken sanctioneren, tussenhandeldiensten beboeten, en zelfs toegang in het algemeen blokkeren. Hun rolperceptie heeft daarmee een belangrijke invloed op de toegankelijkheid van bepaalde content, en dus op de uitingsvrijheid. De handhavingsstructuur voor digitaledienstencoördinatoren is complex. Digitaledienstencoördinatoren zijn in beginsel onafhankelijke instituties, maar worden vaak ondergebracht bij reeds bestaande toezichthouders, zoals media- en consumentenautoriteiten. Dit fragmenteert het toezichtlandschap in Europa. Dat is problematisch, omdat de bevoegdheid van de digitaledienstencoördinator niet verder rijkt dan de tussenhandeldiensten die binnen de landsgrenzen gevestigd zijn. Een complicerende factor is bovendien dat digitaledienstencoördinatoren hun handhavingstaak delen met de Europese Commissie, die bevoegd is toe te zien en te handhaven ten aanzien van Zeer Grote Online Platforms en Zeer Grote Online Zoekmachines. Dit betekent dat samenwerking vereist is. Samenwerking in grensoverschrijdende kwesties en in Unieverband werpt echter problemen op. Het eerste probleem is dat illegaliteit van inhoud nationaal én unierechtelijk bepaald is. Hoewel enige overeenstemming bestaat binnen de Europese Unie over wat illegaal is, lopen de opvattingen van lidstaten op sommige vlakken sterk uiteen. De Hongaarse anti-LHBTIQ+-wetten zijn hierbij een pregnant voorbeeld. Hoewel illegaliteit van bepaalde uitingen mede moet worden getoetst aan de hand van het Handvest, is het onduidelijk of toezichthouders in staat zijn deze beoordeling goed te maken, nog los van of de vraag of tussenhandeldiensten dit zelf goed doen. Dit zet de uitingsvrijheid mogelijk onder druk. Een tweede probleem is dat de bevoegdheidsstructuur van de DSA maakt dat handhaving zich sterk concentreert in een klein aantal lidstaten, met name Ierland en Nederland. Veel klachten moeten door de Ierse of de Nederlandse toezichthouder behandeld worden, wat operationele knelpunten kan veroorzaken. De uitingsvrijheid op het internet kan onder druk komen te staan wanneer nationale toezichthouders vastlopen. Als laatste complicatie in de handhavingsstructuur van de DSA wijst het hoofdstuk erop dat nationale handhavingsstrategieën sterk uiteen kunnen lopen, juist als gevolg van de huisvesting van de digitaledienstencoördinatoren bij toezichthouders uit verschillende rechtsgebieden. Dit geldt eens te meer wanneer middelen tekortschieten bij toezichthouders in kleinere lidstaten. Ook hierdoor kan de bescherming van de uitingsvrijheid onder druk komen te staan. Het hoofdstuk concludeert dat nagedacht moet worden over mechanismen waardoor toezichthouders tot actie gedwongen kunnen worden, over horizontale prejudiciële procedures tussen lidstaten om interpretaties van nationaal recht te toetsen, en over herverdeling van de toezichtsvergoeding van artikel 43 DSA om kleine lidstaten te ondersteunen. Op deze wijze kan de uitingsvrijheid minder onder druk komen te staan in handhaving van de DSA door digitaledienstencoördinatoren.

Hoofdstuk VII richt zich op inmenging van statelijke actoren in content moderatie. Wanneer een statelijke actor zonder formele bevoegdheid druk uitoefent op tussenhandeldiensten om over te gaan tot het modereren van bepaalde types content, kan dit worden gezien als jawboning. Jawboning is een term die gebruikt wordt in de (voornamelijk Amerikaanse) literatuur om te beschrijven hoe een actor buiten zijn bevoegdheid om een beleidsdoel probeert te bereiken door middel van het uitoefenen van (informele) druk op private actoren. Wanneer dit wordt gedaan om content moderatie te beïnvloeden knelt dit met de uitingsvrijheid. Immers, beperkingen van de uitingsvrijheid moeten gerechtvaardigd worden, wat betekent dat beperkingen een wettelijke basis moeten hebben, een legitiem doel moeten nastreven, en proportioneel en nodig zijn om dit doel te realiseren. Dit kan als geheel niet getoetst worden wanneer de beperking op informele wijze plaatsvindt. Een actueel voorbeeld van jawboning in content moderatie zijn richtlijnen als de gedragscode tegen hate speech. In beginsel worden dergelijke richtlijnen en gedragscodes voorgesteld als vormen van zelf- of co-regulering. Vaak is het echter zo dat een wetgever private actoren sterk aanmoedigt om hieraan deel te nemen, onderhandelingen faciliteert, of zelfs dreigt met verregaande wetgeving om de beleidsdoelen die ten grondslag liggen aan de gedragscodes te bereiken. Dit is ook te zien bij de gedragscode tegen hate speech. De Commissie gaf expliciet te kennen dat wanneer de gedragscode niet voldoende zou worden nageleefd, strengere wetgeving verwacht kon worden. Zij stuurde daarbij aan op het meer proactief tegengaan van hate speech. Een dergelijke aanpak schuurt met de uitingsvrijheid, in het bijzonder omdat de grenzen van hate speech vaag en bijzonder context-gevoelig zijn. Aanmoediging tot meer proactieve moderatie kan leiden tot onnodige inperking van de uitingsvrijheid van gebruikers. Dit zou dan het gevolg zijn van het handelen van de Commissie, wat aan het EVRM en het Handvest getoetst zou moeten worden. Dit is echter lastig omdat het vaak gaat om informele druk. Het hoofdstuk roept daarom op om transparant te zijn over wat de inbreng is van statelijke actoren in co- of zelfregelgevende processen, opdat hun handelen beter getoetst kan worden.

Hoofdstuk VIII brengt de bevindingen van de verschillende hoofdstukken samen. Het schetst hoe de interacties die de DSA creëert tussen de verschillende betrokken actoren spanningen kunnen oproepen, en dat niet duidelijk is hoe in contentmoderatieprocessen de uitingsvrijheid wordt gewogen. In termen van Caplan’s theorie over gedeeld platformbestuur betekent dit dat weliswaar alle actoren invloed hebben op content moderatie, maar dat onduidelijk blijft hoe deze invloed zich verhoudt tot het wegen van de uitingsvrijheid. Het hoofdstuk roept aan de hand van de suggesties die in de afzonderlijke artikelen zijn gedaan op tot een versterking van de mogelijkheden en verplichtingen van de individuele actoren om rekenschap af te leggen over hun rol in contentmoderatieprocessen. Daarbij moet ook worden verduidelijkt hoe hun inbreng de uitingsvrijheid beïnvloedt. Naast deze verbeteringen is het nodig om duidelijkheid te creëren over wat de DSA wél en wat de DSA niét kan bewerkstelligen, en er daarmee voor te zorgen dat het geen Zwitsers zakmes zonder juridische basis wordt. Alleen op die manier kunnen een bestendige uitvoering en handhaving van de DSA gegarandeerd worden.