{"id":77657,"date":"2021-07-12T15:30:00","date_gmt":"2021-07-12T13:30:00","guid":{"rendered":"https:\/\/www.hiig.de\/?p=77657"},"modified":"2021-10-22T18:10:22","modified_gmt":"2021-10-22T16:10:22","slug":"its-a-match-or-racism","status":"publish","type":"post","link":"https:\/\/www.hiig.de\/en\/its-a-match-or-racism\/","title":{"rendered":"It’s a match! Or racism?"},"content":{"rendered":"\n

No technology is neutral. Dating apps like Tinder and Grindr can perpetuate stereotypical assumptions about sexual preferences and reinforce a racist flirting culture. Can the law intervene?<\/em><\/p>\n\n\n\n

The article first appeared in Forum Recht 01\/2020<\/a> and is republished here.<\/p>\n\n\n\n

\n\n\n\n

Viele Dating-Apps funktionieren ungef\u00e4hr nach dem gleichen Prinzip: Den Nutzer*innen werden Fotos anderer Nutzer*innen, gegebenenfalls mit kurzen Selbstbeschreibungen, angezeigt. Wenn sie die Personen attraktiv finden, k\u00f6nnen sie dies z.B. dadurch deutlich machen, dass sie nach rechts \u00fcber das Foto wischen. Haben dies zwei Nutzer*innen wechselseitig getan, k\u00f6nnen sie miteinander in Kontakt treten \u2013 oder wie Tinder sagt: \u201eIt\u2019s a match\u201c. OkCupid hat von 2009 bis 2014 das Verhalten ihrer Nutzer*innen untersucht und dabei festgestellt, dass ostasiatisch gelesene M\u00e4nner und Schwarze[1]<\/a>Frauen die schlechtesten Chancen haben, ein Date zu finden, wei\u00df gelesene Personen hingegen die besten.[2]<\/a> Bei Grindr,<\/em> einer Dating-Plattform f\u00fcr homo-, bi-, transsexuelle und queere M\u00e4nner* sowie LoveScout24, <\/em>einem deutschen Dating-Portal, k\u00f6nnen die Nutzer*innen sogar nach \u201eethnischer Herkunft\u201c filtern.[3]<\/a> Auf Grindr kann es sein, dass einem ein Profil mit der Selbstbeschreibung \u201eKeine Asiaten\u201c oder \u201eNo Curry\u201c zul\u00e4chelt.[4]<\/a> Schwarze Frauen berichten von Kontaktaufnahmen wie: \u201eIch m\u00f6chte den Geschmack des Dschungels sp\u00fcren.\u201c[5]<\/a><\/p>\n\n\n\n

Und dann ist da auch noch das algorithmische System hinter jeder Dating-Plattform. Es ist nicht bekannt, welche algorithmischen Systeme jeweils eingesetzt werden und wie sie nach Treffern suchen. Allen ist jedoch gemeinsam, dass sie Treffer erreichen wollen.[6]<\/a> Somit ist es plausibel, dass die jeweiligen Algorithmen den Nutzer*innen die Profile anderer Nutzer*innen nach Erfolgswahrscheinlichkeit anzeigen.[7]<\/a> Wenn \u00fcberwiegend wei\u00df gelesene Personen als attraktiv befunden werden, wie es die Auswertungen von OkCupid zeigen, dann ist Wei\u00dfsein ein hoher Indikator f\u00fcr ein \u201ematch\u201c, das hei\u00dft eine h\u00f6here Erfolgswahrscheinlichkeit. Selbst wenn also die Hautfarbe f\u00fcr das algorithmische System kein explizites Kriterium ist,[8]<\/a> kann der Algorithmus diese fehlende Information \u00fcber stellvertretende Merkmale wie die Erfolgsquote einer Person ausgleichen und im Ergebnis \u00fcberwiegend wei\u00df gelesene Personen vermitteln.<\/p>\n\n\n\n

Sexuelle Pr\u00e4ferenz oder Rassismus? <\/strong><\/p>\n\n\n\n

Beim Dating scheint \u201eRasse\u201c[9]<\/a> also ein entscheidender Faktor zu sein.[10]<\/a> Sch\u00f6nheitsideale und an ihnen orientierte sexuelle Pr\u00e4ferenzen entwickeln sich nicht im luftleeren Raum, sondern in einem spezifischen historischen und kulturellen Kontext, der nicht diskriminierungsfrei ist.[11]<\/a> Eine Erhebung von OkCupid aus 2009 ergab, dass 40 % bis 54 % wei\u00df gelesener M\u00e4nner und Frauen es bevorzugen, wei\u00df gelesene Menschen zu daten, w\u00e4hrend nur 20 % aller Schwarzen und People of Color (PoC) zusammen genommen bevorzugt andere Schwarze oder PoC daten w\u00fcrden.[12]<\/a>Noch vor 50 Jahren waren in den USA Gesetze in Kraft, die Beziehungen zwischen Wei\u00dfen und Schwarzen verboten haben, um eine Vormachtstellung wei\u00df gelesener Personen sicherzustellen (anti-miscegenation law). Insgesamt hat rassistische Gesetzgebung, die es weltweit gab, zur Abwertung nicht-wei\u00dfer Menschen gef\u00fchrt. Die \u00fcber Online-Dating erhobenen Zahlen[13]<\/a> k\u00f6nnten Hinweise darauf sein, dass rassistische Machtverh\u00e4ltnisse auch heute noch sexuelle Pr\u00e4ferenzen beeinflussen.[14]<\/a><\/p>\n\n\n\n

Individuen k\u00f6nnen selbstverst\u00e4ndlich entgegen diesen Strukturen handeln und es br\u00e4uchte n\u00e4here \u00dcberlegungen dazu, unter welchen Bedingungen die individuelle Auswahl der Sexualpartner*in entlang rassistischer Stereotype auch rassistisch ist.[15]<\/a> Um diese individuelle Entscheidung geht es hier allerdings nicht. Im Mittelpunkt steht stattdessen, wie speziell Dating-Apps rassistische Strukturen perpetuieren k\u00f6nnen.<\/p>\n\n\n\n

Werte in Technik<\/strong><\/h3>\n\n\n\n

(Digitale) Technologien sind nie neutral. Ihre Entwickler*innen m\u00fcssen entscheiden, welche Werte sie einschreiben:[16]<\/a> K\u00f6nnen Aussagen gel\u00f6scht werden? Unter welchen Bedingungen und von wem? Ist die Kommunikation offen oder anonym? Welche Filteroptionen bietet eine Dating-App? Welche Kategorien gibt es? Wie sucht ein Algorithmus nach Treffern? Wer wird repr\u00e4sentiert? Und auch das Nutzer*innenverhalten formt die App: Welche Aussagen werden get\u00e4tigt? Welches Feedback dem Algorithmus gegeben?<\/p>\n\n\n\n

Dabei agieren Entwickler*innen und Nutzer*innen in einer Realit\u00e4t, die von diskriminierenden Strukturen und Stereotypen gepr\u00e4gt ist. Diese bleiben auch digital wirkm\u00e4chtig.[17]<\/a> Unter anderem dadurch, dass Nutzer*innen Dating-Apps oder generell soziale Plattformen nutzen, um dort beleidigende und diskriminierende Kommunikationsformen \u00f6ffentlich auszuleben oder dadurch, dass die Entwickler*innen stereotype Annahmen codieren.<\/p>\n\n\n\n

H\u00e4ufiger, breiter und permanenter<\/strong><\/h3>\n\n\n\n

Diskriminierende Strukturen k\u00f6nnen durch digitale Technologien aber nicht nur perpetuiert werden \u2013 sondern sich zudem verst\u00e4rken. Es w\u00fcrde sich wohl kaum jemand ein Schild mit der Aufschrift \u201eKeine Schwarzen\u201c umh\u00e4ngen und in einen Club gehen. Netzanonymit\u00e4t scheint jedoch dazu einzuladen, anerkannte Verhaltensnormen abzustreifen.[18]<\/a>Im Gegensatz zu (diskriminierenden) \u00c4u\u00dferungen au\u00dferhalb des Internets erlangen Aussagen digital typischerweise eine h\u00f6here Reichweite, indem sie l\u00e4nger und f\u00fcr ein gr\u00f6\u00dferes Publikum sichtbar bleiben.<\/p>\n\n\n\n

Einzeln agierende Personen k\u00f6nnen zwar entgegen diskriminierenden Strukturen handeln. Wird hingegen ein bias in ein algorithmisches System codiert, verbreitet es sich mit dem System massenweise und grenz\u00fcberschreitend.[19]<\/a>Diskriminierungen, ob durch digitale \u00c4u\u00dferungen oder Algorithmen vermittelt, drohen sich aufgrund ihrer Permanenz und Reichweite zu sozialen Tatsachen zu verfestigen und so zu verst\u00e4rken.[20]<\/a><\/p>\n\n\n\n

Potentiale und<\/strong> Selbstregulierung<\/strong><\/h3>\n\n\n\n

Dating-Apps erm\u00f6glichen es zwar auch, Personen verschiedener sozialer Gruppen, die sonst keine Ber\u00fchrungspunkte miteinander h\u00e4tten, zu verbinden.[21]<\/a> Dieses Potential wird allerdings geschm\u00e4lert, wenn Diskriminierungen kein Einhalt geboten wird. Gewiss haben die Unternehmen hinter Dating-Apps ein \u00f6konomisches Interesse daran, m\u00f6glichst inklusiv zu sein, um \u00fcber die Nutzer*innen mehr Daten sammeln k\u00f6nnen. Wohl auch deswegen ist beispielsweise Grindr mittlerweile dazu \u00fcbergegangen, eine \u201emultikulturelle und vorurteilsfreie Plattform\u201c bereitstellen zu wollen. Nach eigenen Aussagen werden alle diskriminierenden \u00c4u\u00dferungen gel\u00f6scht.[22]<\/a> Tinder betont hinsichtlich seines Algorithmus, dass er auf Offenheit ausgelegt sei: \u201eUns ist egal (und wir speichern auch nicht), ob du Schwarz, Wei\u00df, Magenta oder Blau bist.\u201c[23]<\/a><\/p>\n\n\n\n

Das sind positive Entwicklungen. Aber was sind diskriminierende Aussagen nach Ansicht von Grindr? Was ist der Ma\u00dfstab? Und wie sichert Tinder ab, dass stellvertretende Merkmale keine Rolle spielen? Ist es Tinder eigentlich auch egal, ob eine Nutzerin behindert ist? Unternehmerische Selbstregulierung ist intransparent und nicht ersch\u00f6pfend. Vor allem aber sind rassistische \u00c4u\u00dferungen und diskriminierende Dienstleistungen keine neuen Ph\u00e4nomene. Die Rechtsordnung vermittelt den betroffenen Personen subjektive Rechte hiergegen. Ihre Durchsetzung sollte nicht vom \u00f6konomischen Nutzen eines Unternehmens abh\u00e4ngig gemacht werden.<\/p>\n\n\n\n

Nutzer*innen, Beleidigungen und das NetzDG<\/strong><\/h3>\n\n\n\n

Doch auch der staatlich gesetzte, subjektive Rechtsschutz ist unzureichend. Digitale Technologien exponieren seine Unzul\u00e4nglichkeiten und lassen Defizite in der Rechtsdurchsetzung deutlich hervortreten. Als Schwarze Dating-App-Nutzerin ist es verletzend, auf exotische Stereotype reduziert zu werden oder mehrmals zu lesen, aufgrund des Schwarzseins nicht begehrenswert zu sein. Aufgrund historischer, Gesetz gewordener Exklusionsmechanismen gegen Schwarze Personen kann diese Erfahrung besonders erniedrigend sein.[24]<\/a><\/p>\n\n\n\n

\u00a7 185 Strafgesetzbuch stellt Beleidigungen unter Strafe und auch das Zivilrecht sieht Schutzvorschriften vor (z.B. \u00a7 823 Abs. 1 B\u00fcrgerliches Gesetzbuch in Verbindung mit dem Allgemeinen Pers\u00f6nlichkeitsrecht). Die Subsumtion ist aber keineswegs eindeutig. Beispielsweise k\u00f6nnte \u00f6ffentlichen Aussagen wie \u201eNo blacks\u201c die notwendige Erkennbarkeit der Betroffenen fehlen, um eine strafbare Beleidigung darzustellen. Gruppenbezogene Beleidigungen sind f\u00fcr das Strafrecht ein dogmatisches Problem.[25]<\/a> Dieses Problem steigert sich innerhalb sozialer Plattformen, in denen Beleidigungen nicht \u2013 wie bei Erlass des Strafgesetzbuches 1871 anvisiert \u2013 von Angesicht zu Angesicht erfolgen.[26]<\/a><\/p>\n\n\n\n

Ferner stellt sich die Frage, gegen wen die Nutzerin ihren Strafantrag oder ihre Klage richten soll. Die M\u00f6glichkeit der Anonymisierung und Pseudonymisierung im Netz kann zur Vernetzung marginalisierter Gruppe beitragen und sie sch\u00fctzen.[27]<\/a> Aber sie verhindert auch eine effektive Rechtsdurchsetzung. Um dem entgegen zu wirken, wurde das Netzwerkdurchsetzungsgesetz (NetzDG) erlassen. Das NetzDG verpflichtet Betreiber*innen sozialer Netzwerke dazu, ausgew\u00e4hlte, offensichtlich strafrechtlich relevante Inhalte unverz\u00fcglich zu l\u00f6schen (\u00a7\u00a7 1, 3 NetzDG). Tun sie dies nicht, drohen ihnen hohe Bu\u00dfgelder (\u00a7 4 NetzDG). An diesem Gesetz ist fast alles umstritten: Seine Erforderlichkeit, die Vereinbarkeit mit h\u00f6herrangigem Recht, der Anwendungsbereich und die Verfahren.[28]<\/a> Teil dieser Kritik ist, dass Unternehmen und nicht staatliche Verfolgungsbeh\u00f6rden \u00fcber strafbares Handeln entscheiden.[29]<\/a> Das Beispiel \u201eNo blacks\u201c zeigt, wie schwierig es sein kann, eine strafrechtlich relevante \u00c4u\u00dferung zu identifizieren. Anstatt sich der schwierigen Abw\u00e4gung zwischen Allgemeinem Pers\u00f6nlichkeitsrecht und Meinungsfreiheit  zu stellen, besteht die Gefahr, dass Betreiber*innen eigentlich rechtm\u00e4\u00dfige \u00c4u\u00dferungen l\u00f6schen.[30]<\/a><\/p>\n\n\n\n

Das NetzDG ist auf Dating-Apps aber ohnehin nicht anwendbar. Genauso wenig wie auf berufliche Netzwerke oder Gaming-Portale, da es sich bei ihnen aufgrund der Verbreitung \u201espezifischer Inhalte\u201c nicht um soziale Netzwerke im Sinne von \u00a7 1 Abs. 3 NetzDG handelt. F\u00fcr die betroffene Person macht es allerdings keinen Unterschied, wo rechtsverletzende \u00c4u\u00dferungen get\u00e4tigt werden, solange sie viral gehen k\u00f6nnen.[31]<\/a> Es sollte \u00fcberdacht werden, welchem Zweck Einschr\u00e4nkungen dienen und der Schutzbereich des NetzDG entsprechend erweitert werden.<\/p>\n\n\n\n

Algorithmen und das Antidiskriminierungsrecht<\/strong><\/h3>\n\n\n\n

Wenn ein Unternehmen seine Dating-App nur f\u00fcr eine bestimmte Zielgruppe freigibt, ist dies grunds\u00e4tzlich rechtlich genauso legitim, wie innerhalb einer App eine soziale Gruppe zu bevorzugen. Denn es \u201egeh\u00f6rt [\u2026] zur Freiheit jeder Person, nach eigenen Pr\u00e4ferenzen dar\u00fcber zu bestimmen, mit wem sie unter welchen Bedingungen Vertr\u00e4ge abschlie\u00dfen will\u201c.[32]<\/a> Doch dieses Freiheitsrecht kann, wie alle anderen auch, eingeschr\u00e4nkt werden.[33]<\/a><\/p>\n\n\n\n

\u00a7 19 Allgemeines Gleichbehandlungsgesetz (AGG) macht Ungleichbehandlungen von Personen aufgrund der gesetzlich benannten Kategorien Rasse, ethnische Herkunft, Geschlecht, Religion, Behinderung, Alter oder sexuelle Identit\u00e4t in sogenannten Massengesch\u00e4ften rechtfertigungsbed\u00fcrftig. Gegen die Annahme eines Massengesch\u00e4ftes k\u00f6nnte zwar sprechen, dass das algorithmische System die individuellen Daten einer Nutzerin verarbeitet und ihr danach ausgerichtet Profile anderer App-Nutzer*innen anzeigt. Doch es kommt nicht wirklich auf die individuelle Nutzerin an. Denn f\u00fcr die Datenverarbeitung wird massenhaft der gleiche Algorithmus mit gleichbleibenden Kriterien angewendet.[34]<\/a><\/p>\n\n\n\n

Trotz Anwendbarkeit des AGG erschweren Wissenshierarchien eine effektive Rechtsdurchsetzung. Zum einen muss die Nutzerin \u00fcberhaupt erst den Verdacht hegen, benachteiligt zu werden. Da sie die Dating-App unabh\u00e4ngig von anderen nutzt, hat sie jedoch keinen unmittelbaren Vergleich. F\u00fcr ein anschlie\u00dfendes gerichtliches Verfahren m\u00fcsste die Nutzerin \u2013 von einer irgendwie erlangten Vermutung ausgehend \u2013 die Benachteiligung einer rechtlich gesch\u00fctzten Gruppe nachweisen. Da selten bekannt ist, welches algorithmische System eingesetzt wird, mit welchen Daten es trainiert wird, wie oft die Daten aktualisiert werden und nach welchen Kriterien der Algorithmus entscheidet, ist dieser Nachweis schwierig zu f\u00fchren. In einem gegebenenfalls zu Stande kommenden Prozess br\u00e4uchte die Nutzerin ferner ein Grundverst\u00e4ndnis von algorithmischen Systemen, um technisch fundierte Rechtfertigungen des Unternehmens widerlegen zu k\u00f6nnen.<\/p>\n\n\n\n

Wissenshierarchien sind dem Antidiskriminierungsrecht nicht fremd. Es arbeitet mit Beweisma\u00dfreduzierungen und Beweislastverteilungen (\u00a7 22 AGG).[35]<\/a> Die Nutzerin m\u00fcsste f\u00fcr den Nachweis einer mittelbaren Diskriminierung beispielsweise \u201enur\u201c einen diskriminierenden Effekt nachweisen und nicht die kausale diskriminierende Handlung, das hei\u00dft: Sie muss nicht wissen, wie genau das System funktioniert.[36]<\/a> Es reicht, dass im Ergebnis Schwarze und PoC ungleich behandelt werden. Warum dies so ist, muss das Unternehmen begr\u00fcnden. Allerdings ist es nicht gerade einfach, eine Statistik \u00fcber die Nutzer*innenerfahrungen und damit den diskriminierenden Effekt zu erstellen. Ferner k\u00f6nnte die Nutzerin zwar ein Sachverst\u00e4ndigengutachten in Auftrag geben, um im Rahmen eines gerichtlichen Verfahrens mit dem Expert*innenwissen der Unternehmen auf Augenh\u00f6he zu sein \u2013 diese sind aber keineswegs kosteng\u00fcnstig. Betroffene Personen sollten daher st\u00e4rkere Unterst\u00fctzung im Rechtsverfahren erhalten.[37]<\/a> Hierzu sollte das lang geforderte Verbandsklagerecht f\u00fcr antidiskriminierungsrechtliche Verfahren endlich eingef\u00fchrt werden.[38]<\/a><\/p>\n\n\n\n

Algorithmische Diskriminierungen fordern noch viele andere Bereiche des Antidiskriminierungsrechts heraus: Durch den Einsatz algorithmischer Systeme wird beispielsweise die Kette der Verantwortlichkeit l\u00e4nger.[39]<\/a> Haftet f\u00fcr eine algorithmische Diskriminierung das Unternehmen, welches das System einsetzt, oder die gegebenenfalls externe Entwickler*innenfirma? Was ist, wenn niemand versteht, warum das System so handelt, wie es das tut? In der Rechtfertigung tun sich ferner nicht leicht zu beantwortende Abw\u00e4gungsfragen auf. Denn es ist einerseits das Gesch\u00e4ftsmodell einer Dating-App, \u201ematches\u201c zu erreichen, sodass es n\u00fctzlich ist, Statistiken \u00fcber die sexuellen Pr\u00e4ferenzen von Personen heranzuziehen. Andererseits k\u00f6nnen Statistiken diskriminierende Stereotype reproduzieren und verfestigen.[40]<\/a> Wann und inwiefern sollten statistische Erkenntnisse Diskriminierungen rechtfertigen k\u00f6nnen?[41]<\/a><\/p>\n\n\n\n

Autonomie und Datenschutz<\/strong><\/h3>\n\n\n\n

Dar\u00fcber hinaus ist es gerade bei Dating-Apps aufgrund der Intimit\u00e4t der Entscheidung und der generierten sensiblen Daten kritikw\u00fcrdig, dass so wenig \u00fcber die algorithmische Datenverarbeitung bekannt ist. Erst, wenn die Nutzerin wei\u00df, warum ihr bestimmte Profile angezeigt werden, kann sie eine autonome Entscheidung treffen.<\/p>\n\n\n\n

Tats\u00e4chlich erlegt die Datenschutzgrundverordnung (DSGVO) der Datenverarbeiterin Informationspflichten auf (Artikel 12, 13). Unter anderem muss sie dem Datensubjekt die Kategorien personenbezogener Daten nennen, die verarbeitet werden. Kategorien k\u00f6nnten zum Beispiel das \u201eGeschlecht\u201c oder die Postleitzahl sein. Die DSGVO verpflichtet aber nicht dazu, dem Datensubjekt zu erkl\u00e4ren, mit welchen (fremden) Datenpunkten die personenbezogenen Datenpunkte in Relation gesetzt werden. Das hei\u00dft, sie verpflichtet gerade nicht dazu, zu erkl\u00e4ren, warum der Nutzerin manche Profile angezeigt werden und andere nicht. Vieles bleibt im Hinblick auf die Informationsrechte der DSGVO noch zu diskutieren.[42]<\/a><\/p>\n\n\n\n

Rechtliche Instrumente und Diskurs st\u00e4rken<\/strong><\/p>\n\n\n\n

Dating-Apps stehen beispielhaft f\u00fcr all die Technologien, die wir t\u00e4glich nutzen und die unsere Wahrnehmung pr\u00e4gen. Dadurch, dass digitale Technologien diskriminierende Strukturen skalieren k\u00f6nnen, wird es noch dr\u00e4ngender als ohnehin schon, uns auch in diesem Kontext mit Herrschaftsverh\u00e4ltnissen zu besch\u00e4ftigen, Ungleichheiten und Diskriminierungen zu benennen und sie zu bek\u00e4mpfen. Das Recht muss hierzu nachgesch\u00e4rft und die Rechtsdurchsetzung verbessert werden. Je nach Einsatzbereich und Folgen digitaler Technologien k\u00f6nnten die Unternehmen und Nutzer*innen abgestufte Pflichten treffen. Zumindest braucht es aber einen breiteren Diskurs dar\u00fcber, wie digitale Technologien gestaltet und herrschaftskritische Ziele darin umgesetzt werden sollen.<\/p>\n\n\n\n

\n\n\n\n

Victoria Guijarro Santos <\/strong>hat Rechtswissenschaften in G\u00f6ttingen studiert und arbeitet als wissenschaftliche Mitarbeiterin an der Universit\u00e4t M\u00fcnster am Lehrstuhl f\u00fcr Internationales \u00d6ffentliches Recht und Internationalen Menschenrechtsschutz<\/a>. Sie promoviert interdiszplin\u00e4r zu Diskriminierungen durch datenbasierte algorithmische Systeme. Als Mitorganisatorin der Tagung “What We Don’t Talk About When We Talk About Law”<\/a> und der Auftaktkonferenz des Junges Digitalen Rechts<\/a> setzt sie sich f\u00fcr einen machtkritischen Zugang auf Recht und Technologien ein und engagiert sich bei netzforma* e.V. f\u00fcr eine feministische Netzpolitik.<\/p>\n\n\n\n

\n\n\n\n

Weiterf\u00fchrende Literatur<\/strong><\/h3>\n\n\n\n

Jevan Hutson et al.<\/strong>, Debiasing Desire: Addressing Bias & Discrimination on Intimate Platforms, Proceedings of the ACM on Human-Computer Interaction, 2018.<\/p>\n\n\n\n

Safiya Umoja Noble \/ Brendseha M. Tynes (Hg.)<\/strong>, The Intersectional Internet: Race, Sex, Class, and Culture Online, 2016.<\/p>\n\n\n\n

Phillipp Hacker<\/strong>, Teaching fairness to artificial intelligence: Existing and novel strategies against algorithmic discrimination under EU law, Common Market Law Review 2018, 1143.<\/p>\n\n\n\n

\n\n\n\n

[1]<\/a>  \u201cIm Anschluss an antirassistische, empowernde Politiken schreiben wir Schwarz dagegen gro\u00df.\u201c AK ForschungsHandeln, InterdepenDenken dialogisch verhandeln \u2013 Eine Einleitung, in: AK ForschungsHandeln (Hg.), InterdepenDenken! Wie Positionierung und Intersektionalit\u00e4t forschend gestalten?, 2016, 8 (21).<\/p>\n\n\n\n

[2]<\/a> OkCupid, Race and Attraction 2009-2014, The Blog OkCupid, 10.09.2014; Christian Rudder, How Your Race Affects The Messages You Get, oktrends, 5.11.2009.<\/p>\n\n\n\n

[3]<\/a> Hannes Schrader, Warum liebe ich nur wei\u00dfe Frauen?, Zeit Campus, 14.06.2018.<\/p>\n\n\n\n

[4]<\/a> Chris Stokel-Walker, Why is it ok for online daters to block whole ethnic groups? Guardian, 29.09.2018; Molly Niesen, Love, Inc., in: Safiya Umoja Noble \/ Brendseha M. Tynes (Hg.), The Intersectional Internet: Race, Sex, Class, and Culture Online, 2016, 161 (170).<\/p>\n\n\n\n

[5]<\/a> Olivia Petter, Racism is rife on Dating Apps, The Independent, 24.08.2018.<\/p>\n\n\n\n

[6]<\/a> Thomas McMullan, Are the algorithms that power dating apps racially biased?, Wired, 17.02.2019.<\/p>\n\n\n\n

[7]<\/a> Vgl. Swipehelper, Tinders Algorithm \u2013 How it Determines Who Gets to See Your Profile & What You Can Do About It, swipehelper.com, 13.10.2019.<\/p>\n\n\n\n

[8]<\/a> Vgl. Tinder, Powering Tinder \u2013 Die Methode hinter unserem Matching, Blog GoTinder, 15.03.2019.<\/p>\n\n\n\n

[9]<\/a> Dieser Begriff wird als soziale Konstruktion verstanden und als analytisches Konzept verwendet, n\u00e4her Cengiz Barskanmaz, Kritische Justiz 2011, 382.<\/p>\n\n\n\n

[10]<\/a> Zum Online-Dating Christian Rudder, Dataclysm, 2014, 99; Denton Challender et al, Ethnicities, 2016, 3; im \u00dcbrigen Averil Y. Clarke, Inequalities of Love, 2011, 38.<\/p>\n\n\n\n

[11]<\/a> Jevan Hutson et al, Proceedings of the ACM on Human-Computer Interaction, 2018, 3 m.w.N.<\/p>\n\n\n\n

[12]<\/a> Christian Rudder, How Your Race Affects The Messages You Get, oktrends, 05.10.2009.<\/p>\n\n\n\n

[13]<\/a> Christian Rudder, Dataclysm, 2014, 99; Denton Challender et al, Ethnicities 2016, 3; Jay P. Paul et al, The Journal of Sex Research 2010, 528.<\/p>\n\n\n\n

[14]<\/a> Hutson et al. (Fn. 11), 14.<\/p>\n\n\n\n

[15] <\/a>Sonu Bedi, The Journal of Politics 2015, 998.<\/p>\n\n\n\n

[16]<\/a> Lawrence Lessig, Code and Other Laws of Cyberspace, 1999\/2001.<\/p>\n\n\n\n

[17]<\/a> Kathrin Ganz, Feministische Netzpolitik, 2013, 3; Gitti Hentschel \/ Francesca Schmidt, Femina Politica 2014, 83 (85 f.); Noble \/ Tynes (Fn. 4).<\/p>\n\n\n\n

[18]<\/a> Denton Challender et al., Ethnicities, 2016, 3.<\/p>\n\n\n\n

[19]<\/a> Thomas Wischmeyer, Archiv f\u00fcr \u00f6ffentliches Recht 2018, 1 (26); Lucia Sommerer, Personenbezogenes Predictive Policing (i.V.), 140.<\/p>\n\n\n\n

[20]<\/a> Zu Algorithmen Sommerer (Fn. 19); zu Aussagen Ulrike Lembke, Kritische Justiz 2016, 385.<\/p>\n\n\n\n

[21]<\/a> Michael J. Rosenfeld \/ Reuben J. Thomas, American Sociological Review 2012, 523 (524).<\/p>\n\n\n\n

[22]<\/a> Grindr, Community Guidelines, https:\/\/www.grindr.com\/community-guidelines\/<\/a> (Stand: 17.02.2020).<\/p>\n\n\n\n

[23]<\/a> Tinder (Fn. 8).<\/p>\n\n\n\n

[24]<\/a> Bedi (Fn. 15), 1004.<\/p>\n\n\n\n

[25]<\/a>  J\u00f6rg Eisele \/ Ulrike Schittenhelm, in: Adolf Sch\u00f6nke \/ Horst Schr\u00f6der, Strafgesetzbuch, 2019, Vor. \u00a7\u00a7 185 ff. Rn. 5 ff.<\/p>\n\n\n\n

[26]<\/a> Elisa Hoven, Nicht Ausdruck, sondern Bedrohung der Meinungsfreiheit, faz Einspruch, 05.11.2019.<\/p>\n\n\n\n

[27]<\/a> Hentschel \/ Schmidt (Fn. 17), 84.<\/p>\n\n\n\n

[28]<\/a> So etwa Georg Nolte, Zeitschrift f\u00fcr Urheber- und Medienrecht 2017, 552 (554 ff.); Fiete Kalscheuer \/ Christian Hornung, Neue Zeitschrift f\u00fcr Verwaltungsrecht 2017, 1721; Kathrin Ganz et al, in: Katharina Mosene \/ Matthias C. Kettemann (Hg.), Many Worlds, Many Nets, Many Visions, 2019, 31.<\/p>\n\n\n\n

[29]<\/a> Ulf Buermeyer, \u2018Statt Klarnamen: Digitales Gewaltschutzgesetz\u2018, Der Tagesspiegel, 19.06.2019.<\/p>\n\n\n\n

[30]<\/a> Matthias C. Kettemann, Stellungnahme als Sachverst\u00e4ndiger f\u00fcr die \u00f6ffentliche Anh\u00f6rung zum Netzwerkdurchsetzungsgesetz, 15. Mai 2019, Nr. 6, 7, https:\/\/bit.ly\/2HAfNSq (Stand: 17.02.2020).<\/p>\n\n\n\n

[31]<\/a> Deutscher Juristinnenbund, Policy Paper, 04.11.2019, Nr. 5, https:\/\/www.djb.de\/verein\/Kom-u-AS\/ASDigi\/st19-23\/<\/a> (Stand: 17.02.2020).<\/p>\n\n\n\n

[32]<\/a> BVerfGE 148, 267, LS. 1.<\/p>\n\n\n\n

[33]<\/a> Vgl. Susanne Baer, Zeitschrift f\u00fcr Rechtspolitik 2002, 290; Gabriele Britz, Ver\u00f6ffentlichungen der Vereinigung deutscher Staatsrechtslehrer 2005, 357.<\/p>\n\n\n\n

[34]<\/a> Vgl. Phillipp Hacker, Common Market Law Review 2018, 1143 (1155 f).<\/p>\n\n\n\n

[35]<\/a> Vgl. EuGH, ECLI:EU:C:1986:204, Rn. 29.<\/p>\n\n\n\n

[36]<\/a> Tischbirek, in: M\u00fcnkler (Hg.), Dimensionen des Wissens im Recht, 2019, 67 (76).<\/p>\n\n\n\n

[37]<\/a> Sommerer (Fn. 19), 151; Tischbirek (Fn. 36), 83.<\/p>\n\n\n\n

[38]<\/a> Gesine Fuchs, Feminia Politica 2010, 102; Erik Tuchtfeld \/ Sarah Ponti, Zeitschrift f\u00fcr Rechtspolitik 2018, 139.<\/p>\n\n\n\n

[39]<\/a> Vgl. Karen Yeung, Responsibility and AI, Council of Europe study, 2019.<\/p>\n\n\n\n

[40]<\/a> Vgl. Andreas Leidinger, Kritische Justiz 2019, 451 (458 f.).<\/p>\n\n\n\n

[41]<\/a> Vgl. Gabriele Britz, Einzelfallgerechtigkeit versus Generalisierung, 2008.<\/p>\n\n\n\n

[42]<\/a> Vgl. Stephan Dreyer \/ Wolfgang Schulz, The General Data Protection Regulation and Automated Decision-making: Will it deliver?, 2019.<\/p>\n