AN/0823/2023 - Künstliche Intelligenz kann sexistisch sein – Wie stellt die Stadt sicher, dass sie diskriminierungsfreie KI-Anwendungen nutzt und fördert?

Geschäftsführung  
Ausschuss für die Gleichstellung 
von Frauen und Männern 
Herr Neweling 
Telefon:  (0221) 221 26348 
Fax:   (0221) 221 26462 
E-Mail:  frank.neweling@stadt-koeln.de 
Datum: 11.09.2023 
Auszug 
aus dem Entwurf der Niederschrift der 18. Sitzung des Ausschusses 
für die Gleichstellung von Frauen und Männern  vom 04.09.2023  
öffentlich 
1.3 Anfrage der SPD-Fraktion betreffend "Künstliche Intelligenz kann sexis-
tisch sein – Wie stellt die Stadt sicher, dass sie diskriminierungsfreie KI-
Anwendungen nutzt und fördert?" 
AN/0823/2023 
 Antwort der Verwaltung 
2022/2023 
Monika Möller bittet darum, die Vorlage zurückzustellen, da es der SPD-Fraktion bis-
her nicht möglich war, über die Beantwortung zu beraten. 
 
Der Ausschuss stellt die Vorlage zurück und bittet darum, die Beratungsfolge der Be-
antwortung um den Digitalisierungsausschuss zu erweitern.

Dezernat, Dienststelle  
IX/IX/2 
 
Vorlagen-Nummer  29.08.2023
 2022/2023 
Beantwortung einer Anfrage nach § 4 der Geschäftsordnung  
öffentlicher Teil 
Gremium Datum 
Ausschuss für die Gleichstellung von Frauen und Männern 04.09.2023 
Digitalisierungsausschuss 19.08.2023 
 
Beantwortung einer schriftlichen Anfrage der SPD-Fraktion im Rat der Stadt Köln aus 
der Sitzung des Ausschusses für Gleichstellung von Frauen und Männern vom 
11.05.2023 (AN/0823/2023) betreffend „Künstliche Intelligenz kann sexistisch sein – Wie 
stellt die Stadt sicher, dass sie diskriminierungsfreie KI-Anwendungen nutzt und 
fördert?„ 
Im Kontext zur diskriminierungsfreien Nutzung von Künstlicher Intelligenz bittet 
die SPD-Fraktion um Beantwortung der folgenden Fragen: 
 
1. Wie stellt die Verwaltung sicher, dass KI-Anwendungen der Stadt diskriminierungs-
frei und nicht sexistisch sind? 
 
 
2. Berücksichtigt die KI -Strategie der Stadt die oben erläuterten Probleme aus Sicht 
des Gleichstellungsamtes ausreichend?  
 
 
3. Die KölnBusiness Wirtschaftsförderung unterstützt jährlich viele KI -Startups mit 
Gründungs- und Finanzierungsberatungen, Netzwerkeven ts sowie der Hilfe bei 
Messeauftritten und Fördergeldern. Wird bei der Entscheidung, wer unterstützt wird, 
auf Diversität bei den Entwickler*innen geachtet, und wie viele Startups von Grün-
derinnen wurden in den letzten 10 Jahren gefördert?  
 
 
4. Wie viele Frauen und Menschen mit internationaler Familiengeschichte arbeiten im 
ZukunftsLabor mit?  
 
 
5. Gibt es bereits eine Auswertung dazu, wer Ideen bei un:box cologne eingebracht 
hat, und wie wurde sichergestellt, dass auch Frauen und Menschen mit internatio-
naler Familiengeschichte sich beteiligt haben?  
 
Die Verwaltung nimmt hierzu wie folgt Stellung:

2 
 
Aktuell nutzt die Stadtverwaltung z.B. KI Komponenten im Bereich der Online Redak-
tion. Hier wird über das Tool DeepL eine Übersetzungskomponente in den Webauftritt 
der Stadt Köln integriert. Möglichkeiten von KI werden in unterschiedlichen internen Pi-
lotszenarien evaluiert, z.B. im Rahmen des digitalen Assistenten. Auch in der Anwen-
dungsentwicklung kommt KI zum Einsatz, um z.B. Programmcode zu generieren oder 
eigenentwickelten Code im Sinne der Qualität zu überprüfen. Anwendungsfälle aus 
dem Bereich des KölnBot werden rein dialogbasiert umgesetzt, die KI versteht sich hier 
einzig und allein auf ein Mapping der gestellten Frage zum jeweils passenden Dialog-
zweig. 
 
Zu Frage 1:  
Das Feld der Künstlichen Intelligenz wird bereits in den Kölner Perspektiven 2030+ the-
matisiert und als ein Trend für die absehbare Zukunft dargestellt. Eine bedeutende Rolle 
spielt dabei die Algorithmisierung städtischer Systeme, diese eröffnet neue Möglichkei-
ten zur Optimierung städtischer Dienstleistungen. 
Die „großen“ Anbieter von KI-Lösungen auf dem Markt (bspw. OpenAI mit der aktuell in 
den Medien fokussierten Lösung ChatGPT) trainieren ihre Engines mit teils ungefilter-
ten Daten aus dem Internet, das bekanntermaßen kein diskriminierungsfreier Raum ist. 
Entsprechend besteht tatsächlich die reelle Gefahr, dass auch die auf den entsprechen-
den KI-Engines basierenden Anwendungen nicht diskriminierungsfrei sind. Hier wird 
seitens der Stadt Köln bei der  aktuell laufenden Technologie-Auswahl strikt darauf ge-
achtet, dass die KI-Lösungen mit von der Stadt Köln vorselektierten und qualitätsgesi-
cherten Datenquellen interagieren und die Ergebnisse stets einem Monitoring unterwor-
fen werden können. Beim „Trainin g“ der KI ist zudem auf eine hohe Qualität der Da-
tensätze zu achten, inkl. einer die Vielfalt abbildenden Datenbasis. 
Um angemessen auf die Auswirkungen der digitalen Transformation zu reagieren, ist 
insbesondere die Bewertung der Chancen und Risiken des Einsatzes Künstlicher Intel-
ligenz relevant. Ein wesentlicher Aspekt ist hierbei die Erprobung von KI-Anwendungen, 
auch mit dem Ziel einer möglichen Regulierung. 
Um einheitliche Rahmenbedingungen für den Einsatz und die Erprobung von Künstli-
cher Intelligenz zu schaffen und sie innerhalb der Stadt vergleichbar zu gestalten, soll 
eine KI-Strategie in Form von Richtliniensets erstellt und übergreifend abgestimmt wer-
den.  
Ein wesentlicher Bestandteil dieser Strategie sind zu etablierende Ethikrichtlinien für 
den Einsatz von KI-Systemen. Diese umfassen neben allgemeinen Anforderungen wie 
Transparenz, Datenschutz, -sicherheit und Effizienz auch Aspekte von Fairness und 
Gerechtigkeit, um Diskriminierung oder Benachteiligung von Personen oder Gruppen 
zu vermeiden bzw. frühzeitig zu erkennen und angemessen gegenzusteuern. Unabhän-
gig von der Datenverarbeitung in einer KI -Anwendung ist eine hohe Datenqualität von 
entscheidender Bedeutung, die idealerweise bereits auf mögliche Diskriminierung von 
Personengruppen überprüft wurde. Im Rahmen der strategischen Betrachtung sollen 
auch die erforderlichen Fähigkeiten und Schulungen definiert werden, um eine umfas-

3 
 
sende Datenkompetenz im Umgang mit KI zu erlangen und ein Bewusstsein für Diskri-
minierungsfreiheit zu schaffen. Zukünftig sollen Technologien verwendet werden, die 
ihre Antworten durch nachvollziehbare Quellenangaben belegen und herleiten. 
Es ist auch wichtig, Transparenz bei den eingesetzten Werkzeugen für digitale Ent-
scheidungsfindung zu gewährleisten und die Möglichkeit einer externen Überprüfung 
zu bieten, um Impulse für die Sicherstellung des erwarteten Nutzens zu liefern und eine 
kontinuierliche Verbesserung sicherzustellen. Mit Hintergrund der Open -Source-First-
Strategie der Stadt Köln werden KI -Technologien ausgewählt, die maximale Transpa-
renz erzeugen. 
Um sicherzustellen, dass die Stadtverwaltung die Vorteile von KI vollständig nutzen 
kann und gleichzeitig den ethischen und strategischen Anforderungen gerecht wird, ist 
ein enger Austausch und Wissensaufbau sowohl auf  interkommunaler, wissenschaftli-
cher und wirtschaftlicher Ebene als auch die Verknüpfung und Einbindung europäi-
scher, bundesweiter und landesweiter Gesetzgebung erforderlich. 
Insbesondere die europäische Gesetzgebung widmet sich dem Bereich der Künstlichen 
Intelligenz und ist dabei, harmonisierte Vorschriften für künstliche Intelligenz (Gesetz 
über Künstliche Intelligenz) zu verabschieden. 
Mit dem Kölner Urbanen Datenökosystem (KUDOS) wird eine organisationsübergrei-
fende Datenplattform geschaffen, die perspektivisch auch KI-Anwendungsszenarien er-
möglichen soll. Durch die frühzeitige Umsetzung und Etablierung einer Datagovernance 
sollen identifizierte Anwendungsfälle qualitativ und ethisch der städtischen Gesamtstra-
tegie entsprechen. 
Neben der Etablierung ist  die kontinuierliche Überprüfung und Evaluation der erarbei-
teten Richtlinien von großer Bedeutung, um den potentiellen neuen oder veränderten 
Anforderungen gerecht zu werden. 
Zu Frage 2:  
Das Amt für die Gleichstellung von Frauen und Männern sieht dem derz eitigen umfas-
senden Ansatz der KI-Strategie der Stadtverwaltung Köln positiv entgegen. Um Vorur-
teilen und Diskriminierungen in den Ergebnissen der KI zu vermeiden, bedarf es einer 
fortlaufenden und konsequenten Anstrengung. 
Die sogenannte Erprobung der Strategie, bei der Chancen und Risiken des KI -Einsat-
zes bewertet werden sowie der Möglichkeit einer Regulierung wird begrüßt, ebenso wie 
die zu etablierende Ethikrichtlinien für den Einsatz von KI-Systemen. Daraus verspricht 
sich das Amt für die Gleichstellung von Frauen und Männern null Toleranz gegenüber 
Sexismus und der Reproduktion von geschlechtlichen Rollenklischees. 
Zu Frage 3:  
Seit der Gründung der KölnBusiness 2019 wird großer Wert auf die Unterstützung von 
Female Entrepreneurship gelegt, sowohl loka l mit der Unterstützung eines Gründerin-

4 
 
nenstammtisches als auch überregional mit der Initiative FemupStartups die gemein-
sam mit dem StartupChamps Zusammenschluss der Städte Berlin, Hamburg, München 
und Köln gegründet wurde. Mit dem FemaleStartaperitivo wur de in diesem Rahmen 
auch ein erfolgreiches Eventformat eingeführt, das Gründerinnen mit möglichen Inves-
tor*innen zusammenbringt. 
 
Um die Sichtbarkeit zu stärken hat die KölnBusiness auch auf der Startupmap weibliche 
Gründerinnen in einem eigenen Landscape hervorgehoben. Das Netzwerk der Organi-
sationen die sich hier einsetzen: Female Empowerment Map: Companies | Cologne 
Startup Ecosystem (startup-map.cologne)  
 
Als Role Model aus Köln in Sachen KI und Diversität aus Köln ist die Gründerin Céleste 
Kleinjans zu nennen, die auch schon Speakerin beim Digital Ethics Summit war Céleste 
Kleinjans möchte Wohlbefinden und Lebensqualität verbessern | (digital -ethics-sum-
mit.de) 
Zu Frage 4:  
Das Zukunftslabor ist ein Ort der Stadtverwaltung in Form von innovativen Kreativräu-
men, der keine Mitarbeitenden oder Personen beschäftigt. Dieser Ort steht allen Dienst-
stellen der Verwaltung zur Verfügung. In den dort stattfindenden Workshops, Veranstal-
tungen und Meetings werden keine Daten über die Diversität der Teilnehmenden erho-
ben. 
Zu Frage 5: 
Eine konkrete Auswertung dazu wer Ideen eingebracht hat wurde nicht gezielt erhoben.  
 
Die Ideen wurden größtenteils über die Online- Beteiligungsplattform Meinung für Köln 
eingereicht. Die an die Verwaltung übermittelten Daten bestehen, neben der Idee 
selbst, aus der Mailadresse der Ideengeber*innen und einem Nutzer*innen-Alias.  
 
Bei knapp fünfzig Ideen kann hieraus das Geschlecht gedeutet werden. Dabei liegt der 
Anteil von Frauen und Männern gleich hoch. Bei den restlichen mehr als siebzig Ideen 
kann weder das Geschlecht noch die Herkunft eindeutig entnommen werden.  
 
Durch die aufsuchende und inhaltlich offene Beteiligung versucht die Verwaltung, alle 
Menschen/ die gesamte Stadtgesellschaft zu erreichen. Insgesamt soll möglichst vielen 
sozio-kulturellen Gruppen der Stadtgese llschaft die Möglichkeit geboten werden, sich 
an dem un:box cologne Prozess zu beteiligen und eine neue Kultur des Mitmachens zu 
generieren. Daher wurden vier zentrale Dialog-Zielgruppen identifiziert.  
 
Stadtgesellschaft  
Die Kölner Stadtgesellschaft im Sinne von un:box cologne umfasst die Bürgerschaft, 
Institutionen, Wissenschaft und Wirtschaft. Sie ist die Ziel- und Nutzer*innengruppe des 
un:box cologne Prozesses. Sie hat ein potenzielles Interesse an un:box cologne, da sie 
selbst Ideen einbringt und entwickelt und an der Umsetzung von integrierten Maßnah-
men beteiligt ist. Durch vielfältig nutzbare un:box cologne Projekte kann sie selbst dazu 
beitragen, die Lebensqualität in Köln zu verbessern.

5 
 
 
Fachöffentlichkeit  
Mit Fa chöffentlichkeit werden alle Expert*innen und Organisationen der Fachgebiete 
bezeichnet, die un:box cologne tangieren. Diese Akteursgruppe setzt sich aus den Be-
reichen Wirtschaft, Wissenschaft und Zivilgesellschaft zusammen. Aus dem Bereich der 
Fachöffentlichkeit wurden LoI -Partner*innen gewonnen, die sich bereits in der Strate-
giephase des un:box cologne Prozesses aktiv eingebracht und ihr Engagement und die 
Beteiligung an der Umsetzung zugesagt haben.  
 
Politik  
Der Kölner Stadtrat ist die gewählte Vertret ung der Stadtgesellschaft. Er wird über die 
Fortschritte im lernenden Prozess un:box cologne regelmäßig unterrichtet. Er fällt die 
rahmengebenden Entscheidungen und beauftragt die Verwaltung nach Abschluss der 
Strategiephase A mit der Umsetzung des un:box cologne Prozesses. Die entsprechen-
den Fachausschüsse werden regelmäßig eingebunden.  
 
Stadtverwaltung und Stadtwerkekonzern Köln  
Die Stadtverwaltung Köln ist für die Umsetzung städtischer Aufgabenbereiche im Pro-
jekt zuständig und bildet die Schnittstelle zur Stadtgesellschaft. Durchgängig beteiligt 
ist die Stabsstelle Digitalisierung. Die Stabsstelle für Strategische Stadtentwicklung ist 
eine Hauptkooperationspartnerin. Sie ist für die Umsetzungssteuerung der Stadtstrate-
gie “Kölner Perspektiven 2030+” verantwortlich und kann die Projekte im gesamtstädti-
schen Kontext einordnen. Die Umsetzung konkreter Projekte mit Verwaltungsbeteili-
gung erfolgt über die jeweils zuständigen Fachämter/Dienststellen. Weitere wichtige 
Partner*innen innerhalb der Stadtverwaltung sind das Innovationsbüro und das Büro für 
Öffentlichkeitsbeteiligung sowie die Volkshochschule der Stadt Köln, um kommunale 
Services und Infrastrukturen bereitzustellen. Aus dem Stadtwerkekonzern Köln sind be-
sonders die Kölner Verkehrsbetriebe, die Rheinenergie AG und die Abfallwirtschaftsbe-
triebe beteiligt. 
 
 
Gez. Haack