Beitrag der Bundesregierung am Einsatz von KI-Lernplattform in Bundesländern
der Abgeordneten Dr. Petra Sitte, Nicole Gohlke, Gökay Akbulut, Clara Bünger, Anke Domscheit-Berg, Dr. André Hahn, Susanne Hennig-Wellsow, Jan Korte, Ina Latendorf, Cornelia Möhring, Petra Pau, Sören Pellmann, Martina Renner, Kathrin Vogler und der Fraktion DIE LINKE.
Vorbemerkung
Im Juni 2023 war der Fachpresse zu entnehmen, dass acht Bundesländer eine KI-gestützte (KI = Künstliche Intelligenz) Schulcloud zu entwickeln. Aus dem Haushalt für länderübergreifende Projekte soll die Bundesregierung 55 Mio. Euro für die Entwicklung des Systems beisteuern (https://www.heise.de/news/Reaktion-auf-ChatGPT-Acht-Bundeslaender-planen-Lernwolke-mit-KI-9152083.html?wt_mc=nl.red.ho.ho-nl-newsticker.2023-06-01.link.link).
Mithilfe von KI soll der Leistungsstand von Schülerinnen und Schülern ermittelt werden, um ihnen dann automatisiert Aufgaben zuzuweisen. Damit würde KI eine der Kernaufgaben von Pädagoginnen und Pädagogen übernehmen, obwohl es keine wissenschaftlich belastbaren Nachweise gibt, dass KI zu besserem Lernerleben und Lernergebnis führt, wie unter anderem die Sachverständige Prof. Dr. Doris Weßels in der Anhörung „ChatGPT: Europa darf den Anschluss nicht verpassen“ am 26. April 2023 äußerte (https://www.bundestag.de/ausschuesse/a18_bildung_forschung/oeffentliche_anhoerungen/941858-941858, Minute 2:16:40 bis 2:17:14) und was auch der Ethikrat in seiner Stellungnahme „Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz“ im März 2023 herausstellt (https://www.ethikrat.org/fileadmin/Publikationen/Stellungnahmen/deutsch/stellungnahme-mensch-und-maschine.pdf). Vielmehr gehen mit dem Einsatz von KI-Systemen im Bildungsbereich Risiken und Probleme einher, die aus anderen Einsatzkontexten der KI bekannt sind. So kann KI auch im Bildungsbereich diskriminieren und es ist vielfach nicht nachvollziehbar, wie eine KI zu ihren Ergebnissen kommt und Sprachmodelle geben fehlerhafte Informationen aus. Weiterhin ist das Kompetenzniveau seitens der Schulleitungen und Lehrkräfte zu KI in der Breite nicht ausreichend, um Möglichkeiten und Grenzen von KI-Systemen flächendeckend einschätzen zu können. Schließlich ist die Gesetzgebung zum Einsatz von KI noch nicht abgeschlossen und der Einsatz von KI-Systemen findet derzeit ohne ausreichende Rechtsgrundlage statt. Der auf der EU-Ebene in Verhandlung befindliche Gesetzestext der EU-Kommission, des Rates der Europäischen Kommission und des EU-Parlaments zur Regulierung von KI (KI-Verordnung) sehen derzeit nicht vor, dass KI-Anwendungen, die vor Inkrafttreten der KI-Verordnung im Einsatz sind, rückwirkend reguliert werden.
Außerdem kann intransparente und unregulierte KI ohne Wirkungsnachweis im Bildungsbereich Bildungsziele der digitalen Medienkompetenz unterwandern, indem von Lehrenden und Lernenden erwartet wird, diese Systeme mit fehlender Nachvollziehbarkeit und mit Diskriminierungsrisiken zu akzeptieren anstatt sie zu hinterfragen oder Systeme so gestalten zu können, dass sie den Anforderungen an eine Schule gerecht werden.
Eine KI-Lösung des im Praxistest zur geplanten Schulcloud eingebundenen Anbieters Area9 Lyceum wurde bereits in Sachsen-Anhalt getestet. Wie die Antwort auf eine Kleine Anfrage der Fraktion DIE LINKE. im Landtag Sachsen von 2021 zeigt, fehlten den zuständigen Entscheidenden sowohl bei der Auswahl und Beurteilung des Systems, seiner Datenquellen und seiner Zuverlässigkeit die nötigen Fachkompetenzen. Der Evaluationsbericht wurde unter Verschluss gehalten (https://padoka.landtag.sachsen-anhalt.de/files/drs/wp8/drs/d0307dak.pdf).
Die Standorte des Unternehmens Area9 Lyceum unter anderem in den USA sowie der Einsatz des Large Language Models ChatGPT, dessen Entwickler ebenfalls ein amerikanisches Unternehmen ist, lassen den Rückschluss zu, dass der Datenschutz gemäß der Datenschutz-Grundverordnung (DS-GVO) für die geplante Cloud nicht gewährleistet werden kann.
Die Schulcloud soll auch in bereits niedrigen Klassenstufen eingesetzt werden, das bedeutet, dass auch Minderjährige den beschriebenen Nachteilen und Risiken unterliegen, obwohl Kinder und Jugendliche einer besonderen Fürsorgepflicht seitens des Staates unterliegen.
Wir fragen die Bundesregierung:
Fragen16
In welchem Haushaltstitel hat die Bundesregierung die geplanten Kosten in Höhe von 55 Mio. Euro für die Entwicklung der KI-gestützten Schulcloud eingestellt?
Werden Haushaltsmittel, die ursprünglich für die Nationale Bildungsplattform vorgesehen waren, für die KI-gestützte Schulcloud eingeplant, und wenn ja, in welcher Höhe?
Welchen finanziellen Beitrag leisten die Länder jeweils für die Entwicklung der KI-gestützten Schulcloud?
Welche Haushaltsmittel sind für die Erhaltung der HPI-Schulcloud (HPI = Hasso-Plattner-Institut) für den Haushalt 2024 eingeplant?
Werden Haushaltsmittel, die ursprünglich für die HPI-Schulcloud vorgesehen waren, für die KI-gestützte Schulcloud eingeplant?
Welche weiteren Clouds für Bildungszwecke werden im kommenden Haushalt finanziert (bitte nach Cloudnamen und Höhe der Haushaltsmittel aufschlüsseln)?
Welche Ziele soll die Entwicklung der KI-gestützten Schulcloud erreichen?
Auf Basis welcher Erkenntnisse oder wissenschaftlichen Ergebnisse stützt die Bundesregierung die Annahme, dass die geplante KI-gestützte Schulcloud diese Ziele erreichen wird?
Wird der Anbieter Area9 Lyceum die KI-Lösung in der geplanten Schulcloud bereitstellen, wenn ja, welche Lösung wird das sein, und wenn nein,
a) in welcher Art und welchem Umfang wird seitens der Bundesregierung welcher externe Sachverstand bei der Vergabe der KI-Lösung für die geplante Schulcloud eingebunden,
b) welche Zielsetzungen, Gütekriterien u. a. an die Datenqualität und Datenherkunft sowie welche ethischen Anforderungen an das System werden in der Vergabe durch die beteiligten Schulen, die Schulträger und/oder die beteiligten Länder formuliert,
c) welche KI-Verfahren sollen in der geplanten Schulcloud zum Einsatz kommen, und wird die Schulcloud nach bisherigem Verhandlungsstand unter die Definition der geplanten KI-Verordnung entweder in der Allgemeinen Ausrichtung des Rates der EU-Kommission oder im Vorschlag des EU-Parlaments fallen,
d) wer beurteilt in welchem Verfahren, ob das ausgeschriebene KI-Verfahren für das zu erreichende Ziel der Schulcloud geeignet ist,
e) wie stellt die Bundesregierung sicher, dass die Auswahl- und Entscheidungsprozesse des gewählten Systems für einzelne Lehrkräfte, Schülerinnen und Schüler, die Schule, den Schulträger oder das jeweilige Land nachvollziehbar und reproduzierbar sind,
f) welchen Einfluss sollen die Ergebnisse des KI-Systems auf die Bewertung, Versetzung oder Beurteilung der teilnehmenden Schülerinnen und Schüler haben,
g) wie und durch wen kann im Einsatz des KI-Systems fortlaufend die Entscheidungsgüte und Diskriminierungsfreiheit des trainierten Modells kontrolliert werden,
h) welche Maßnahmen zur IT-Sicherheit fordert die Bundesregierung von möglichen Anbietern der zu vergebenden KI-Lösung?
Welche Erkenntnisse liegen der Bundesregierung aus bisherigen Pilotprojekten mit einer Lösung des Anbieters Area9 Lyceum vor, beispielsweise aus dem Land Sachsen-Anhalt, und welche Schlüsse zieht die Bundesregierung aus diesen Erkenntnissen?
Sind die Erkenntnisse aus bisherigen Tests öffentlich zugänglich, und wenn nein, warum nicht?
Welcher Art werden die erhobenen Daten der Schülerinnen und Schüler sein, die bei Nutzung der geplanten Schulcloud verarbeitet werden, beispielsweise Texteingaben, Zeitstempel, biometrische Daten?
a) Sind die Daten der Schülerinnen und Schüler anonymisiert oder pseudonymisiert?
b) Wie wird seitens des Unternehmens sichergestellt, dass kein Personenbezug der Daten herstellbar ist?
Welche Fort- und/oder Weiterbildungsmaßnahmen sind für wen vorgesehen, um die Möglichkeiten und Grenzen von KI-Systemen im Bildungssektor kennenzulernen und zu verstehen?
Wann, und auf welche Art und Weise wurde der Bundesdatenschutzbeauftragte in das Testverfahren mit dem Anbieter Area9 Lyceum einbezogen?
Wenn der Bundesdatenschutzbeauftragte einbezogen wurde, wie lautet seine Bewertung des Tests, des genutzten Systems und des Unternehmens Area9 Lyceum?
Welche Möglichkeiten haben der Bund oder die Länder, die die Schulcloud nutzen wollen, die Speicherung, Verarbeitung und den Personenbezug der Daten zu kontrollieren?
Wann werden die erhobenen Daten gelöscht, und wie kann der Bund oder die jeweilige Landesregierung die Löschung kontrollieren?
Für welche Fächer wird die Schulcloud nutzbar sein?
a) Werden neue Inhalte für die Schulcloud generiert oder werden Inhalte aus dem Lehrplan für das KI-System nutzbar gemacht, und wenn ja, in welcher Art und Weise?
b) Welche Einrichtung stellt die Lerninhalte für das KI-System zur Verfügung, und in welcher Weise und durch wen wird die Zulieferung und gegebenenfalls Anpassung der Inhalte pädagogisch-didaktisch kontrolliert?
Welche Folgekosten werden dem Bund und den beteiligten Ländern während des Einsatzes, der Beobachtung und Evaluierung bei der Nutzung der Schulcloud pro Jahr entstehen?
Wann plant die Bundesregierung, eine Verlängerung des Digitalpakts oder einen Digitalpakt II zu verabschieden?