Lak Lakshmanan, der Autor des Artikels, wird am 13. November 2025 die Keynote auf der Konferenz „Data Engineering in the Age of AI“ halten. Er spricht darüber, warum agentische künstliche Intelligenz (KI) das Data Engineering erschüttert und wie sich die Arbeit von Data Engineers verändert. Dieser Text vertieft seine Gedanken und erläutert die technologischen Veränderungen, die dafür verantwortlich sind. Stellen Sie sich vor, Daten wären nicht mehr nur rohe Zahlen in Tabellen, sondern etwas, das KI direkt verstehen und nutzen kann. Lak Lakshmanan beschreibt, wie sich die Art und Weise verändert, in der Menschen mit Daten arbeiten. Früher entwickelten Softwareingenieure und Data Scientists Anwendungen und Dashboards für technisch nicht versierte Benutzer. Diese nutzten sie dann lediglich passiv und nach festgelegten Abläufen. Data Engineers stellten die Daten in den exakten Formaten bereit, die diese Anwendungen benötigten.
Jetzt erhalten technisch nicht versierte Benutzer direkten Zugriff auf die Daten. Sie können per „Vibe Coding“ eigene, exakt auf ihre Bedürfnisse zugeschnittene Werkzeuge erstellen. Anwendungen gehen über ein bloßes Chatfenster hinaus – sie integrieren natürliche Sprache mithilfe von Frameworks wie CopilotKit. Entwickler betten KI-Agenten in Anwendungen ein, wobei jede Backend-API dem Agenten als Werkzeug dient. Eine weitere Veränderung betrifft den Schwerpunkt. Früher waren die Daten riesig, sodass die Berechnungen zu ihnen verlagert wurden, um keine großen Datenmengen übertragen zu müssen. Heute bilden Frontier-KI-Modelle (wie große Sprachmodelle, LLMs) das neue Zentrum. Anwendungen werden um sie herum entwickelt. Statt eigene Berechnungen zu den Daten zu bringen, nutzen KI-Anwendungen LLMs als Motor, um die Absicht des Benutzers zu verstehen, über die Aufgabe nachzudenken und Werkzeuge für Aktionen aufzurufen. All das stellt die Arbeit von Data Engineers auf den Kopf. Lak Lakshmanan nennt fünf Grundsätze, um Daten für KI vorzubereiten.
1. Überdenken Sie ETL/ELT
Data Engineers investieren heute viel Aufwand in die Normalisierung von Daten, die Erstellung sauberer Schemata und Transformationspipelines. Das Ziel besteht darin, die Daten für Analysten und nachgelagerte Anwendungen verständlich zu machen. Das bedeutet nicht, dass ETL/ELT (Extraktion, Transformation, Laden) seinen Sinn verliert – die Verfügbarkeit von Daten bleibt entscheidend. Agenten können jedoch Schemata interpretieren, Beziehungen verstehen und ohne umfangreiche Vorverarbeitung mit Daten in unterschiedlichen Formaten arbeiten.
Lak Lakshmanan warnt davor, bestehenden Tabellen lediglich einen Datenkatalog und MCP-Server hinzuzufügen – dies unterschätzt die Fähigkeiten agentischer Technologie und erschwert KI-Agenten die Arbeit. KI-Agenten verstehen Daten im Kontext. Sie benötigen nicht alles im Voraus in starre Schemata normalisiert. Mit zunehmender Anzahl von Tabellen haben heutige Agenten Schwierigkeiten, SQL für Verknüpfungen korrekt zu interpretieren und zu schreiben. Zudem steigt mit einer größeren Zahl enger Datenausschnitte das Risiko von Überschneidungen und Mehrdeutigkeiten. Beispielsweise kann die Spalte „Kredithöhe“ in einer Tabelle den vom Kreditnehmer beantragten Betrag bezeichnen, in einer anderen hingegen den vom Kreditgeber ausgezahlten Kapitalbetrag. Je stärker Daten aufbereitet, normalisiert und erweitert werden, desto mehr Kontext geht verloren.
Behalten Sie Workflows für die Datenverfügbarkeit bei, hinterfragen Sie jedoch jeden Normalisierungsschritt. Kann ein Agent die Daten mit gutem Kontext verstehen, anstatt dass sie transformiert werden müssen? Statt einer einzelnen Zahl für den Kapitalbetrag könnte dies ein Absatz aus dem ursprünglichen Term Sheet oder Finanzierungsmemorandum sein, der die Tranchen der Auszahlung erläutert. Beschränken Sie sich bei KI-Agenten nicht nur auf unstrukturierte Daten – es ist einfach, RAG (Retrieval-Augmented Generation) auf PDFs, E-Mails usw. anzuwenden, doch die wirklich handlungsrelevanten Daten in einer Organisation sind häufig strukturiert.
2. Priorisieren Sie die Datenkuratierung gegenüber der Datensammlung
Kontextlernen macht die Kuratierung wichtiger als das Sammeln. Im Zeitalter von Big Data bestand das Ziel darin, so viel wie möglich zu sammeln, da maschinelles Lernen riesige Datensätze benötigte und mehr Daten bessere Modelle bedeuteten.
KI-Agenten basieren jedoch auf Kontextlernen, bei dem Sie ein oder zwei Beispiele in den Prompt einfügen. Das LLM kann diese nachahmen, unabhängig davon, ob es sich um einen Prozess (Chain of Thought) oder ein Format beziehungsweise einen Stil (Few-shot Learning) handelt. Mit dem Aufkommen des Kontextlernens ist die Qualität der Beispiele wichtiger als ihre Menge. Die Daten, die Sie dem Agenten als Beispiel zeigen, prägen, wie er ähnliche Daten versteht. Möglicherweise werden Sie einen „Example Store“ erstellen und Beispiele für bestimmte Arten von Benutzeranfragen auswählen. Mit der wachsenden Bedeutung der Kuratierung müssen Data Engineers Werkzeuge entwickeln, um die hochwertigsten Daten sowie vollständige, präzise und repräsentative Beispiele zu identifizieren, diese Beispiele regelmäßig an veränderte Standards anzupassen und zu überprüfen, ob die kuratierten Daten als effektive Beispiele für das Lernen der Agenten dienen.
3. Bauen Sie eine agentenfähige Infrastruktur auf
KI-Agenten benötigen eine Infrastruktur, die zwei grundlegende Fähigkeiten unterstützt: Daten wahrzunehmen und auf ihrer Grundlage zu handeln. Nicht alle Datenformate sind für Agenten auf Basis von Sprachmodellen gleichermaßen zugänglich. Berücksichtigen Sie, wie einfach ein Agent Ihre Formate parsen und verstehen sowie ihnen Bedeutung entnehmen kann. Formate, die die semantische Bedeutung bewahren und nur minimale Vorverarbeitung erfordern, reduzieren Reibungsverluste.
KI-Agenten handeln durch das Aufrufen von Werkzeugen – Funktionen, APIs und Diensten, mit denen sie Daten verarbeiten können. Die Infrastruktur muss diese Werkzeuge für Agenten auffindbar und nutzbar machen. Das bedeutet klare Schnittstellen, eine gute Dokumentation und eine zuverlässige Ausführung. Prüfen Sie Datenzugriffsmuster und Werkzeuge aus der Perspektive eines KI-Agenten. Was müsste ein autonomes System wissen, um sie effektiv einzusetzen? Wo gibt es Reibungspunkte, die einen reibungslosen Betrieb behindern?
4. Verwalten Sie Agentenartefakte als Daten erster Klasse
KI-Agenten konsumieren Daten nicht nur, sondern erzeugen sie auch. Lak Lakshmanan merkt an, dass KI-generierte Inhalte die „Rohdaten“ in Systemen schon bald deutlich überwiegen werden. Wenn ein Agent eine Ausgabe generiert, Entscheidungen trifft, Code schreibt oder seinen Denkprozess protokolliert, wird dies zu Daten.
Unabhängig davon, ob Inhalte von Menschen erstellt, aus Softwaresystemen gesammelt oder von KI-Agenten generiert wurden, müssen sie die in der jeweiligen Branche üblichen Erwartungen und Vorschriften erfüllen. Neben der Einhaltung von Vorschriften sind diese Daten wertvoll für die Fehlerbehebung, für Audits, das Training künftiger Agenten und das Verständnis des Systemverhaltens. Behandeln Sie Agentenartefakte ebenso sorgfältig wie andere Daten: Speichern Sie Ausgaben systematisch; bewahren Sie Entscheidungsprotokolle und Denkspuren auf; verwalten Sie generierten Code als versionierte Artefakte; machen Sie diese Daten für Analysen und künftiges Training zugänglich. Diese Artefakte werden Teil des Datenökosystems. Gestalten Sie Speicher- und Zugriffsmuster entsprechend.
5. Verknüpfen Sie Beobachtung und Training
Der schnellste Weg zu besseren Agenten besteht darin, den Kreislauf zwischen Beobachtbarkeit und Training zu schließen. Die Infrastruktur für KI-Agenten benötigt bidirektionale Pipelines, die Modellleistung und Beobachtbarkeit mit kontinuierlichem Training rückkoppeln.
Zunächst benötigen Sie eine Beobachtbarkeitsplattform, die Metriken zur Datenqualität verfolgt und Datendrift (Veränderungen der Merkmale von Eingabedaten) sowie Konzeptdrift (Veränderungen der Beziehung zwischen Eingabe und Ausgabe) erkennt. Gleichzeitig überwacht sie wichtige Kennzahlen der Modellleistung wie Genauigkeit, Latenz und Halluzinationsrate. Richten Sie automatische Auslöser für vordefinierte Schwellenwerte ein. Die Beobachtbarkeitsplattform wird zudem um menschliches Feedback erweitert. Jede Korrektur, die Benutzer an generierten Inhalten vornehmen, wird protokolliert und zur Verbesserung der KI-Modelle genutzt.
Darüber hinaus benötigen Sie eine Pipeline für das erneute Training, die durch einen Auslöser des Monitorings aktiviert wird. Sie muss vollständig automatisiert sein, die neueste Version der kuratierten Trainingsdaten abrufen, einen Auftrag zum erneuten Training oder Fine-Tuning des Modells starten und das neue Modell einer umfassenden Reihe von Evaluierungen und Regressionstests unterziehen. Der Aufbau dieses geschlossenen Systems, das die Leistungsüberwachung direkt mit der automatisierten Bereitstellung verbindet, ist eine zentrale Aufgabe für ML- und Data Engineers im agentischen Zeitalter.
