Data Engineering

Reporting, dem dein Team traut, weil sich die Pipeline darunter prüfen lässt.

Wenn zwei Dashboards zwei verschiedene Umsatzzahlen zeigen, liegt es selten am Diagramm. Wir bauen Ingestion, Datenmodelle und Qualitätsprüfungen hinter deinem Reporting, damit sich jede Zahl bis zur Quelle zurückverfolgen und neu berechnen lässt, wenn sich die Quelle ändert.

Data-Engineering-Umfang besprechen →

KURZ ERKLÄRT

Data Engineering macht aus Rohexporten, Datenbanken und APIs modellierte, geprüfte Tabellen und die Dashboards darauf. Dieser Auftrag umfasst vereinbarte Quellen, ein Warehouse-Modell, Qualitätsprüfungen und Reports, mit dokumentierten Wiederholungsläufen und Zuständigkeiten.

Passt für

  • Teams, deren Reporting in Tabellen, manuellen Exporten oder widersprüchlichen Dashboards steckt
  • Produkt- oder Operations-Teams, die eine klare Menge an Kennzahlen belastbar vertreten müssen

Eine andere Leistung passt besser

  • Einen Live-Datensatz von einem Geschäftssystem in ein anderes übertragen
  • Ein Chat-Assistent, der Fragen aus internen Dokumenten beantwortet

Bei der Entscheidung anfangen, nicht beim Tool

Wähl den Report, an dem eine echte Entscheidung hängt, und arbeite dich zu den Quellen zurück, die er braucht. So bleibt der erste Umfang begrenzt und prüfbar. Eine Bestellung oder einen Kundendatensatz zwischen operativen Systemen zu übertragen ist API-Integration; hier geht es um die analytische Kopie, die aus diesen Systemen entsteht. Eine Chat-Oberfläche über interne Dokumente gehört zum internen KI-Assistenten.

Was eine Pipeline über einen geplanten Job hinaus braucht

Ein Dashboard ist nur so verlässlich wie der Weg, der es füttert. Wir definieren jede Schicht anhand deiner echten Quellen und Datenmengen und wählen das Warehouse (oft schlicht Postgres, manchmal ein verwaltetes Cloud-Warehouse) danach, was dein Team betreiben kann.

Ingestion, die Wiederholungen übersteht

APIs, Datenbanken und Dateiexporte idempotent laden, damit ein doppelter Lauf keine Zahl verdoppelt. Die Rohkopie bleibt erhalten, damit sich ein Modell nach einer Korrektur neu aufbauen lässt.

Modelle mit schriftlichen Definitionen

Festlegen, was ein aktiver Kunde, eine Nettobestellung oder ein gekündigter Account ist, und das einmal abbilden. Jeder Report liest dieselbe Definition.

Qualitätsprüfungen, die schlechte Daten stoppen

Zeilenzahlen, Pflichtfelder, Einheiten und Schemaänderungen beim Laden prüfen. Benennt ein Anbieter still eine Spalte um, schlägt eine Prüfung fehl, statt dass sich ein Diagramm verschiebt.

Dashboards, die wirklich geöffnet werden

Die vereinbarten Reports in einem BI-Tool bauen, das dein Team schon lizenziert hat oder das wir empfehlen, mit Filtern und Drill-downs, die zu den Fragen im Business passen.

Beispielhafte Abnahme: ein abweichender Export wird erkannt

Synthetisches Beispiel, kein Kundenergebnis: Ein Lieferantenexport kommt mit umbenannter Spalte und geändertem Datumsformat. Die Ladeprüfung weist die Datei ab, das bisherige Modell bleibt bestehen und die zuständige Person bekommt eine verständliche Meldung. Nach korrigiertem Mapping läuft dieselbe Datei erneut und die Summen stimmen mit der Quelle überein. Festgehalten werden Datei, Prüfung, erwartetes und tatsächliches Ergebnis und wer die Korrektur abgenommen hat.

Analysieren, bauen und in Phasen übergeben

Jede Phase wird vor Beginn abgegrenzt und angeboten. Die Analyse kannst du mit deinem eigenen Team nutzen oder die Umsetzung beauftragen.

  1. Analyse

    Du bekommst ein Quelleninventar, die strittigen Kennzahl-Definitionen, Befunde zur Datenqualität und einen priorisierten Backlog für Modelle und Reports.

  2. Umsetzung und Abnahme

    Du bekommst die vereinbarten Pipelines, Modelle, Prüfungen und Dashboards in deiner Umgebung, getestet mit repräsentativen Daten und abgenommen von einer benannten Person.

  3. Weitere Betreuung

    Neue Quellen, Kennzahlen und Reports werden gesondert mit Umfang und Reaktionszuständigkeiten vereinbart. Das begründet keine 24/7-Abdeckung und kein Verfügbarkeits-SLA.

Bring Zugriff, Beispiele und die Person, der die Zahl gehört

Wir brauchen Lesezugriff auf die vereinbarten Quellen (oder repräsentative Exporte), die Reports, die du heute nutzt, die Fragen, die sie nicht beantworten, die erwartete Datenmenge und den Aktualisierungstakt sowie eine zuständige Person pro Kennzahl-Definition. Personenbezogene Daten werden in der analytischen Kopie minimiert oder pseudonymisiert, soweit die Reports das zulassen. Wer welchen Report sehen darf, wird vor dem ersten Live-Dashboard vereinbart.

Dein Warehouse, deine Definitionen, dein Code

Pipelines, Modelle und Dashboard-Definitionen liegen in deinem Repository und deinen Accounts. Die Übergabe erklärt, wie du eine Quelle ergänzt, einen Ladelauf wiederholst und was bei einer fehlgeschlagenen Prüfung zu tun ist. Kommen die Daten von Feldgeräten oder Maschinen, wird die Telemetrie-Seite unter Industrial IoT abgegrenzt und in dasselbe Warehouse übergeben.
// beweise

Datenarbeit in bestehenden Engineering-Projekten

Bond Analytics dokumentiert einen geprüften Excel-Ingestion-Pfad mit idempotenten Wiederholungsläufen, ein Postgres-Schema auf Basis von Snapshots und ein React-Dashboard. MyMerch dokumentiert individuelle operative Dashboards über seine Shopify-Stores. Beide zeigen die veröffentlichte Daten- und Reporting-Arbeit, kein Versprechen desselben Ergebnisses für deine Quellen.

Anleihen-Analytics-Plattform

Live
2 Monate Von 0 zu Enterprise

Institutionelle Anleihen-Analyseplattform, Null zu enterprise-tauglich in 2 Monaten; mehrere Runden eingeworben.

NestJS React Typescript
ENTERPRISE 2022

MyMerch

Live
~50% Effizienzgewinn für das MyMerch-Team

Das MyMerch-Team beziffert den Effizienzgewinn auf ~50%. Weniger Auslieferungsfehler, höhere Shopify-Conversion, ohne Rewrite.

Shopify Shopify Liquid JavaScript
ENTERPRISE 2023-2026

Das sind ausgewählte Projekte, nicht unser gesamtes Portfolio. Seit 2018 haben wir 100+ Produkte ausgeliefert.

Fragen vor dem Start

Nicht automatisch. Viele Reporting-Anforderungen passen in eine gut modellierte Postgres-Datenbank. Ein verwaltetes Warehouse lohnt sich bei großen Datenmengen, vielen gleichzeitigen Nutzern oder vielen Ad-hoc-Abfragen. Wir empfehlen eines, nachdem wir Quellen und Abfragemuster gesehen haben.
Am liebsten das, das dein Team schon lizenziert hat und kennt. Gibt es keines, vergleichen wir ein paar Optionen nach Kosten, Zugriffskontrolle und Pflegeaufwand und empfehlen dann eines.
API-Integration überträgt einen operativen Datensatz, damit ein anderes System damit arbeiten kann. Data Engineering kopiert und modelliert Daten, damit Menschen sie auswerten können. Beide können dieselbe Quelle nutzen; Zuständigkeit, Aktualität und Fehlerbehandlung unterscheiden sich.
Ja. Viele echte Pipelines beginnen genau dort. Wir prüfen jede Datei beim Laden und machen Wiederholungsläufe sicher, damit ein verspäteter oder korrigierter Export die Historie nicht verfälscht.
Das klären wir vor der Übergabe. Dein Team kann sie mit unserer Dokumentation selbst betreiben, oder laufende Betreuung wird gesondert vereinbart. Ein stillschweigendes Abo ist das nicht.

Der passende nächste Schritt

Data-Engineering-Umfang besprechen

Nenn die Quellen, den Report, den du brauchst, und die Zahl, der gerade niemand traut. Beschreib die Daten, schick sie nicht mit. Exporte mit Kundendaten gehören nicht in die erste Nachricht.

Data-Engineering-Umfang besprechen →