Data Engineering: Aufbau von Datenpipelines und ETL-Prozessen

GFU Cyrus AG — bildet weiter.

Bereits 1980 als GFU Cyrus + Rölke mbH gegründet, zählt die GFU heute zu den renommiertesten IT-Schulungsunternehmen in Deutschland. Jedes Jahr besuchen mehrere tausend IT-Fachleute aus der gesamten Bundesrepublik unsere Seminare — in über 45 Jahren sind daraus mehr als 38.000 durchgeführte IT-Schulungen geworden.

Unser Programm

Mit über 4.250 Schulungsthemen decken wir das gesamte IT-Spektrum ab: von Administration über Softwareentwicklung, Datenbanken, Data Science und KI bis hin zu Cloud, Security und Betriebssystemen. Rund 50 Dozentinnen und Dozenten aus den verschiedensten IT-Bereichen stehen dafür mit einem außergewöhnlichen Maß an Fachkompetenz bereit — dieses Know-how bieten wir auch für Projektarbeit und Coaching an.

Unser Anspruch

Ob offenes Seminar, Firmenschulung oder Individualschulung: Unsere Teilnehmenden genießen den Rundum-Service der GFU — von der Anreise bis zur Abreise. Kleine Lerngruppen, hochqualifizierte Trainer und Fachbuchautoren, die auf individuelle Fragen eingehen, regelmäßige Pausen, gute Verpflegung und hochwertige 86"-Schulungs-Screens sind für uns selbstverständlich.

Maßgeschneiderte Weiterbildung

Sie wissen nicht, welches Thema zu Ihnen passt? Wie beim Maßschneider stellen wir gemeinsam mit Ihnen Ihr individuelles Schulungspaket zusammen — damit Ihre Weiterbildung auch nach Jahren noch perfekt sitzt.

Unsere Kunden

Zu unseren Kunden zählen Banken, Versicherungen, Handelskonzerne, Industrieunternehmen, Kommunen und öffentliche Einrichtungen aus dem gesamten deutschsprachigen Raum.

Digitale Nachweise mit OpenBadges

Mit der Ausstellung digitaler Badges über die OpenBadgeFactory machen wir erworbene Kompetenzen unserer Teilnehmenden sichtbar, verifizierbar und teilbar — ein weiterer Baustein, mit dem die GFU IT-Professionals auf ihrem Weg weiterbildet.

www.gfu.net

Seminarkatalog: www.gfu.net/seminare.html

Im Verlauf dieses Seminars erwerben die Teilnehmer Kenntnisse über den Design- und Implementierungsprozess von Datenpipelines und ETL-Prozessen. Sie lernen, wie Daten aus diversen Quellen extrahiert, gemäß bestimmter Geschäftsregeln transformiert und schließlich in Zielsysteme geladen werden. Zudem werden sie mit den typischen Herausforderungen bei der Datenintegration und den entsprechenden Lösungsansätzen konfrontiert. Durch eine Mischung aus theoretischer Unterweisung und praxisorientierten Übungen werden die Fähigkeiten der Teilnehmer gestärkt, um Datenpipelines effektiv zu konzipieren und umzusetzen.

• Grundlagen
  • Was ist Data Engineering?
  • Unterschied zwischen Datenintegration, Datenpipelines und ETL-Prozessen
  • Wichtige Begriffe und Konzepte
• Überblick über ETL-Prozesse
  • Was bedeutet ETL (Extraktion, Transformation, Laden)?
  • Wann und warum werden ETL-Prozesse benötigt?
• Datenmodelle und Datenbanken
  • Einführung in relationationale Datenbanken
  • NoSQL Datenbanken und deren Relevanz im Data Engineering
  • Datenmodellierung: Star-Schema, Snowflake-Schema, Denormalisierung
• Praktische Übung: Erste Schritte mit einer relationalen Datenbank (z.B. PostgreSQL)
• Extraktion von Daten
  • Datenquellen und ihre Typen
  • Tools und Techniken für die Datenextraktion
• Transformation von Daten
  • Bedeutung und Notwendigkeit der Datentransformation
  • Typen von Transformationen
  • Best Practices
• ETL-Tools im Überblick
  • Traditionelle ETL-Tools (z.B. Talend, Informatica)
  • Open-Source-ETL-Tools (z.B. Apache NiFi, Apache Airflow)
• Datenpipeline-Architektur
  • Design-Prinzipien für skalierbare Pipelines
  • Batch- vs. Echtzeitverarbeitung
  • Best Practices für Fehlerbehandlung
  • Leistungsoptimierungstechniken
• Cloud-basierte Datenpipelines
  • Vor- und Nachteile des Cloud-Computings
  • Übersicht über Cloud-Anbieter: AWS, Google Cloud, Azure
  • Migrationsstrategien: On-Premise zu Cloud
  • Sicherheitsaspekte in der Cloud
• Automatisierung und Orchestrierung
  • Bedeutung der Automatisierung im Daten-Engineering
  • Einführung in Orchestrierungstools: Apache Airflow, Prefect
  • Automatisierungs-Workflow-Design
  • Best Practices und Fallstricke
• Datenpipelines für Advanced Analytics und ML
  • Unterschied zwischen traditionellen Pipelines und ML-Pipelines
  • Einführung in Feature Engineering
  • ML-Model-Deployment und Inferenz-Pipelines
  • Monitoring und Versionierung von ML-Modellen
• Datenqualität und -bereinigung
  • Wichtigkeit der Datenqualität
  • Tools und Techniken zur Datenbereinigung
  • Datenvalidierung und -überprüfung
  • Fallstudien: Datenqualitätsprobleme und ihre Lösungen
• Sicherheit in Datenpipelines
  • Grundlagen der Datensicherheit
  • Datenverschlüsselung und Maskierung
  • Zugriffskontrolle und Authentifizierung
  • Sicherheitsbedrohungen und ihre Abwehr
• Daten-Governance und Compliance
  • Was ist Daten-Governance?
  • Rolle des Data Stewards
  • Datenschutz-Grundverordnung (DSGVO) und andere Vorschriften
  • Implementierung von Compliance-Maßnahmen
• Monitoring und Fehlerbehandlung
  • Überwachungstools und -strategien
  • Fehlererkennung und -behebung
  • Alarmierung und Benachrichtigungssysteme
  • Rückverfolgbarkeit und Audit-Trails Praktische Übung: Extraktion und Transformation von Daten mit einem ausgewählten ETL-Tool