Data Engineering Empfehlungen: 10 Critical Burns von 4 Experten Tags

Die Welt des Data Engineering bietet jeden Tag eine neue Herausforderung mit sich ständig verändernden Tools und komplexen Architekturen. Mehr als 174 Tausend Mitglieder r/Dataengineerin g Die Community ist eine der wichtigsten Plattformen, die den Puls der Branche hält. Dateningenieure suchen nach Antworten auf viele grundlegende Fragen, von der Verwaltung der Datenqualität bis hin zur täglichen Vorbereitung von Interviews.

Vier ältere Namen, die in der Nähe der Technologiewelt erkannt wurden; Ben Rogojan (SeattleDataGuy)Tags Julien HuraultTags Meh Meh und Simon Spätigemeinsam Reddits am meisten diskutierte Themen wurden auf den Tisch gelegt. Die Data Engineering-Beratung aus diesem Round Table-Meeting ist ein technischer Leitfaden für Fachleute, die sowohl ihre Karriere als auch ihr Niveau überspringen möchten. Hier sind 10 kritische Fragen und Antworten von Experten-Subunternehmern:

1. Wie haben Sie heute eine Bewerbung vorbereitet?

Data Engineer Interviewprozesse sind nicht mehr auf Fahrzeuginformationen beschränkt. Experten, "Neue Generation Interviewvorbereitung" Für:

• Fokus auf Company Stack: Mehdi betont, wie wichtig es ist, den technischen Stapel (Stack) des Antragstellers zu verstehen. Grundprinzipien auch wenn Sie die Werkzeuge kennen (Welches Problem löst dieses Tool?) Du solltest dich darauf konzentrieren.
• Trockene Konzeptbrücken: Julien, wenn Sie Iceberg kennen, aber wenn das Unternehmen Delta Lake verwendet, schlägt es vor, dass Sie die Diskussion auf gemeinsame Konzepte hinter diesen Tools umleiten.
• Praktische Projekte: Simon, im Lebenszyklus von Data Engineering Home (Eintrag, Transformation, Serving) Wählen Sie für jede Phase ein Tool aus und empfehlen Sie, ein Demoprojekt mit einem Datensatz zu entwickeln, den Sie interessieren.

2. 2. Wie beginne ich mit Datenqualität Niemand möchte investieren?

Datenqualitätsmanagement ist ein Kampf, der nicht endet, weil diejenigen saubere Daten wollen, aber keine Ressourcen enthalten.

• WAP-Technik: Mehdi schlägt "Write, Audit, Publish" (Print, Denetle, Broadcast) vor. Nachdem Sie die Daten zuerst geschrieben und grundlegende Tests durchlaufen haben, ist es gut, schlechte Daten überhaupt zu liefern.
• Beeindruckende Entwicklung: Julien argumentiert, die Qualität schrittweise zu erhöhen, indem neue hinzugefügt werden, die mit kleinen Tests und Systemfehlern beginnen.
• Business Association: Simon und Ben sprechen über die Bedeutung der Rede mit Geschäftseinheiten. Es ist notwendig, nicht zu arbeiten, um den Ocyanus zu kochen, ohne zu verstehen, welche Daten kritisch sind, so dass es notwendig ist, sich nur auf die primären Datensätze zu konzentrieren.

Wie verteidigen Sie traditionelle Datenlager, wenn alle Lakehouse sagen?

Auch im Zeitalter von künstlicher Intelligenz und Big Data wird der Standort traditioneller Methoden nicht erschüttert.

• Managed Service Practice: Julien empfiehlt die Verwendung des besten Managed Service (Data Warehouses für den Moment), um eine schnelle Ausgabe mit eingeschränkten Ressourcen zu erzielen.
• Nutzenorientierung: Simon und Ben argumentieren, dass Architektur nicht auf Trends basiert, sondern auf der Notwendigkeit. Wenn es Ihr Ziel ist, KPI-Berichte mit 500 GB Daten zu versorgen, ist ein traditionelles Data Warehouse immer noch die zuverlässigste und schnellste Lösung.

4. Wie man Pipeline-Änderungen verwaltet, ohne zu stören?

Schemaänderungen, der größte Dateningenieur "Stimme" Feind.

• Nicht verpassen: Julien geht gegen automatisches Bohren (Auto-Evolution). Es schlägt vor, dass Änderungen manuell und klar durchgeführt werden.
• Mitteilungen und Verträge: Mehdi und Simon sagen, dass es kein Werkzeug ist, sondern ein menschliches Problem. Es ist die robusteste Lösung, um einen Netzkommunikationskanal oder "Datenverträge" (Datenverträge) einzurichten.
• Kontrollpunkte: Ich empfehle das Hinzufügen von Checkpoints, die im Falle eines Säulenhubs einen Pipelinefehler verursachen.

5. Wie man Balance einrichtet, wenn jeder Echtzeit und AI unterstütztes Dashboard will?

"Hemen und Echtzeit" Die Erwartung wird oft nicht mit technischen Fakten abgedeckt.

• Fragen Sie Ihren Bedarf: Mehdi gibt an, dass die meisten seiner Stakeholder die gleichen Entscheidungen mit 10 Minuten oder Stundendaten treffen können, der Echtzeitbedarf wird auf 90% zurückgeschoben.
• Schnellstart: Julien und Simon empfehlen, zuerst einen langsamen, aber laufenden MVP zu liefern und die Komplexität nur bei Bedarf zu erhöhen.

6. Was tun, wenn ein komplexer Stack verheerend ist?

Eine undokumentierte Infrastruktur zu überwinden, ist einer der schwierigsten Tests des Data Engineering.

• Berühren Sie den Mitarbeiter nicht: Juliens Motto ist klar: "Berühren Sie, was heute funktioniert." Passen Sie zuerst die Funktionalität an und starten Sie dann den Mehrwert.
• Analyse vom Hügel: Ich empfehle, zuerst mit den Benutzern zu sprechen und die Geschäftslogik zu verstehen und dann in die Tiefe des Codes einzudringen. Simon empfiehlt, das System vorher auszuführen, auch wenn die verwendeten Tools nicht mehr aktualisiert werden, und eine schrittweise Verbesserung zu planen.

7. Linux Fähigkeiten Wie viel notwendig und wie man lernt?

Trotz Cloud-Systemen ist Linux weiterhin das Rückgrat der Datentechnik.

• Lernen am Arbeitsplatz: Alle Experten geben an, dass Dateimanagement und Automatisierung im Terminal mit Bash die Grundlagen sind.
• Vim Zulassung: Simon und ich lernen Vim (oder Neovim) zum Bearbeiten von Dateien im Terminal und vor allem "Wie man das Vim verlässt" Es ist wichtig, erinnert Sie aber mit einer ernsthaften Sprache.

8. Wie bekomme ich das "Excel"? Ersuchen?

Während es moderne Dashboards gibt, kann Excel eine Entzunderung sein, um die Anfrage zu hören, aber Experten sehen anders aus.

• Excel akzeptieren: Simon und Julien, ein Excel „win-win Als Chance. Benutzer können die tatsächlichen Anforderungen verstehen, indem sie komplexen Logiken folgen, die in Excel festgelegt sind, und Sie können diese Logik in Ihre Pipeline integrieren.

9. So sparen Sie Cloud-Kosten (Cloud-Kosten)

InOps ist zu einem festen Bestandteil des modernen Data Engineering geworden.

• Kennen Fußerlaubnis: Mehdi sagt, wie viele Pipelines am Tag funktionieren und die Optimierung, welche Datensätze verwendet werden, ist einfacher.
• Technische Verbesserung: Ich schlage vor, langfristige Abfragen zu optimieren, unnötige Ansichten zu entfernen und Verkäuferpreise zu verhandeln.

10. Was ist der einzige Tipp, um einen Data Engineer "besser" zu machen?

Experten fassen die größten Lektionen, die ihre Karriere prägen, wie folgt zusammen:

• Datum: Verlassen Sie Ihren Komfortbereich und sprechen Sie mit Stakeholdern (Software, Geschäftsteams).
• Julien: Akzeptieren Sie, dass Systeme verschlechtert werden und "Behinderung" (Rückgewinnungsfähigkeit) Design für.
• Simon: Konzentrieren Sie sich auf die Datenmodellierung und hören Sie auf die Neugier der Geschäftsanwender.
• I: Nicht nur Trends folgen; betrachten Sie die einfachste und effektive Lösung, anstatt riesige Werkzeuge für jedes Problem zu verwenden.

Data Engineering Laufbahnpfad Schreiben Sie nicht nur Code, sondern auch das Verständnis von Menschen, Geschäftsanforderungen und Daten. Kombiniert mit der technischen Tiefe und dem praktischen Angebot werden alle Arten von komplexen Datenstrukturen überschaubar.