Recommandations techniques : 10 brûlures critiques de 4 experts Tags

Le monde de l'ingénierie des données offre chaque jour un nouveau défi avec des outils en constante évolution et des architectures complexes. Plus de 174 000 membres r/dataengineerin g La communauté est l'une des plateformes les plus importantes qui gardent le pouls de l'industrie. Les ingénieurs de données cherchent des réponses à de nombreuses questions de base, de la façon de gérer la qualité des données, comment préparer les entrevues chaque jour.

Quatre grands noms reconnus près du monde de la technologie; Ben Rogojan (SeattleDataGuy)Étiquettes Julien HuraultÉtiquettes Méh Meh et Simon Spätiensemble Les sujets les plus discutés ont été mis sur la table. Les conseils d'ingénierie de données de cette table ronde est un guide technique pour les professionnels qui veulent sauter à la fois leur carrière et leur niveau. Voici 10 questions critiques et réponses d'experts :

1. Comment avez-vous préparé votre candidature aujourd'hui?

Les processus d'entrevue des techniciens de données ne se limitent plus à l'information sur les véhicules. Experts, "Préparation d'entretiens de nouvelle génération" Pour:

• Concentrez-vous sur la pile d'entreprise : Mehdi souligne l'importance de comprendre la pile technique du demandeur. Principes de base même si vous connaissez les outils (Quel problème cet outil résout-il?) Tu devrais te concentrer.
• Ponts conceptuels secs : Julien, si vous connaissez Iceberg, mais si l'entreprise utilise Delta Lake, elle suggère de réorienter la discussion vers des concepts communs derrière ces outils.
• Projets pratiques: Simon, dans le cycle de vie de l'ingénierie des données (isolation, transformation, service) Sélection d'un outil pour chaque étape et vous recommande de développer un projet de démonstration avec un ensemble de données qui vous intéresse.

2. Comment commencer par la qualité des données Personne ne veut investir?

La gestion de la qualité des données est une lutte qui ne prend pas fin en raison de ceux qui veulent des données propres, mais qui n'incluent pas de ressources.

• WAP Technique : Mehdi propose l'écriture, la vérification, la publication (Imprimer, Denetle, Diffusion). Après avoir d'abord écrit les données et passé par les tests de base, il est bon de fournir de mauvaises données du tout.
• Développement impressionnant : Julien prétend augmenter progressivement la qualité en ajoutant de nouveaux tests et erreurs système.
• Association des entreprises : Simon et Ben parlent de l'importance du discours avec les unités d'affaires. Il est nécessaire de ne pas travailler "pour faire bouillir l'ocyanus sans comprendre quelles données sont critiques, il est donc nécessaire de se concentrer uniquement sur les ensembles de données primaires.

3. Comment défendez-vous les entrepôts de données traditionnels quand tout le monde dit Lakehouse?

Même à l'ère de l'intelligence artificielle et des grandes données, l'emplacement des méthodes traditionnelles n'est pas ébranlé.

• Pratique de service gérée : Julien recommande l'utilisation du service le mieux géré (entrepôts de données pour le moment) pour obtenir une sortie rapide avec des ressources limitées.
• Orientation des prestations : Simon et Ben soutiennent que l'architecture n'est pas basée sur les tendances, mais selon le besoin. Si votre objectif est de fournir des rapports KPI avec 500 Go de données, un entrepôt de données traditionnel est toujours la solution la plus fiable et la plus rapide.

4. Comment gérer les changements de pipeline sans perturber?

Changements de schéma, le plus grand des ingénieurs de données "non-voix" ennemi.

• Mlle : Julien va à l'encontre de l'évrillation automatique (auto-évolution). Il suggère que les changements sont effectués manuellement et clairement.
• Communication et contrats : Mehdi et Simon affirment que ce n'est pas un outil mais un problème humain. C'est la solution la plus robuste pour établir un canal de communication net ou « Contrats de données ».
• Points de contrôle: Je recommande d'ajouter des points de contrôle qui feront une erreur de pipeline en cas de levage de colonnes.

5. Comment mettre en place l'équilibre quand tout le monde veut temps réel et AI soutenu tableau de bord?

"Hémènes et temps réel" Les attentes ne sont souvent pas couvertes par des faits techniques.

• Demandez à votre besoin : Mehdi affirme que la plupart de ses intervenants peuvent donner les mêmes décisions avec des données de 10 minutes ou heures, le besoin en temps réel est repoussé à 90%.
• Début rapide & #160;: Julien et Simon recommandent d'offrir un MVP lent mais en cours d'exécution d'abord et d'augmenter la complexité seulement si nécessaire.

6. Que faut-il faire lorsqu'un Stack complexe est dévastateur?

Passer à une infrastructure sans papiers est l'un des tests les plus difficiles de l'ingénierie des données.

• Ne touchez pas l'employé : La devise de Julien est claire : "Touch ce qui fonctionne aujourd'hui." Fonctions correspondantes d'abord, puis commencer à ajouter de la valeur.
• Analyse de la colline : Je recommande de parler d'abord aux utilisateurs et de comprendre la logique d'affaires, puis de creuser dans la profondeur du code. Simon recommande d'exécuter le système avant même si les outils utilisés ne sont plus mis à jour et planifient l'amélioration étape par étape.

7. Compétences Linux Combien faut-il et comment apprendre?

Malgré les systèmes cloud, Linux reste la colonne vertébrale de l'ingénierie des données.

• Apprendre au travail : Tous les experts précisent que la gestion de fichiers et l'automatisation dans le terminal avec Bash sont les bases.
• Autorisation Vim : Simon et moi apprenons Vim (ou Neovim) à éditer des fichiers dans le terminal et surtout "Comment sortir de Vim" C'est vital mais vous rappelle avec un langage sérieux.

8. Comment puis-je obtenir le "Excel?" Demande ?

Bien qu'il y ait des tableaux de bord modernes, Excel peut être un détartrage pour entendre la demande, mais les experts semblent différents.

• Accepter Excel : Simon et Julien, un Excel "gagnant gagnant" comme une opportunité. Les utilisateurs peuvent comprendre les besoins réels en suivant des logiques complexes définies dans Excel, et vous pouvez intégrer cette logique dans votre pipeline.

9. Comment économiser les coûts du Cloud (coûts du Cloud)

InOps fait désormais partie intégrante de l'ingénierie moderne des données.

• Connaître le permis de pied : Mehdi dit combien de pipelines fonctionnent le jour et l'optimisation des ensembles de données utilisés est plus facile.
• Amélioration technique : Je propose d'optimiser les requêtes de longue durée, de supprimer les vues inutiles et de négocier les prix du vendeur.

10. Qu'est-ce que le Conseil unique pour faire un ingénieur de données "meilleure"?

Les experts résument comme suit les principales leçons qui façonnent leur carrière :

• Date: Sortez de votre espace confort et parlez aux intervenants (logiciels, équipes d'affaires).
• - Oui. Accepter que les systèmes seront détériorés et "invalidité" (récupérable) Design pour.
• - Oui. Se concentrer sur la modélisation des données et écouter la curiosité des utilisateurs commerciaux.
• Je: Non seulement suivre les tendances; considérer la solution la plus simple et efficace au lieu d'utiliser d'énormes outils pour chaque problème.

Génie des données cheminement de carrière Non seulement écrire du code, mais aussi comprendre les gens, les besoins des entreprises et l'histoire des données. Combiné la profondeur technique et l'offre pratique, toutes sortes de structures de données complexes deviennent gérables.