Recomendaciones de ingeniería de datos: 10 quemaduras críticas de 4 expertos Etiquetas

El mundo de la ingeniería de datos ofrece un nuevo desafío cada día con herramientas de cambio continuas y arquitecturas complejas. Más de 174 mil miembros r/dataengineerin g La comunidad es una de las plataformas más importantes que mantienen el pulso de la industria. Los ingenieros de datos buscan respuestas a muchas preguntas básicas, desde cómo gestionar la calidad de los datos, cómo preparar entrevistas todos los días.

Cuatro nombres de alto nivel que se han reconocido cerca del mundo tecnológico; Ben Rogojan (SeattleDataGuy)Etiquetas Julien HuraultEtiquetas Meh Meh y Simon Spätijuntos Los temas más discutidos de Reddit fueron puestos en la mesa. El consejo de ingeniería de datos de esta reunión de mesa redonda es una guía técnica para profesionales que quieren saltar su carrera y nivel. Aquí están 10 preguntas y respuestas críticas de los subcontratistas de expertos:

1. ¿Cómo preparó una solicitud de empleo hoy?

Los procesos de entrevista del ingeniero de datos ya no se limitan a la información del vehículo. Expertos, "Nueva preparación de entrevistas de generación" Para:

• Focus on Company Stack: Mehdi subraya la importancia de entender la pila técnica (establecimiento) del solicitante. Principios básicos incluso si conoces las herramientas (¿Qué problema resuelve esta herramienta?) Deberías concentrarte.
• Puentes conceptuales secos: Julien, si conoces a Iceberg, pero si la compañía usa Delta Lake, sugiere que redirijan la discusión a conceptos comunes detrás de estas herramientas.
• Proyectos prácticos: Simon, en el ciclo de vida de la ingeniería de datos (ingestión, transformación, servicio) Seleccione una herramienta para cada etapa y le recomienda desarrollar un proyecto de demostración con un conjunto de datos que le interesa.

2. Cómo empezar con la calidad de los datos Nadie quiere invertir?

La gestión de la calidad de los datos es una lucha que no termina debido a quienes quieren datos limpios pero no incluyen recursos.

• WAP Técnica: Mehdi propone la "Write, Audit, Publish" (Print, Denetle, Broadcast). Después de escribir los datos primero y pasar a través de pruebas básicas, es bueno entregar datos malos en absoluto.
• Impresionante desarrollo: Julien argumenta aumentar la calidad gradualmente añadiendo nuevos que comienzan con pequeñas pruebas y errores del sistema.
• Business Association: Simon y Ben hablan de la importancia del discurso con las unidades de negocio. Es necesario no trabajar "para hervir el ocianus sin entender qué datos son críticos, por lo que es necesario centrarse sólo en los conjuntos de datos primarios.

3. ¿Cómo defiende los almacenes de datos tradicionales cuando todos dicen Lakehouse?

Incluso en la era de la inteligencia artificial y los datos grandes, la ubicación de los métodos tradicionales no se sacude.

• Práctica de servicio gestionada: Julien recomienda el uso del mejor servicio gestionado (los almacenes de datos por el momento) para obtener una salida rápida con recursos restringidos.
• Orientación de beneficios: Simon y Ben argumentan que la arquitectura no se basa en tendencias, sino según la necesidad. Si su objetivo es proporcionar informes de KPI con 500 GB de datos, un almacén de datos tradicional sigue siendo la solución más fiable y rápida.

4. Cómo manejar los cambios de tubería sin perturbar?

Cambios de esquema, el mayor de ingenieros de datos "novoz" enemigo.

• No se pierda: Julien va contra la perforación automática (autoevolución). Sugiere que los cambios se realicen manual y claramente.
• Comunicación y contratos: Mehdi y Simon afirman que no es una herramienta sino un problema humano. Es la solución más robusta para establecer un canal de comunicación neto o "contratos de datos" (contratos de datos).
• Puntos de control: Recomiendo añadir puntos de control que cometerán error de tubería en caso de levantamiento de columna.

5. Cómo configurar el equilibrio cuando todo el mundo quiere tiempo real y el panel de mando apoyado por AI?

"Hombre y tiempo real" La expectativa a menudo no está cubierta de hechos técnicos.

• Pregunte a su necesidad: Mehdi afirma que la mayoría de sus partes interesadas pueden tomar las mismas decisiones con datos de 10 minutos o hora, la necesidad en tiempo real es empujada de vuelta al 90%.
• Inicio rápido: Julien y Simon recomiendan entregar un MVP lento pero funcionando primero y aumentar la complejidad sólo si es necesario.

6. ¿Qué se debe hacer cuando un complejo Stack es devastador?

Superar una infraestructura indocumentada es una de las pruebas más difíciles de ingeniería de datos.

• No toque empleados: El lema de Julien está claro: "Tocar lo que funciona hoy". Coincide la funcionalidad primero, luego empieza a añadir valor.
• Análisis de la colina: Recomiendo hablar primero con los usuarios y entender la lógica empresarial, luego profundizar en la profundidad del código. Simon recomienda ejecutar el sistema antes incluso si las herramientas utilizadas ya no se actualizan y planean una mejora paso a paso.

7. Linux Habilidades ¿Cuánto necesario y cómo aprender?

A pesar de los sistemas de nube, Linux sigue siendo la columna vertebral de la ingeniería de datos.

• Aprender en el trabajo: Todos los expertos especifican que la gestión de archivos y la automatización en la terminal con Bash son los básicos.
• Autorización Vim: Simon y yo aprendemos Vim (o Neovim) para editar archivos en la terminal y lo más importante "Cómo salir del Vim" Es vital pero te recuerda con un lenguaje serio.

8. ¿Cómo puedo conseguir el "Excel"? ¿Solicito?

Aunque hay paneles modernos, Excel puede ser un descalzo para escuchar la solicitud, pero los expertos se ven diferentes a ella.

• Aceptar Excel: Simon y Julien, un Excel "win-win" como una oportunidad. Los usuarios pueden entender las necesidades reales siguiendo lógicas complejas establecidas en Excel, y puede incorporar esta lógica en su tubería.

9. Cómo ahorrar costos en la nube (costos de ruido)

InOps se ha convertido en una parte integral de la ingeniería moderna de datos.

• Saber permiso de pie: Mehdi dice cuántos oleoductos funcionan el día y la optimización de los conjuntos de datos es más fácil.
• Mejora técnica: Propongo optimizar consultas duraderas, eliminar opiniones innecesarias y negociar precios de vendedor.

10. ¿Cuál es la ficha única para hacer un ingeniero de datos "Mejor"?

Los expertos resumen las lecciones más importantes que conforman su carrera como sigue:

• Fecha: Salga de su área de confort y hable con los interesados (software, equipos de negocios).
• Julien: Aceptar que los sistemas se deteriorarán y "discapacidad" Diseño para.
• Simón: Centrarse en la modelación de datos y escuchar la curiosidad de los usuarios de negocios.
• I: No sólo seguir las tendencias; considerar la solución más simple y eficaz en lugar de utilizar herramientas enormes para cada problema.

Ingeniería de datos carrera profesional no sólo escribir código, sino también comprender a las personas, las necesidades empresariales y la historia de los datos. Combinado con la profundidad técnica y el suministro práctico, todo tipo de estructura compleja de datos se hace manejable.