Рекомендации по разработке данных: 10 критических ожогов от 4 экспертов

Мир информационных технологий предлагает новую задачу каждый день с постоянно меняющимися инструментами и сложными архитектурами. Более 174 тысяч членов r/dataengineerin g Сообщество является одной из самых важных платформ, которые поддерживают импульс отрасли. Инженеры по обработке данных ищут ответы на многие основные вопросы: как управлять качеством данных, как готовить интервью каждый день.

Четыре имени, которые были признаны рядом с миром технологий. Бен Рогожан (SeattleDataGuy)Тэги Жюльен ХёроТэги Meh Meh и Симон Спативместе Самые обсуждаемые темы Reddit были вынесены на обсуждение. Консультации по проектированию данных на этом круглом столе - это техническое руководство для профессионалов, которые хотят пропустить свою карьеру и уровень. Вот 10 важных вопросов и ответов от субподрядчиков экспертов:

1.Как вы подготовили заявление о приеме на работу сегодня?

Процессы опроса инженеров данных больше не ограничиваются информацией о транспортном средстве. Эксперты, «Подготовка интервью нового поколения» Для:

• Сосредоточьтесь на стеке компании: Мехди подчеркивает важность понимания технического стека заявителя. Основные принципы, даже если вы знаете инструменты (Какую проблему решает этот инструмент?) Ты должен сосредоточиться.
• Сухие концептуальные мосты: Жюльен, если вы знакомы с Айсбергом, но если компания использует Delta Lake, она предлагает перенаправить обсуждение на общие концепции, стоящие за этими инструментами.
• Практические проекты: Саймон, в жизненном цикле Data Engineering Home (вставка, трансформация, служение) Выбирая инструмент для каждого этапа и рекомендует разработать демо-проект с интересующим вас набором данных.

2.2 Как начать с качества данных, которые никто не хочет инвестировать?

Управление качеством данных - это борьба, которая не заканчивается из-за тех, кто хочет чистых данных, но не включает ресурсы.

• Техника WAP: Мехди предлагает «Письмо, аудит, публикация» (Print, Denetle, Broadcast). После того, как вы сначала напишете данные и пройдете базовые тесты, хорошо доставить плохие данные.
• Впечатляющее развитие: Жюльен утверждает, что качество постепенно повышается, добавляя новые, которые начинаются с небольших тестов и системных ошибок.
• Бизнес-ассоциация: Саймон и Бен говорят о важности общения с бизнес-подразделениями. Необходимо не работать, чтобы кипятить ocyanus, не понимая, какие данные являются критическими, поэтому необходимо сосредоточиться только на первичных наборах данных.

3.Как вы защищаете традиционные хранилища данных, когда все говорят «Лейкхаус»?

Даже в век искусственного интеллекта и больших данных расположение традиционных методов не расшатывается.

• Управляемая практика обслуживания: Жюльен рекомендует использовать лучший управляемый сервис (склады данных на данный момент), чтобы получить быструю добычу с ограниченными ресурсами.
• Ориентация преимуществ: Саймон и Бен утверждают, что архитектура основана не на тенденциях, а на необходимости. Если ваша цель - предоставить отчеты KPI с 500 ГБ данных, традиционный хранилище данных по-прежнему является самым надежным и быстрым решением.

4 Как управлять изменениями трубопровода без сбоев?

Изменения в схеме, крупнейший из инженеров данных "неголосование" Враг.

• Не пропустите: Жюльен идет против автоматического издевательства (автоэволюции). Это говорит о том, что изменения производятся вручную и четко.
• Коммуникации и контракты: Мехди и Саймон утверждают, что это не инструмент, а человеческая проблема. Это наиболее надежное решение для создания сетевого канала связи или «Контрактов данных».
• Контрольные точки: Я рекомендую добавить контрольно-пропускные пункты, которые сделают ошибку трубопровода в случае подъема колонны.

5.Как настроить баланс, когда все хотят иметь панель мониторинга в режиме реального времени и с поддержкой ИИ?

"Гемен и в реальном времени" Ожидания часто не охватываются техническими фактами.

• Спросите свою потребность: Мехди утверждает, что большинство заинтересованных сторон могут принимать одинаковые решения с 10-минутными или часовыми данными, потребность в реальном времени отодвинута на 90%.
• Быстрый старт: Жюльен и Саймон рекомендуют сначала поставить медленный, но работающий MVP и увеличить сложность только при необходимости.

6.Что делать, если комплексный стек разрушителен?

Перегрузка незарегистрированной инфраструктуры является одним из самых сложных тестов обработки данных.

• Не трогайте сотрудников: Девиз Жюльена ясен: Прикоснитесь к тому, что работает сегодня. Сначала сопоставьте функциональность, затем начните добавлять ценность.
• Анализ с холма: Я рекомендую сначала поговорить с пользователями и понять бизнес-логику, а затем углубиться в глубину кода. Саймон рекомендует запустить систему раньше, даже если используемые инструменты больше не обновляются и планируют поэтапное улучшение.

7. Linux Навыки Сколько нужно и как учиться?

Несмотря на облачные системы, Linux по-прежнему является основой для разработки данных.

• Обучение на работе: Все специалисты уточняют, что управление файлами и автоматизация в терминале с Bash являются базовыми.
• Разрешение Vim: Мы с Саймоном учимся с Vim (или Neovim) редактировать файлы в терминале. «Как выйти из Вима» Это важно, но напоминает вам серьезный язык.

8 Как я могу получить "Эксель"? Запрос?

В то время как существуют современные панели инструментов, Excel может быть дескальным, чтобы услышать запрос, но эксперты выглядят по-другому.

• Принять Excel: Саймон и Жюльен, Excel "беспроигрышный" Как возможность. Пользователи могут понять реальные потребности, следуя сложной логике, установленной в Excel.

9 Как сэкономить облачные затраты (Cloud Costs)

InOps стал неотъемлемой частью современной инженерии данных.

• Знать разрешение ног: Мехди говорит, сколько конвейеров работает в день и оптимизация каких наборов данных используется проще.
• Технические усовершенствования: Я предлагаю оптимизировать длительные запросы, удалить ненужные просмотры и договориться о ценах продавца.

10.Каков единственный совет, чтобы сделать инженера данных «лучше»?

Эксперты обобщают самые важные уроки, которые формируют их карьеру:

• Дата: Выйдите из своей зоны комфорта и поговорите с заинтересованными сторонами (программное обеспечение, бизнес-команды).
• Жюльен: Признать, что системы будут повреждены и «Инвалидность» (восстановимость) Дизайн для.
• Саймон: Сосредоточьтесь на моделировании данных и прислушивайтесь к любопытству бизнес-пользователей.
• Я: Не только следовать тенденциям; рассмотреть самое простое и эффективное решение вместо того, чтобы использовать огромные инструменты для каждой проблемы.

Инжиниринг данных карьерный путь Не только писать код, но и понимать людей, бизнес-потребности и историю данных. В сочетании с технической глубиной и практическим обеспечением все виды сложной структуры данных становятся управляемыми.