Инженер данных

Описание

Ищем Data Engineer для работы с HR-данными в рамках корпоративного DWH.

Обязанности

• Разработка и поддержка пайплайнов загрузки и трансформации HR-данных
• Интеграция источников (API, Kafka, БД, файловые хранилища)
• Построение витрин и обеспечение их консистентности
• Оптимизация производительности и стоимости обработки данных
• Обеспечение стабильности (обработка сбоев, ретраи, мониторинг)
• Выстраивание архитектурных решений

Требования

• Python на уровне уверенной разработки: ETL/ELT пайплайны, работа с API, обработка больших объемов данных
• SQL на продвинутом уровне: сложные join’ы, оконные функции, оптимизация запросов под большие объемы, анализ планов выполнения
• Практический опыт работы с Greenplum (MPP, распределение данных, оптимизация), ClickHouse (витрины, большие таблицы), MS SQL Server
• Kafka: опыт работы с consumer/producer, понимание семантики доставки и обработки сообщений
• Уверенная работа с REST API (пагинация, ретраи, обработка ошибок)
• S3-совместимые хранилища: чтение/запись, организация данных, партиционирование
• Знание архитектуры хранения данных: DWH, Data Lake, Lake House, Medallion, Federations

Будет плюсом

• Опыт работы с Trino; построение DWH (staging / dds / marts)
• Понимание data lineage и контроля качества данных
• Опыт orchestration (Airflow или аналоги)

Условия

• Гибкая система премирования, расширенный социальный пакет, ДМС со стоматологией, психолог и страхование жизни
• Компенсация питания и оплата мобильной связи
• Автономность, возможность менять правила и создавать новое, развитие сотрудников, корпоративное обучение
• Гибридный формат работы, современный офис в 2 мин. ходьбы от МЦК ЗИЛ
• Место работы: Москва, Проспект Лихачева, 15 ЛМ Тех