Data Engineer

Обязанности

• Разработка и поддержка пайплайнов загрузки и трансформации HR-данных
• Интеграция источников (API, Kafka, базы данных, файловые хранилища)
• Построение витрин и обеспечение их консистентности
• Оптимизация производительности и стоимости обработки данных
• Обеспечение стабильности (обработка сбоев, ретраи, мониторинг)
• Разработка архитектурных решений

Что ожидаем

• Python на уровне уверенной разработки: ETL/ELT пайплайны, работа с API, обработка больших объемов данных
• SQL на продвинутом уровне: сложные join’ы, оконные функции, оптимизация запросов под большие объемы
• Практический опыт с Greenplum (MPP, распределение данных, оптимизация), ClickHouse (витрины, работа с крупными таблицами), MS SQL Server
• Kafka: опыт работы с consumer/producer, понимание семантики доставки и обработки сообщений
• Работа с REST API (пагинация, ретраи, обработка ошибок)
• S3-совместимые хранилища: чтение/запись, организация данных, партиционирование
• Архитектура хранения данных: DWH, Data Lake, Lake House, Medallion, Federations

Будет плюсом

• Опыт с Trino (федеративные запросы)
• Опыт построения DWH (staging / dds / marts)
• Знание data lineage и контроля качества данных
• Опыт orchestration (Airflow или аналоги)

Условия работы

• Гибкая система премирования
• Расширенный социальный пакет: ДМС со стоматологией, психолог и страхование жизни
• Компенсация питания и оплата мобильной связи
• Современная инженерная культура, автономность, возможность улучшать процессы
• Возможности профессионального роста и внутренние проекты
• Гибридный формат работы, офис в 2 минутах ходьбы от МЦК ЗИЛ