Вакансия из первоисточника
Data Engineer (разработчик DWH)
X5 Tech
Описание вакансии
* Сбор требований с бизнес-заказчиков и анализ источников данных * Разработка, реализация и поддержка типовых потоковых интеграционных решений на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink * Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок * Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю. * Общее представление о стеке технологий Lakehouse * Понимание различия работы между BigData/Lakehouse и с данными обычного размера * Знание SQL (индексы, функции, оптимизация, профилирование производительности) * Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.) * Умение работать с Git (знание команд git pull/commit/push) * Опыт работы с DBT, Cosmos * Представление о работе с Trino * Понимание устройства Iceberg, форматов данных * Понимание работы с minio или любого другого хранилища на основе S3 * Опыт использования системами ведения проектов и документации * Знания основ программирования (JAVA, Python). Удалёнка или гибрид Гибкий график Белая зарплата Полугодовые премии Обучение за счёт компании ДМС со стоматологией