Ведущий инженер данных

Мы разрабатываем крупнейший мессенджер в России, чтобы соединять людей, сервисы и компании. Создаём простые и удобные инструменты коммуникации. Сейчас развиваем платформу и ищем ведущего дата-инженера. Задачи Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации) Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений Требования Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов Умеете проектировать DWH: слои, модели хранения данных, процессы ETL Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse Использовали Airflow, Luigi или другой оркестратор Умеете выбирать технологии для решения конкретных задач Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными Эффективно общаетесь с людьми, находите общий язык с разными специалистами