NeverHard
Data Engineer at Клеркгрупп — NeverHard
Data Engineer at Клеркгрупп in Минск. View salary, required skills, and apply on NeverHard.
- Company
- Клеркгрупп
- Location
- Минск
- Type
- not_specified
В связи с расширением команды и масштабированием проектов находимся в поиске дата инженера в IT-компанию, которая занимается разработкой и полным сопровождением заказного программного обеспечения, веб-сайтов и мобильных приложений, предоставляя широкий спектр услуг. Cтек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata. Таск-трекеры: Jira. Документация: Confluence Чем предстоит заниматься: Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg; Разрабатывать витрины в ClickHouse; Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark; Настраивать и внедрять DataQuality проверки; Работать с CDC и Debezium. Ожидания: 5+ лет опыта работы на позиции Data Engineer; Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg); Глубокое понимание и опыт работы с Apache Spark от 2 лет. Опыт работы с Kafka. Глубокое знание Python и SQL, опыт оптимизации запросов. Опыт работы с инструментами оркестрации (Airflow). Понимание Data Quality и Data Governance процессов. Будет плюсом: Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset); Опыт работы с MongoDB Понимание Dev
This page requires JavaScript. Please enable it in your browser, or explore
neverhard.com for more information.