NeverHard
Data Engineer at BI Group — NeverHard
Data Engineer at BI Group in Астана. View salary, required skills, and apply on NeverHard.
- Company
- BI Group
- Location
- Астана
- Type
- not_specified
Обязанности: Проектировать и поддерживать пайплайны загрузки данных (CDC) из PostgreSQL / MySQL / MongoDB через Debezium + Kafka; Развивать хранилище данных на ClickHouse: проектировать таблицы и схемы; выбирать движки (MergeTree и др.); настраивать шардирование и репликацию; создавать материализованные представления; Оркестрировать пайплайны в Apache Airflow: писать DAG’и; создавать кастомные операторы; настраивать мониторинг и алерты; Строить слой трансформаций в dbt: модели данных; тесты и документация; инкрементальные загрузки; Оптимизировать: скорость выполнения запросов; затраты на хранение данных; Обеспечивать качество данных: тесты; data‑контракты; контроль и observability; Проводить code review; Менторить junior‑инженеров и развивать инженерные практики в команде; Требования: Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов; ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений; Опыт настройки шардирования и репликации; Навыки оптимизации тяжёлых запросов; Debezium + Kafka — опыт настройк
This page requires JavaScript. Please enable it in your browser, or explore
neverhard.com for more information.