Middle Data Engineer at Tele2/Altel in Алматы. Skills: Apache Airflow, Apache Iceberg, CI/CD, ClickHouse, DBT. Apply on NeverHard.
Company
Tele2/Altel
Location
Алматы
Type
not_specified
Required skills:
Apache Airflow
Apache Iceberg
CI/CD
ClickHouse
DBT
Data Modeling
Data Quality
Data Vault
Data Warehousing
Docker
ОСНОВНЫЕ ЗАДАЧИ: Разработка и реализация стратегии миграции данных из Oracle в S3 Lakehouse (формат Iceberg). Перенос и рефакторинг существующей бизнес-логики с PL/SQL на PySpark и dbt. Проектирование слоев данных Medallion-архитектуры внутри Lakehouse. Тюнинг производительности Spark-джобов Управление жизненным циклом таблиц в Iceberg Настройка интеграции между Lakehouse и ClickHouse для обеспечения высокой скорости аналитических запросов. Внедрение и контроль метрик качества данных (Data Quality) на всех этапах миграции. Обеспечение соблюдения Data SLA. Документирование архитектурных решений и ведение актуального реестра метаданных.. НАС ИНТЕРЕСУЕТ: Глубокое понимание Apache Iceberg (схема эволюции, snapshots, partition evolution, оптимизация хранения через compaction). Опыт работы с объектными хранилищами (S3/Minio). Продвинутый уровень PySpark (Spark SQL, Core, Optimization). Понимание механизмов Shuffle, Broadcast Join и работы с Memory Management Уверенное владение dbt (разработка макросов, работа с внешними таблицами, настройка тестов и документации). Знание методологий моделирования (Data Vault 2.0 или Kimball) Опыт написания сложных DAG-ов в Apache Airflow (Custom Operators, Dynamic Tasks, XComs). Хорошее знание Oracle (написание сложных аналитических SQL-запросов, понимание планов выполнения) и ClickHouse (движки таблиц, материализованные представления). Python (написание кастомных интеграций, парсеров), Git, основы Docker и CI/CD. ЗАРПЛАТА - ЭТО ЕЩЕ НЕ ВСЁ : Гибридный формат работы и гибкое начало рабочего дня; Профессиональное развитие: участие в митапах, тренингах, конференциях, демо-днях и хакатонах; Дополнительные 4 дня отпуска — итого 28 календарных дней за год; Годовой бонус по результатам достижения KPI; Корпоративная сотовая связь; Добровольная медицинская страховка со стоматологией и лекарствами с возможностью бесплатно добавить двух близких родственников; Фитнес-абонементы со скидкой и в рассрочку; Онлайн-платформа бесплатной психологической помощи; Доступ к корпоративной онлайн-библиотеке MyBook. Теlе2 — это территория возможностей. Здесь тебя примут таким, какой ты есть, поддержат, направят и откроют множество возможностей.