NeverHard
Middle Data Engineer at Tele2/Altel — NeverHard
Middle Data Engineer at Tele2/Altel in Алматы. View salary, required skills, and apply on NeverHard.
- Company
- Tele2/Altel
- Location
- Алматы
- Type
- not_specified
ОСНОВНЫЕ ЗАДАЧИ: Разработка и реализация стратегии миграции данных из Oracle в S3 Lakehouse (формат Iceberg). Перенос и рефакторинг существующей бизнес-логики с PL/SQL на PySpark и dbt. Проектирование слоев данных Medallion-архитектуры внутри Lakehouse. Тюнинг производительности Spark-джобов Управление жизненным циклом таблиц в Iceberg Настройка интеграции между Lakehouse и ClickHouse для обеспечения высокой скорости аналитических запросов. Внедрение и контроль метрик качества данных (Data Quality) на всех этапах миграции. Обеспечение соблюдения Data SLA. Документирование архитектурных решений и ведение актуального реестра метаданных.. НАС ИНТЕРЕСУЕТ: Глубокое понимание Apache Iceberg (схема эволюции, snapshots, partition evolution, оптимизация хранения через compaction). Опыт работы с объектными хранилищами (S3/Minio). Продвинутый уровень PySpark (Spark SQL, Core, Optimization). Понимание механизмов Shuffle, Broadcast Join и работы с Memory Management Уверенное владение dbt (разработка макросов, работа с внешними таблицами, настройка тестов и документации). Знание методологий моделирования (Data Vault 2.0 или Kimball) Опыт написания сложных DAG-ов в Apache Airflow (Custom Operator
This page requires JavaScript. Please enable it in your browser, or explore
neverhard.com for more information.