Data Engineer at Kcell in Алматы. Apply on NeverHard.
Company
Kcell
Location
Алматы
Type
not_specified
Чем предстоит заниматься Проектировать, развивать и оптимизировать платформы хранения и обработки данных (DWH и Data Lake) Реализовывать надёжные, масштабируемые и повторяемые ETL/ELT-процессы Интегрировать данные из различных источников (БД, API, файловые хранилища и др.) Оптимизировать SQL-запросы и организацию хранения данных в соответствии с потребностями аналитики Разрабатывать стриминговые процессы обработки данных на базе Apache Flink и Python Внедрять лучшие практики в области качества данных, мониторинга и информационной безопасности Что важно знать и уметь Уверенные знания принципов построения архитектуры хранилищ данных (DWH) и многомерного моделирования Продвинутый уровень SQL: оконные функции, анализ и оптимизация планов выполнения, стратегии соединений Опыт работы с Hadoop/S3 и различными форматами хранения (Parquet, Avro, ORC) Практический опыт использования Apache Airflow для оркестрации процессов Навыки интеграции данных из PostgreSQL, Oracle, API, S3, FTP/NFS и других источников Владение Python для написания скриптов и утилит Уверенная работа в Linux-среде: bash, работа с логами, автоматизация, диагностика Системное мышление и самостоятельный подход к решению задач Будет плюсом Понимание архитектуры Apache Kafka Опыт работы с Apache Flink, знание Java на базовом уровне Опыт использования Apache Spark Знание принципов CDC и опыт работы с инструментами Oracle GoldenGate, Debezium Навыки работы с Docker, Kubernetes, CI/CD и Git Опыт построения отчётности и визуализации данных (Superset, Power BI и др.)