Data Engineer в направление «Интеллектуальные решения» at Транстелеком — NeverHard

Ключевые задачи: Строить пайплайны выгрузки данных из систем заказчика: PostgreSQL, Oracle, Hive-таблицы, Kafka-топики, файлы, API; Разрабатывать и сопровождать DAG'и в Airflow - инкрементальная загрузка, ретраи, алертинг, восстановление после сбоев; Собирать витрины для аналитики и датасеты для AI-сервисов; Отвечать за качество данных: проверки на входе, контроль расхождений, понятная диагностика при инцидентах; Оптимизировать запросы и модели данных, когда витрина перестаёт укладываться в SLA; Мы строим корпоративную AI-платформу: интеллектуальный поиск по внутренним документам, аналитику операционных процессов, выявление аномалий в данных. Всё это работает ровно настолько хорошо, насколько хорош слой данных под ним. Ландшафт неоднородный, и мы говорим об этом сразу. Источники живут в унаследованном контуре заказчика на Huawei Cloud Stack - Hive, Spark, объектное хранилище, базы на Oracle и PostgreSQL. Наш собственный контур современный: Kubernetes, Airflow, аналитическая СУБД, GPU-сегмент под инференс. Ваша задача - аккуратно вытащить данные из первого и качественно уложить во второй. Навыки, которые нам необходимы: 3 + года в роли Data Engineer или близкой - ETL, DWH, backend с дата-уклоном; Уверенный SQL: оконные функции, планы выполнения, умение объяснить, почему запрос тормозит; PostgreSQL на практике - индексы, блокировки, партиционирование; Python на уровне промышленной разработки пайплайнов, а не разовых скриптов; Airflow или другой оркестратор - Dagster, Prefect, аналог; Опыт хотя бы с одной аналитической СУБД: ClickHouse, Greenplum, GaussDB(DWS), Vertica; Понимание распределённого хранения: HDFS, Hive-таблицы, движок вроде Spark. Конкретный дистрибутив не важен; Docker: собрать образ, разобраться, почему контейнер падает; Будет плюсом знание: Huawei Cloud Stack (MRS, GaussDB, OBS); Kafka и CDC (Debezium); Orac как источник; dbt; Kubernetes; Spark; Prometheus и Grafana; Data Quality и Data Contracts; подготовка данных для ML: обработка документов, векторные хранилища, эмбеддинги. То, что ждет вас в команде: Работа в стабильной и динамичной Компании; Карьерный рост; Социальный пакет по Коллективному договору Отпуск 28 дней; Яркая корпоративная жизнь.