Data engineer (Middle) at Банк ЦентрКредит — NeverHard

Основные задачи: Разработка и сопровождение ETL/ELT-процессов Нормализация, дедупликация, унификация и консолидация данных из разных источников. Разработка схем данных и построение связей между сущностями. Работа с Greenplum, PostgreSQL, Oracle Оптимизация SQL-запросов и создание представлений (views, materialized views). Настройка оркестрации и автоматизации пайплайнов (Airflow и др.). Контроль качества данных (Data Quality) Поддержка интеграций с аналитическими, ML- и LLM-сервисами. Опыт работы с микросервисной архитектурой и шлюзами данных API Gateway. Технические требования Основной стек: Python: опыт написания production-скриптов SQL уверенные знания PostgreSQL, Greenplum, Oracle ETL-инструменты: Airflow Базы данных: опыт проектирования и администрирования реляционных БД. Работа с API: REST, JSON, XML. Инфраструктура опыт работы в *Linux / nix-среде, знание Docker, Git. Мониторинг и логи: Grafana. Будет плюсом: Опыт построения хранилищ данных (Data Lake, Data Warehouse). Опыт интеграции с ML/LLM-сервисами или аналитическими платформами. Знание архитектуры DWH (ODS, DDS, Staging). Опыт работы с Kafka, Redis, MinIO, ClickHouse. Опыт и квалификация От 2 до 4 лет опыта работы на позиции Data Engineer / ETL Developer / Python Developer. • Практический опыт создания или оптимизации ETL-пайплайнов. Участие в проектах по интеграции данных из нескольких источников. • Понимание принципов качества, надёжности и воспроизводимости данных (DQ, lineage, validation)