Data Engineer/Дата инженер (по работе с регуляторной отчетностью в банках) at Agile Soft — NeverHard

В IT компании открыта вакансия Data Engineer/Дата инженер. Опыт работы с разработкой отчета "кредитный регистр" будет существенным преимуществом. Strong skills в программировании на Pyton - обязательно. Обязанности: Опыт работы с регуляторной отчетностью (в банках) , формирование отчетов, понимание разницы атрибутов; Построение потоков данных для хранилища; Оптимизация выгрузок данных из систем источников; Реализация трансформаций в целевые модели данных хранилища; Выгрузка данных в другие системы для дальнейшей обработки; Реализация сверочных отчетов. Требования: Опыт работы в области разработки хранилищ больших данных не менее 2 лет; Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных; Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем; Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT; Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ; Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc; Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton; Опыт использования инструментом трансформации данных (DBT, Spark, Pyton); Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql); Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB); Опыт построения хранилищ для финансового сектора; Опыт работы с инструментами DataGovernance; Опыт в области проектирования схемы данных, баз данных и хранилищ; Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio); Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)