Data Engineer (Microsoft Services) at Freedom Holding Operations — NeverHard

Что нужно делать: - Участие в проектировании и развитии корпоративного хранилища данных на базе Microsoft Azure. - Разработка и поддержка ETL/ELT-процессов для загрузки, трансформации и интеграции данных из различных источников. - Построение архитектуры хранения данных с использованием подходов Data Lake / Lakehouse. - Проектирование потоков обработки данных в многослойной архитектуре хранения данных. - Работа с большими объёмами структурированных и полуструктурированных данных (JSON, API, event data). - Построение и оптимизация витрин данных для аналитики и BI. - Разработка решений по историзации данных (SCD, versioning, delta processing). - Участие в проектировании архитектурных решений с нуля для новых data-проектов. - Интеграция данных из облачных сервисов, API, Active Directory, Microsoft Graph и других корпоративных систем. - Разработка и оптимизация SQL-запросов, процедур и пайплайнов. - Обеспечение качества, консистентности и производительности данных. - Участие в построении monitoring/logging решений для data pipelines. - Взаимодействие с аналитиками, архитекторами и бизнес-командами. Мы ожидаем от кандидата: - Уверенное знание SQL и опыт оптимизации сложных запросов . - Опыт работы с Microsoft Azure: * Microsoft Azure * Azure Data Factory * Azure SQL Database * Azure Data Lake Storage * Azure Key Vault - Опыт работы с Databricks. - Понимание архитектур: * Data Lake * Lakehouse * классическое DWH - Опыт построения многослойной архитектуры хранения данных. - Опыт работы с: * staging layer * operational/online layer * DDS / data marts - Опыт работы с JSON-данными и API-интеграциями. - Понимание принципов нормализации и моделирования данных. - Опыт построения исторических таблиц и инкрементальных загрузок. - Понимание delta loading / watermark logic / CDC подходов. - Опыт разработки data pipelines и orchestration-процессов. - Опыт работы с Power BI или другими BI-инструментами будет плюсом. - Владение Python или PowerShell для автоматизации обработки данных. Будет плюсом: - Опыт работы с Delta Lake. - Опыт проектирования Lakehouse-архитектуры с нуля. - Понимание Medallion Architecture (Bronze / Silver / Gold). - Опыт работы с cloud-native решениями. - Опыт интеграции Microsoft Graph API / Defender / Active Directory. - Опыт работы с большими объёмами telemetry/event данных. - Понимание принципов Data Governance и Data Quality. - Опыт работы с CI/CD для data pipelines. Что мы предлагаем: - Профессиональный коллектив; - Возможность работать над проектами, приносящими пользу для тысяч людей; - Неограниченный рост; - Скидки на фитнес, обучение английскому языку, подарки на праздники и дни рождения; - Бонусы и уникальные предложения от компаний холдинга; - Спонсирование профессионального обучения; - Насыщенная корпоративная жизнь с выездами на природу, праздничными мероприятиями в офисе, играми и розыгрышами подарков.