Дата-инженер, middle+ at Страховая компания Казахмыс — NeverHard

Акционерное общество «Страховая компания «Казахмыс» - одна из лидирующих страховых компаний Казахстана, верный партнер множества Клиентов из различных сфер деятельности и надежный поставщик услуг страхования и перестрахования, уверенно прошедший проверку временем. Мы №1 в рейтинге страховщиков Казахстана. По версии журнала «Forbes Kazakhstan» в 2022 и 2023 годов. Наша команда профессионалов предоставляет индивидуальные решения для каждого отдельного Клиента, что позволяет обеспечить качественное предоставление услуг. Мы в поиске Дата-инженера middle+! Вам предстоит в работе: Основной владелец корпоративного хранилища данных. Платформа построена своими силами: PostgreSQL как ядро, ClickHouse сверху, оркестрация в Airflow. От неё зависят все продукты компании — ОГПО, кабинет выплат, Битрикс24, ИИ-направление. Первая задача — разбор ссылочной структуры исторической базы 1С объёмом около терабайта. Данные уже выгружены в хранилище, но связи между сущностями не восстановлены, и без этого половина проектов стоит. Это не позиция «в помощь». Человек принимает платформу и отвечает за неё. Чем предстоит заниматься: Разбор структуры хранения 1С: соответствие метаданных физическим таблицам, составные ссылочные типы, автоматическое построение словаря; DAG в Airflow: загрузки из 1С, СЭД, Битрикс24, внутренних сервисов; Слои хранилища в PostgreSQL, аналитические витрины в ClickHouse; Историчность: версии, интервалы действия, восстановление состояния на дату; Качество данных: проверки внутри пайплайнов, мониторинг, реакция на сбои; Витрины для ИИ-направления, включая поисковый слой; Требования: Опыт работы от 5 лет Airflow на уровне продакшена: идемпотентность, повторные прогоны, зависимости, обработка сбоев; Сильный SQL и понимание, как выполняется запрос; PostgreSQL обязательно, ClickHouse — понимание, чем отличается и когда применять; Python для трансформаций; Опыт моделирования хранилища: слои, историчность, медленно меняющиеся измерения; Готовность принять ответственность за платформу целиком; Будет плюсом: Опыт работы с данными 1С; dbt или другой инструмент трансформаций; Финансовый сектор, страхование, регуляторная отчётность; Что предлагаем: Собственная платформа, а не коробочное решение с ограничениями; Задача с ясной ценностью и видимым результатом; Полное влияние на архитектуру хранилища; Условия: Официальное оформление по ТД РК; График работы 5/2, время работы 09:00-18:00; Отпуск 24 календарного дня; Современный комфортный офис; Социальный пакет: Добровольное медицинская страхование по программе стандарт; Материальная помощь по личным событиям; Выдача "Welcome pack", "Corporate pak"; Возмещение части стоимости в фитнес клуб; Возмещение стоимости стартового взноса и премия за участие в марафонах; Премий за участие в корпоративных турнирах.