Python/SQL-разработчик (Data Engineer: Airflow, Kafka, Greenplum) at HRStream — NeverHard

О роли Ищем разработчика в команду Data Engineering для создания и развития процессов загрузки, обработки и интеграции данных. Работа с потоковыми и пакетными данными, развитие пайплайнов в Airflow, интеграции через Kafka и решения на базе Greenplum. Обязанности: Разработка и поддержка процессов обработки данных на Python и SQL. Создание, настройка и сопровождение DAG в Apache Airflow. Разработка интеграций и потоков данных на Apache Kafka. Загрузка, трансформация и оптимизация данных в Greenplum. Разработка кастомных парсеров для сайтов, API, файлов и внешних систем. Создание ETL/ELT-процессов и контроль качества данных (Data Quality). Оптимизация SQL-запросов и производительности на больших объёмах данных. Диагностика ошибок, настройка логирования, мониторинга и повторного запуска процессов. Взаимодействие с аналитиками, архитекторами, разработчиками и владельцами источников данных. Подготовка технической документации. Требования: Уверенное владение Python. Хорошее знание SQL и принципов работы реляционных баз данных. Практический опыт разработки ETL/ELT-процессов. Опыт работы с Apache Airflow и разработки DAG. Понимание принципов работы Apache Kafka. Опыт с Greenplum, PostgreSQL или другими MPP-базами данных. Опыт интеграции с REST API, JSON, XML, CSV и другими форматами. Понимание принципов отказоустойчивых и идемпотентных процессов. Умение разбираться в чужом коде и находить причины ошибок. Опыт работы с Git. Будет преимуществом: Kafka Connect, Debezium или CDC-инструменты. Docker и Kubernetes. ClickHouse, Spark, Trino или объектные хранилища (object storage). Написание автотестов для дата-пайплайнов. Настройка мониторинга через Prometheus и Grafana. Системы Data Quality и Data Governance. Условия: Участие в развитии современной корпоративной платформы данных. Работа с большими объёмами данных и высоконагруженными интеграциями. Возможность влиять на архитектуру и технические решения. Сильная команда Data Engineering, аналитики и ML. Официальное оформление, конкурентный уровень вознаграждения. Формат работы и условия обсуждаются индивидуально.