Quality Engineer (AI / Automation) at Meteoro Platform — NeverHard

Quality Engineer (AI / Automation) О роли На один из наших международных продуктов мы ищем Quality Engineer, который поможет проектировать, строить и внедрять современные стратегии тестирования и quality-инфраструктуру. Мы работаем с AI-решениями и генеративными моделями, а также с распределёнными системами и сложными автоматизированными сценариями. Основной фокус роли — инженерия качества, автоматизация тестирования, CI/CD и обеспечение стабильности системы в продакшене, включая AI-компоненты. Чем предстоит заниматься Проектировать, разрабатывать и поддерживать масштабируемые тестовые фреймворки с нуля. Выстраивать архитектуру тестирования для AI-оркестрированных и backend-систем. Интегрировать автоматизированное тестирование и quality gates в CI/CD-пайплайны для обеспечения стабильной поставки. Разрабатывать стратегии тестирования для AI/GenAI-систем, включая сценарии для недетерминированного поведения моделей. Проектировать verification loops и evaluation pipelines для проверки качества системы и соответствия поведения требованиям. Участвовать в проработке требований и формировании тестовой стратегии на ранних этапах разработки (Shift-Left). Использовать инструменты observability (логи, метрики, трассировки) для диагностики и анализа production-инцидентов (Shift-Right). Анализировать сложные системные дефекты, проводить root cause analysis, отслеживать цепочки отказов через логи и метрики. Взаимодействовать с командами разработки, DevOps и Product Management для повышения качества продукта. Что важно для нас Опыт работы в QA Automation, SDET или Software Engineering от 5+ лет. Опыт построения и поддержки автоматизированных тестовых фреймворков. Опыт тестирования API, интеграционного и E2E тестирования. Опыт работы с CI/CD (GitLab CI, GitHub Actions, Jenkins или аналогичные системы). Понимание принципов quality gates и автоматизации проверок в пайплайнах. Опыт работы с логами, метриками и observability-инструментами (Grafana, ELK и аналоги). Опыт работы с Docker и Linux. Способность самостоятельно принимать инженерные решения и нести ответственность за качество системы. Английский язык — на уровне чтения технической документации. Будет большим плюсом Опыт тестирования LLM, AI-агентов или других AI/GenAI систем. Понимание особенностей тестирования недетерминированных систем. Опыт построения evaluation frameworks для AI-приложений. Опыт работы с prompt evaluation и AI quality assessment подходами. Знакомство с RAG-пайплайнами, vector databases и AI orchestration frameworks (LangChain и аналоги). Опыт нагрузочного тестирования. Опыт использования security scanning инструментов. Бэкграунд в backend-разработке или SDET-роль. Мы предлагаем Полностью удалённый формат работы. Полную занятость и стабильную загрузку. Участие в создании AI-продуктов нового поколения. Возможность выстраивать quality-инфраструктуру с нуля. Современный технологический стек. Высокий уровень автономности и инженерной ответственности. Команду сильных инженеров и быстрый цикл разработки. Конкурентную оплату труда (обсуждается индивидуально).