AI Test Automation Engineer / Инженер по автоматизации тестирования (ИИ) at Новео — NeverHard

Мы — международная IT-компания НОВЕО. С 2002 г. занимаемся проектами по заказной разработке ПО для западноевропейского рынка. Компанию отличает продуктовый подход к разработке и плотная интеграция специалистов в распределенную команду, что позволяет им напрямую влиять на техническое решение, качество кода и конечный результат. Рабочие языки на проектах: английский, русский. О проекте: Проект представляет собой масштабную облачную AI-платформу для автоматизации контакт-центров и управления клиентским опытом (Customer Experience, CX). Решение используется международными компаниями для обработки большого объема входящих и исходящих коммуникаций, автоматизации бизнес-процессов и повышения эффективности клиентского сервиса. Платформа построена на современной cloud-native архитектуре и объединяет телеком-инфраструктуру операторского уровня (carrier-grade) с собственными AI-технологиями. Она поддерживает обработку миллионов взаимодействий по различным каналам связи, обеспечивает высокое качество голосовой связи, глобальную телефонную нумерацию и отказоустойчивую работу под высокой нагрузкой. Одним из ключевых направлений проекта является развитие мультимодальных AI-решений для автоматизации клиентского обслуживания. Платформа поддерживает обработку голосовых и текстовых обращений, интегрируется с внешними системами через API и позволяет автоматизировать различные сценарии взаимодействия с пользователями на нескольких языках. Кроме того, продукт включает высокопроизводительный интеллектуальный диалер для входящих и исходящих коммуникаций, глубокую интеграцию с CRM-системами, а также инструменты мониторинга и аналитики в режиме реального времени. Стек технологий: PyTest, Playwright, k6, Kubernetes. Мы ждём от тебя: опыт написания production-ready автотестов на Python (PyTest) и TypeScript (Playwright) — чистый, читаемый, поддерживаемый код, проходящий code review; практический опыт разработки или внедрения подходов к оценке качества LLM/AI-моделей (LLM evaluation): LLM-as-a-Judge , rubric-based scoring , semantic similarity или аналогичных методов; опыт работы с CI/CD в облачной инфраструктуре: использование canary-релизов , автоматических quality gates и механизмов автоматического отката ( rollback ) при возникновении проблем; опыт определения, измерения и контроля SLO (Service Level Objectives) для AI/ML-сервисов, включая такие показатели, как latency , accuracy и reliability , а также автоматизации контроля этих метрик; опыт совместной работы с ML-инженерами: понимание особенностей работы с датасетами, результатами инференса моделей и метриками оценки качества (evaluation metrics); уверенный письменный и разговорный английский язык (B2+ , C1). Будет большим преимуществом: уверенное владение Linux: kubectl , анализ состояния Kubernetes-подов, работа с логами и диагностика проблем в Kubernetes-кластерах; опыт работы с аудиоданными и соответствующими протоколами: WebRTC , SIP или другими технологиями телеком-стека; опыт нагрузочного тестирования API для ML-инференса с использованием k6 или аналогичных инструментов; опыт работы с Nebius AI Cloud и тестирования AI/ML-нагрузок на GPU-инфраструктуре. Задачи: разрабатывать и развивать фреймворки автоматизированного тестирования ( PyTest, Playwright, k6 ) для четырех AI-продуктов, обеспечивая прохождение автоматических проверок качества (quality gates) для каждого Pull Request и canary-развертывания в Kubernetes-кластере Nebius; отвечать за критерии автоматического отката ( rollback ) AI-моделей, качество canary- и A/B-развертываний , а также ежедневно анализировать и устранять проблемы в Kubernetes-кластере с использованием kubectl; разрабатывать комплексные стратегии end-to-end тестирования, охватывающие API-контракты, обработку потоковых событий (event streams) и моделирование сценариев взаимодействия пользователей через различные каналы связи, включая LiveKit , PSTN и WebRTC; создавать инструменты для оценки качества LLM-моделей, включая LLM-as-a-Judge , rubric-based scoring , выявление аномалий (anomaly detection), а также тестирование защитных механизмов (guardrails) для обнаружения предвзятости (bias), галлюцинаций (hallucinations), токсичного контента (toxicity) и утечек персональных данных (PII) на всех поддерживаемых языках; совместно с командами R&D и ML Engineering разрабатывать датасеты для оценки качества моделей и предоставлять структурированные результаты тестирования, способствующие их дальнейшему улучшению; определять и развивать систему SLO (Service Level Objectives) для Voice AI-платформы, организовывать мониторинг качества работы в production с использованием Azure Application Insights , а также готовить регулярные отчеты по качеству продукта для руководства компании. Что ты получаешь: трудоустройство через договор с ИП/самозанятым без привязки к определенному местонахождению; оплачиваемый отпуск и больничные; стабильную долгосрочную загрузку (8 часов в день, 40 часов в неделю), гибкий график, гибридный формат работы; работу в профессиональной распределенной команде над интересными проектами; продуманный онбординг с опытным наставником, возможность изучения новых технологий и их применение в проектах, внутреннее обучение, митапы, tech talks и прокачка технических навыков; сильную команду специалистов, четко выстроенные процессы; бесплатное изучение иностранных языков в рабочее время с преподавателями компании (английский, французский); компенсацию медицинских услуг, массажа или спорта (внутренний аналог ДМС). О компании Новео: на рынке с 2002 г.; производственные отделы в странах Восточной Европы. Присоединяйся к команде экспертов Новео для решения интересных задач!