AI Test Architect/AI Test Manager at COMTEK Inc. — NeverHard

Требуемая квалификация · Более 15 лет опыта работы в области общего контроля качества (QA), включая техническое руководство. · Текущий или недавний опыт работы в качестве менеджера SDET с практическим внедрением решений для тестирования на основе искусственного интеллекта. · Минимум 2 года опыта в разработке решений для тестирования на базе искусственного интеллекта, включая приложения с генеративным ИИ. · Подтвержденный опыт проектирования, создания и предоставления собственных инструментов ИИ или платформ на базе искусственного интеллекта, которые поддерживают корпоративные организации, занимающиеся тестированием программного обеспечения. · Большой опыт работы с системами автоматизации тестирования на предприятии и передовыми практиками в области разработки качества. · Желательно иметь опыт работы с гибкими методологиями и инструментами корпоративной разработки, такими как Azure DevOps и Confluence. · Степень бакалавра в области компьютерных наук, инженерии или смежных технических дисциплин. Основные обязанности · Определять и внедрять корпоративные стратегии тестирования ИИ для платформ автоматизации тестирования и генерирующих систем ИИ. · Разрабатывать собственные инструменты искусственного интеллекта, которые повышают производительность, автоматизацию и качество тестирования программного обеспечения. · Разрабатывать основы для проверки моделей искусственного интеллекта, включая точность, надежность, обнаружение ошибок, объяснимость и мониторинг отклонений модели. · Создание автоматизированных конвейеров тестирования данных, моделей машинного обучения и сервисов искусственного интеллекта. · Определение и внедрение принципов управления тестированием искусственного интеллекта, стандартов и передовых практик в инженерных командах. · Тестирование производительности, масштабируемости, надежности и отказоустойчивости платформ и приложений искусственного интеллекта. · Разработать стратегии тестирования для больших языковых моделей (LLM), систем обработки естественного языка (NLP) и решений для компьютерного зрения, где это применимо. · Обеспечить соответствие систем искусственного интеллекта принципам ответственного использования искусственного интеллекта, включая справедливость, прозрачность, безопасность и нормативные требования. · Оценивайте, рекомендуйте и интегрируйте инструменты тестирования ИИ, решения для мониторинга моделей и платформы для создания синтетических данных. · Обучайте команды инженеров методам проектирования качества ИИ и содействуйте внедрению разработанных внутри компании возможностей ИИ. · Сотрудничайте с командами инженеров, архитекторов, разработчиков продуктов и специалистов по анализу данных для создания масштабируемых решений для тестирования ИИ. Ключевые навыки · Тестирование и валидация ИИ/ML · Архитектура и автоматизация тестирования ИИ · Генеративный ИИ и большие языковые модели (LLM) · Проектирование и разработка инструментов ИИ · Проверка качества данных · Тестирование производительности, масштабируемости и надежности · Ответственный ИИ, управление и риск-менеджмент · Интеграция CI/CD и DevOps · Межфункциональное лидерство и взаимодействие с заинтересованными сторонами Показатели успеха · Сокращение производственных дефектов и инцидентов при тестировании, связанных с ИИ. · Расширенный охват автоматизации за счет тестовых решений с поддержкой ИИ. · Успешное внедрение разработанных собственными силами инструментов тестирования с использованием ИИ в инженерных командах. · Повышение качества, масштабируемости и надежности приложений с поддержкой ИИ. · Соответствие стандартам ответственного использования ИИ и корпоративного качества.