Senior AI Engineer at Народный банк Казахстана — NeverHard

Halyk Банк – это мощная экосистема, где технологии сочетаются с ценностями. Мы гордимся более чем 14 000 работниками, которые делают нас лучшим местом работы. Мы предоставляем услуги во всех сегментах финансового рынка: банковском, страховом, лизинговом и т.д. Мы стремимся стать ведущим цифровым банком, внедряя инновации и предоставляя возможности для роста и развития. Мы ищем талантливых специалистов, готовых развиваться вместе с нами! Обязанности: Разработка и внедрение LLM/VLM-решений для бизнес-задач компании; Проектирование и построение RAG-пайплайнов для работы с корпоративными данными Разработка и оптимизация мульти-агентных систем на базе LangGraph и LangChain Настройка и обслуживание инференс-серверов (vLLM, TGI, TensorRT-LLM) Fine-tuning моделей (LoRA, QLoRA, RLHF, DPO) под специфические задачи; Разработка REST API на FastAPI для интеграции ML-сервисов в продукт; Контейнеризация и деплой ML-сервисов с помощью Docker и Kubernetes; Оптимизация производительности моделей: квантизация, батчинг, управление GPU-памятью; Проектирование и поддержка векторных баз данных для хранения эмбеддингов; Написание и поддержка автоматических тестов для ML-пайплайнов; Мониторинг качества моделей в продакшене (LangSmith, OpenTelemetry); Проведение бенчмарков и A/B-тестов для сравнения моделей и подходов; Работа с GPU-инфраструктурой: настройка multi-GPU, распределённое обучение Подготовка и очистка данных для обучения и оценки моделей; Исследование и внедрение новых моделей, техник и фреймворков; Написание технической документации и ADR (Architecture Decision Records); Участие в код-ревью и менторинг младших специалистов; Взаимодействие с продуктовой командой для определения требований и приоритетов; Оптимизация стоимости облачной GPU-инфраструктуры; Обеспечение безопасности и надёжности ML-сервисов в продакшене. Требования: Python; Python 3.10+ (async/await, type hints, dataclasses). SOLID, Clean Architecture, DI. pytest + mocks, Ruff/Black/MyPy, Poetry/uv, Git & CI/CD; LLM / VLM Transformer (attention, KV-cache). Модели: GPT-4, LLaMA 3, Mistral, Qwen, LLaVA, GPT-4o. Fine-tuning: LoRA/QLoRA, PEFT, RLHF, DPO. Prompting: CoT, ReAct, Few-shot. Evaluation: LLM-as-judge, perplexity. Tokenization (tiktoken); LangChain & LangGraph LangChain (LCEL, Agents, Tools, Memory), LangGraph (multi-agent graphs), RAG-пайплайны, Vector DB (Chroma, Pinecone, Qdrant, pgvector), LangSmith; Инференс vLLM (PagedAttention, continuous batching), Quantization (GPTQ, AWQ, GGUF), Serving (vLLM, TGI, TensorRT-LLM), OpenAI-compatible API. PyTorch & DL PyTorch, Hugging Face (Transformers, PEFT, TRL), Distributed (DDP, FSDP, DeepSpeed), BF16/FP16. GPU & Инфраструктура NVIDIA (H100, A100, RTX 4090), multi-GPU parallelism, Cloud (AWS/GCP/RunPod), мониторинг nvidia-smi; Backend FastAPI, Pydantic v2, async (asyncio, httpx), WebSockets/SSE, JWT. DevOps Docker (GPU), Docker Compose, Kubernetes basics, GitHub Actions, Prometheus/Grafana; Хранилища PostgreSQL + pgvector, Redis, S3, Vector DBs, Kafka/RabbitMQ. Nice to Have CrewAI, AutoGen, MLflow/W&B, Airflow, Streamlit/Gradio. Уровни опыта: Junior: Python, PyTorch, LangChain, Docker Middle: Fine-tuning, RAG, vLLM, FastAPI, LangGraph Senior: Архитектура, distributed training, MLOps Lead: Стратегия, оптимизация затрат, лидерство Soft Skills: Аналитическое мышление, техническая коммуникация, быстрое обучение, English B2+, Agile. Условия: Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус. Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров. Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий. Бонусы за рекомендации. Рабочие условия: льготные условия на паркинг, свободный стиль одежды (smart casual). Обучение и развитие: тренинги, вебинары и доступ к корпоративной библиотеке, четкая система карьерного роста. Корпоративная культура: открытая и дружеская рабочая атмосфера, спортивные турниры и активная корпоративная жизнь. Инициативы и проекты: возможность участия в социальных проектах, реализация идей в новых проектах группы «Halyk» с использованием современных digital-инструментов. Команда: творческая и поддерживающая команда для реализации ваших идей. Присоединяйтесь к нам и становитесь частью команды «Halyk»!