Требуется AI инженер, разрабатывающий приложения на базе LLM и агентские AI системы с знанием Python
Инженер по оценке искусственного интеллекта
в ABB
О роли
Переведено с азербайджанского автоматически
Обязанности:
- Разработка и внедрение стратегий оценки продуктов и функций на базе искусственного интеллекта;
- Преобразование бизнес-требований, пользовательских сценариев и диалоговых потоков в измеримые тестовые сценарии;
- Создание, поддержка и улучшение наборов данных для оценки, бенчмарков, регрессионных тест-пакетов и повторно используемых тестовых активов;
- Проведение функционального, конверсационного, exploratory, API и регрессионного тестирования AI-приложений;
- Обеспечение покрытия тестами ключевых пользовательских сценариев, пограничных случаев, многоязычного использования, неоднозначных запросов и adversarial сценариев;
- Разработка критериев оценки, метрик качества, шкал оценки (scoring rubric), а также критериев приёмки и регрессии для AI-функций;
- Создание детерминированных проверок, механизмов оценки и автоматизированных процессов тестирования;
- Проведение оценочных и регрессионных тестов после изменений в prompt, модели, поиске данных (retrieval) и контексте;
- Анализ проблем и ошибок AI, выявленных в production-среде, и разработка новых регрессионных тест-сценариев;
- Мониторинг показателей качества AI, выявление регрессий и подготовка соответствующих отчетов;
- Взаимодействие с командами Applied AI Engineer, QA Engineer, Product Owner и Context Engineer для исследования проблем и постоянного улучшения AI-продуктов.
Требования к кандидату:
- Высшее образование;
- Минимум 3 года опыта работы в области Software QA, Test Automation, Quality Engineering или смежных технических направлениях;
- Знания и опыт в области принципов обеспечения качества ПО, проектирования тестов и разработки тестовых стратегий;
- Опыт проведения ручного и автоматизированного тестирования, включая функциональное, exploratory, регрессионное и API тестирование;
- Знания и опыт тестирования REST API и интегрированных систем;
- Навыки работы с SQL;
- Базовые знания Python или другого скриптового языка;
- Умение преобразовывать бизнес-требования в измеримые тестовые сценарии и критерии оценки;
- Понимание типичных ошибок AI-систем, таких как галлюцинации, неправильное использование инструментов, проблемы с контекстом и опасные ответы AI;
- Сильные аналитические способности, умение решать проблемы и внимание к деталям;
- Отличные коммуникативные навыки и умение работать в команде;
- Опыт работы по Agile-методологиям;
- Высокий интерес к технологиям искусственного интеллекта и желание развиваться в области AI Evaluation.
Будет преимуществом:
- Опыт автоматизации тестирования;
- Базовые знания Large Language Models (LLM) и Generative AI технологий;
- Знания в области Prompt Engineering и Retrieval-Augmented Generation (RAG);
- Опыт работы с AI Agent и Tool Calling системами;
- Базовые навыки работы с Git и CI/CD;
- Опыт работы с метриками качества, дашбордами и отчетностью;
- Базовые знания статистического анализа и интерпретации результатов экспериментов;
- Опыт работы с фреймворками AI Evaluation, такими как DeepEval, Promptfoo, RAGAS или аналогичными;
- Опыт тестирования Conversational AI и AI Agent систем;
- Опыт работы с model-based grader, автоматизированными процессами оценки и инструментами AI observability;
- Базовые знания в области AI Safety, Robustness, Adversarial Testing и машинного обучения.
Подходишь ли ты на эту вакансию?
Загрузи CV — за 10 секунд увидишь процент совпадения, свою цену на рынке и чего не хватает в резюме.
Зарплата на рынке
Работодатель сумму не назвал. По роли «AI-инженер» обычно платят 1 000–3 600 ₼, медиана — 1 500 ₼.
13 открытых вакансий, 29 зарплат: объявления, анкеты, «Проверь зарплату».
Проверить свою зарплату как «AI-инженер»О компании
Ваш отклик
Этот работодатель принимает отклики у себя на сайте. Перейдите на страницу вакансии и заполните форму там.
Перейти на страницу работодателяВопросы об этой вакансии
Работа находится в зоне Baku Ekonomic Zone.
Требуется минимум 3 года опыта в Software QA и смежных областях.
Выполняются функциональное, exploratory, регрессионное и API тестирование.
Требуются базовые знания Python или других скриптовых языков.
Требуется опыт работы по методологии Agile.
Кнопка «Откликнуться» на этой странице ведёт на страницу отклика работодателя.
Перейти к форме откликаПохожие вакансии
Все похожие вакансииДругие открытые объявления по роли «AI-инженер» в городе Баку.
Управление сложными проектами в области искусственного интеллекта и науки о данных с требованием знаний Python и ML
Ведущий AI инженер управляет проектами с использованием современных технологий машинного обучения.
Выполняет донастройку и оценку больших языковых моделей, требуется навык подготовки датасетов.





