Инженер по оценке искусственного интеллекта

в ABB

О роли

Переведено с азербайджанского автоматически

Обязанности:

  • Разработка и внедрение стратегий оценки продуктов и функций на базе искусственного интеллекта;
  • Преобразование бизнес-требований, пользовательских сценариев и диалоговых потоков в измеримые тестовые сценарии;
  • Создание, поддержка и улучшение наборов данных для оценки, бенчмарков, регрессионных тест-пакетов и повторно используемых тестовых активов;
  • Проведение функционального, конверсационного, exploratory, API и регрессионного тестирования AI-приложений;
  • Обеспечение покрытия тестами ключевых пользовательских сценариев, пограничных случаев, многоязычного использования, неоднозначных запросов и adversarial сценариев;
  • Разработка критериев оценки, метрик качества, шкал оценки (scoring rubric), а также критериев приёмки и регрессии для AI-функций;
  • Создание детерминированных проверок, механизмов оценки и автоматизированных процессов тестирования;
  • Проведение оценочных и регрессионных тестов после изменений в prompt, модели, поиске данных (retrieval) и контексте;
  • Анализ проблем и ошибок AI, выявленных в production-среде, и разработка новых регрессионных тест-сценариев;
  • Мониторинг показателей качества AI, выявление регрессий и подготовка соответствующих отчетов;
  • Взаимодействие с командами Applied AI Engineer, QA Engineer, Product Owner и Context Engineer для исследования проблем и постоянного улучшения AI-продуктов.

Требования к кандидату:

  • Высшее образование;
  • Минимум 3 года опыта работы в области Software QA, Test Automation, Quality Engineering или смежных технических направлениях;
  • Знания и опыт в области принципов обеспечения качества ПО, проектирования тестов и разработки тестовых стратегий;
  • Опыт проведения ручного и автоматизированного тестирования, включая функциональное, exploratory, регрессионное и API тестирование;
  • Знания и опыт тестирования REST API и интегрированных систем;
  • Навыки работы с SQL;
  • Базовые знания Python или другого скриптового языка;
  • Умение преобразовывать бизнес-требования в измеримые тестовые сценарии и критерии оценки;
  • Понимание типичных ошибок AI-систем, таких как галлюцинации, неправильное использование инструментов, проблемы с контекстом и опасные ответы AI;
  • Сильные аналитические способности, умение решать проблемы и внимание к деталям;
  • Отличные коммуникативные навыки и умение работать в команде;
  • Опыт работы по Agile-методологиям;
  • Высокий интерес к технологиям искусственного интеллекта и желание развиваться в области AI Evaluation.

Будет преимуществом:

  • Опыт автоматизации тестирования;
  • Базовые знания Large Language Models (LLM) и Generative AI технологий;
  • Знания в области Prompt Engineering и Retrieval-Augmented Generation (RAG);
  • Опыт работы с AI Agent и Tool Calling системами;
  • Базовые навыки работы с Git и CI/CD;
  • Опыт работы с метриками качества, дашбордами и отчетностью;
  • Базовые знания статистического анализа и интерпретации результатов экспериментов;
  • Опыт работы с фреймворками AI Evaluation, такими как DeepEval, Promptfoo, RAGAS или аналогичными;
  • Опыт тестирования Conversational AI и AI Agent систем;
  • Опыт работы с model-based grader, автоматизированными процессами оценки и инструментами AI observability;
  • Базовые знания в области AI Safety, Robustness, Adversarial Testing и машинного обучения.

Подходишь ли ты на эту вакансию?

Загрузи CV — за 10 секунд увидишь процент совпадения, свою цену на рынке и чего не хватает в резюме.

Локация
Баку, Baku Ekonomic Zone
Опыт
3+ лет
Занятость
Полная занятость
Зарплата
Не указана
Опубликовано
26 октября 2026
Отклики через HRX
2
Просмотры
642

Зарплата на рынке

Работодатель сумму не назвал. По роли «AI-инженер» обычно платят 1 000–3 600 ₼, медиана — 1 500 ₼.

обычно платят столькоредко

13 открытых вакансий, 29 зарплат: объявления, анкеты, «Проверь зарплату».

Проверить свою зарплату как «AI-инженер»

О компании

ABB
Banking · 1001-5000 · Bakı
Все вакансии ABB

Ваш отклик

Этот работодатель принимает отклики у себя на сайте. Перейдите на страницу вакансии и заполните форму там.

Перейти на страницу работодателя

Подходит знакомому?

Друг откликнется прямо по ссылке

Вопросы об этой вакансии

Работа находится в зоне Baku Ekonomic Zone.

Требуется минимум 3 года опыта в Software QA и смежных областях.

Выполняются функциональное, exploratory, регрессионное и API тестирование.

Требуются базовые знания Python или других скриптовых языков.

Требуется опыт работы по методологии Agile.

Кнопка «Откликнуться» на этой странице ведёт на страницу отклика работодателя.

Перейти к форме отклика

Похожие вакансии

Все похожие вакансии

Другие открытые объявления по роли «AI-инженер» в городе Баку.

Proxima Tech Solutions
Специалист · 2+ летБаку
З/п не указана

Требуется AI инженер, разрабатывающий приложения на базе LLM и агентские AI системы с знанием Python

Large Language ModelsGenerative AIPythonPrompt Engineering+25
ОткликнутьсяНапрямую работодателюНапрямую работодателю
PASHA Sığorta
Опытный специалистБаку
З/п не указана

Управление сложными проектами в области искусственного интеллекта и науки о данных с требованием знаний Python и ML

PythonMachine LearningGenerative AILarge Language Models+13
Откликнуться
Kapital Bank
Опытный специалист · 4+ летБаку
З/п не указана

Ведущий AI инженер управляет проектами с использованием современных технологий машинного обучения.

Machine LearningDeep LearningPredictive ModelingFeature Engineering+14
Откликнуться
Все похожие вакансии

Статьи по теме

Все материалы
Не указана
Инженер по оценке искусственного интеллекта
Откликнуться