Аналитик-разработчик по оценке качества LLM в Яндекс R&D

Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят: В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: Мы любим спорт и считаем его важной частью хорошего самочувствия каждого яндексоида. Поэтому у нас есть: Enhanced medical insurance begins from your first month at Yandex. It covers health care services at clinics and hospitals, whether for emergency care, surgeries, routine visits in your home country or abroad, medical tests and diagnostics, dental care, accident insurance, etc. At Yandex, we have everything you need for continuous growth and learning: an internal educational platform, mentoring, and programs for both beginners and experienced leaders. At Yandex's big offices, we have our own fully equipped gyms. There, you can work out independently or with a trainer. We love sports and consider it an important part of every Yandex employee's well-being. That's why we have: Alice AI — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы измеряем, как модели отвечают на реальные пользовательские запросы, и на основании этих замеров команда принимает решение о релизе. Приёмка — момент, когда решается судьба выкатки. Перед каждым релизом нужно понять, как изменилось качество модели: на каких сценариях она выросла, где просела и достаточно ли этого качества для пользователей. Мы измеряем модель по нескольким независимым аспектам силами профессиональных разметчиков, доменных экспертов и автоматических оценщиков, а затем собираем из этих сигналов одно заключение. Заключение приёмки — основание, по которому модель уезжает в прод или не уезжает; решение принимается вместе с ML-разработчиками и продуктовой командой. Мы расширяем команду. Ищем аналитика, который возьмёт на себя контур замеров: запуск приёмок, контроль прохождения разметки и анализ результатов. Вы увидите изнутри всю кухню оценки качества LLM — от состава оценочных наборов до критериев, по которым релиз останавливают. Процесс активно автоматизируется: рутина будет уходить, а ваша роль — расти в сторону анализа и методологии. Вы будете работать бок о бок с ML-инженерами качества, доменными экспертами и командой краудсорса. Организация приёмок новых версий моделей В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки. Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать. Контроль разметки Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего. Сбор и анализ результатов Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками. По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта. Развитие процесса Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает. Больше об аналитике в Яндексе — в канале Yandex for Analytics Уверенно работаете с Python и SQL Знаете математическую статистику и теорию вероятностей Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками Самостоятельны и готовы браться за новые задачи, для которых нет готового решения Интересуетесь развитием LLM и хотите глубоко погрузиться в тему Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки Работали на стыке офлайн-оценки и онлайн-экспериментов Занимались оценкой агентских сценариев и мультимодальных моделей Применяли NLP, краудсорсинговые разметки и ML $40 * Уверенно работаете с Python и SQL * Знаете математическую статистику и теорию вероятностей * Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд * Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками * Самостоятельны и готовы браться за новые задачи, для которых нет готового решения * Интересуетесь развитием LLM и хотите глубоко погрузиться в тему * Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки * Работали на стыке офлайн-оценки и онлайн-экспериментов * Занимались оценкой агентских сценариев и мультимодальных моделей * Применяли NLP, краудсорсинговые разметки и ML 1:"$Sreact.fragment" 3:I[91373,[],""] 4:I[28825,[],""] 13:I[59536,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","4219","static/chunks/app/global-error-23401ec313d1fac8.js?dpl=5_22_2"],"default"] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/bd0e9129e084e758.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/5edac0a1412bbe7f.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/34e5326a3c7330ee.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/538e561274e17ebd.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/11b547c492588fe4.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/23631faad39ec107.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/d4f2e83179c82233.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/954262420efb1a84.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/a2fc91f0de32dad0.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/e996f5c8db1b03bf.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/61a0e46022ef665e.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/35a9920de2c4c53c.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/23985fea21e7ee3a.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c632a101197a08ec.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/6b4b148d1ff5b977.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/83b61b5b9378416c.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/4b2db1aa8331d936.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/8a813fb003a86611.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c0997e5a9e026f3a.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/1e45685860cd9a26.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/94c1bf3fabf01984.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/3b28cc8920ddd9c3.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/1bd1ce7cfa4856cd.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/8cf2ec8547df5b22.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c96f571aa7805597.css?dpl=5_22_2","style",{"crossOrigin":"","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 11:X 0:{"P":null,"c":["","vacancies","analitikrazrabotchik-po-otsenke-kachestva-llm-v-yandeks-rd-48870"],"q":"","i":false,"f":[[["",{"children":["vacancies",{"children":["vacancy",{"children":[["slug","analitikrazrabotchik-po-otsenke-kachestva-llm-v-yandeks-rd-48870","d",[]],{"children":["__PAGE__",{},"$undefined","$undefined",4096]},"$undefined","$undefined",4096]},"$undefined","$undefined",4096]},"$undefined","$undefined",4096]},"$undefined","$undefined",4112],[["$","$1","c",{"children":[[["$","link","0",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/bd0e9129e084e758.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","1",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/5edac0a1412bbe7f.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","2",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/34e5326a3c7330ee.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","3",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/538e561274e17ebd.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","4",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/11b547c492588fe4.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","5",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/23631faad39ec107.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","6",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/d4f2e83179c82233.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","7",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/954262420efb1a84.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}]],"$L2"]}],{"children":[["$","$1","c",{"children":[null,["$","$L3",null,{"parallelRouterKey":"children","error":"$undefined","errorStyles":"$undefined","errorScripts":"$undefined","template":["$","$L4",null,{}],"templateStyles":"$undefined","templateScripts":"$undefined","notFound":"$undefined","forbidden":"$undefined","unauthorized":"$undefined"}]]}],{"children":[["$","$1","c",{"children":[null,["$","$L3",null,{"parallelRouterKey":"children","error":"$undefined","errorStyles":"$undefined","errorScripts":"$undefined","template":["$","$L4",null,{}],"templateStyles":"$undefined","templateScripts":"$undefined","notFound":"$undefined","forbidden":"$undefined","unauthorized":"$undefined"}]]}],{"children":[["$","$1","c",{"children":[[["$","link","0",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/a2fc91f0de32dad0.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","1",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/e996f5c8db1b03bf.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","2",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/61a0e46022ef665e.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","3",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/35a9920de2c4c53c.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","4",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/23985fea21e7ee3a.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],"$L5","$L6","$L7","$L8","$L9","$La","$Lb","$Lc","$Ld","$Le"],"$Lf"]}],{"children":["$L10",{},null,false,null]},null,false,null]},null,false,"$11"]},null,false,"$11"]},null,false,null],"$L12",false]],"m":"$undefined","G":["$13",["$L14"]],"S":false,"h":null,"r":"$undefined","s":"$undefined","a":"$undefined","l":"$undefined","p":"$undefined","d":"$undefined"} 16:I[9776,[],"OutletBoundary"] 17:"$Sreact.suspense" 19:I[9776,[],"ViewportBoundary"] 1b:I[9776,[],"MetadataBoundary"] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/213c09b2770e5726.css?dpl=5_22_2","style",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 5:["$","link","5",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c632a101197a08ec.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 6:["$","link","6",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/6b4b148d1ff5b977.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 7:["$","link","7",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/83b61b5b9378416c.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 8:["$","link","8",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/4b2db1aa8331d936.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 9:["$","link","9",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/8a813fb003a86611.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] a:["$","link","10",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c0997e5a9e026f3a.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] b:["$","link","11",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/1e45685860cd9a26.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] c:["$","link","12",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/94c1bf3fabf01984.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] d:["$","link","13",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/3b28cc8920ddd9c3.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] e:["$","link","14",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/1bd1ce7cfa4856cd.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 10:["$","$1","c",{"children":["$L15",[["$","link","0",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/8cf2ec8547df5b22.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","1",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c96f571aa7805597.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}]],["$","$L16",null,{"children":["$","$17",null,{"name":"Next.MetadataOutlet","children":"$@18"}]}]]}] 12:["$","$1","h",{"children":[null,["$","$L19",null,{"children":"$L1a"}],["$","div",null,{"hidden":true,"children":["$","$L1b",null,{"children":["$","$17",null,{"name":"Next.Metadata","children":"$L1c"}]}]}],null]}] 14:["$","link","0",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/213c09b2770e5726.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 11:C 1a:[["$","meta","0",{"charSet":"utf-8"}],["$","meta","1",{"name":"viewport","content":"width=device-width, initial-scale=1"}]] 1d:I[9488,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"RumScript"] 1e:I[89006,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"RumPageIdSync"] 20:I[99740,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"YandexMetrika"] :HL["https://yastatic.net/s3/home/fonts/ys/4/text-regular.woff2","font",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","type":"font/woff2"}] :HL["https://yastatic.net/s3/home/fonts/ys/4/text-medium.woff2","font",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","type":"font/woff2"}] :HL["https://yastatic.net/s3/home/fonts/ys/4/display-regular.woff2","font",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","type":"font/woff2"}] :HL["https://yastatic.net/s3/home/fonts/ys/4/display-medium.woff2","font",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","type":"font/woff2"}] 2:["$","html",null,{"lang":"ru","children":[["$","head",null,{"children":[["$","script",null,{"nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","dangerouslySetInnerHTML":{"__html":"\nwindow.yaContextCb = window.yaContextCb || [];\n(function () {\n var src = 'https://yandex.ru/ads/system/context.js';\n if (document.querySelector('script[src=\"' + src + '\"]')) return;\n var script = document.createElement('script');\n script.src = src;\n script.async = true;\n var nonce = document.currentScript && document.currentScript.nonce;\n if (nonce) script.nonce = nonce;\n document.head.appendChild(script);\n})();"}}],["$","link",null,{"crossOrigin":"anonymous","href":"https://yastatic.net","rel":"preconnect"}],[["$","link","text-regular.woff2",{"rel":"preload","href":"https://yastatic.net/s3/home/fonts/ys/4/text-regular.woff2","as":"font","type":"font/woff2","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","text-medium.woff2",{"rel":"preload","href":"https://yastatic.net/s3/home/fonts/ys/4/text-medium.woff2","as":"font","type":"font/woff2","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","display-regular.woff2",{"rel":"preload","href":"https://yastatic.net/s3/home/fonts/ys/4/display-regular.woff2","as":"font","type":"font/woff2","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","display-medium.woff2",{"rel":"preload","href":"https://yastatic.net/s3/home/fonts/ys/4/display-medium.woff2","as":"font","type":"font/woff2","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}]],["$","meta",null,{"name":"csrf-token","content":"09c625d0f42e4f9a49fe68d483d4604480274309:1792908460"}],["$","$L1d",null,{"id":"career-id.jobs.vacancy.desktop","page":"vacancy","project":"career-portal","version":"","environment":"production","hostname":"yandex.ru","platform":"desktop","requestId":"1792908460976095-3243582342074507391","scriptNonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4","loggedIn":false,"unhandledRejection":true,"additional":{"runtimeEnvironment":"production","pageId":"vacancy"},"testIds":[],"expFlags":["is_new_backend"]}]]}],["$","body",null,{"className":"HR-14-0-0-9ef7bde5cc72cc2044cfa19ea02221266e3e1327 Theme Theme_color_hrLight Theme_root_hrLight Theme_controls_size_m Theme Theme_typography Theme_legacy","suppressHydrationWarning":true,"children":[["$","$L1e",null,{}],"$L1f",["$","$L20",null,{"ids":[28717418],"type":"tag","options":{"clickmap":true,"trackLinks":true,"accurateTrackBounce":true,"webvisor":true,"experiments":"","ecommerce":"dataLayer","params":{"isPassportAuth":false,"isInternal":false,"environment":"production"}}}],false]}]]}] 21:I[69389,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"AuthProviderClient"] 1f:["$","$L21",null,{"value":{"isAuthorized":false,"hasPlus":false,"secretKey":"y7c82db20a3271bb75acc59a6ec568a1d","sessionId":"6dfbb49b86e55630c30232e6c207070a","token":"$undefined","login":"$undefined","uid":"$undefined","avatarId":"$undefined","displayName":"$undefined"},"children":"$L22"}] 23:I[93518,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"EnvContextProvider"] 22:["$","$L23",null,{"value":{"hostname":"yandex.ru","configEnv":"production","runtimeEnv":"production","userAgent":{"ua":"Volna/0.1 (vacancy benchmark; vacancy-intelligence@localhost)","browser":{"name":"$undefined","version":"$undefined","major":"$undefined"},"engine":{"name":"$undefined","version":"$undefined"},"os":{"name":"$undefined","version":"$undefined"},"device":{"vendor":"$undefined","model":"$undefined","type":"$undefined"},"cpu":{"architecture":"$undefined"},"isBot":false},"yaDebug":false,"requestId":"1792908460976095-3243582342074507391"},"children":"$L24"}] 25:I[8997,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"ABProviderClient"] 26:I[20825,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"BunkerProvider"] 24:["$","$L25",null,{"flags":{"is_new_backend":true},"children":["$","$L26",null,{"data":{"vacancy":{"useful-tips":{"usefulTips":[{"link":"/jobs/services/search/analytics?from=vacancy_page","professionsAndProfSphereSlugs":"Analytics","servicesSlugs":"advertising, search, alice, comdep, maps, ecomsearch, browser, elama","title":"Как в Яндексе проходят собеседования для аналитиков"},{"link":"https://yandex.ru/jobs/interview/algorithms","professionsAndProfSphereSlugs":"backend-developer, frontend-developer, mob-app-developer, mob-app-developer-android, mob-app-developer-ios","servicesSlugs":"","title":"Как в Яндексе проходят алгоритмические секции собеседований"},{"link":"/jobs/interview/design?from=vacancy_page ","professionsAndProfSphereSlugs":"Design","servicesSlugs":"","title":"Как мы нанимаем дизайнеров"},{"link":"/jobs/interview/neteng?from=vacancy_page ","professionsAndProfSphereSlugs":"network-engineer, network-engineer","servicesSlugs":"infrastructure, ytsaurus, ydb, datacenters","title":"Как мы нанимаем сетевых инженеров"},{"link":"/jobs/services/cloud/yc-security/interview?from=vacancy_page","professionsAndProfSphereSlugs":"information-security","servicesSlugs":"cloud","title":"Как мы нанимаем ИБ‑инженеров"},{"link":"/jobs/services/infosec/interviews?from=vacancy_page","professionsAndProfSphereSlugs":"information-security","servicesSlugs":"infosec, techplatform","title":"Советы инженеру SOC"},{"link":"/jobs/interview/techman?from=vacancy_page","professionsAndProfSphereSlugs":"Management","servicesSlugs":"","title":"Советы для менеджеров"},{"link":"/jobs/interview/mobdev?from=vacancy_page","professionsAndProfSphereSlugs":"mob-app-developer, mob-app-developer-android, mob-app-developer-ios","servicesSlugs":"","title":"Как мы нанимаем мобильных разработчиков"},{"link":"/jobs/interview/backend?from=vacancy_page","professionsAndProfSphereSlugs":"backend-developer","servicesSlugs":"","title":"Как мы нанимаем бэкенд-разработчиков"},{"link":"/jobs/pages/mldev-interview?from=vacancy_page","professionsAndProfSphereSlugs":"ml-developer","servicesSlugs":"search_portal","title":"Советы для ML разработчиков"},{"link":"/jobs/services/search/analytics?from=vacancy_page","professionsAndProfSphereSlugs":"analyst-developer, analyst, system-analyst, marketing-analyst","servicesSlugs":"search, advertising, alice, maps, crowd, browser, edadeal, translater, selfdriving, ecomsearch, generativetech","title":"Рабочие задачи и этапы найма для аналитиков"},{"link":"/jobs/interview/testing?from=vacancy_page","professionsAndProfSphereSlugs":"tester","servicesSlugs":"","title":"Советы для ручного тестировщика"},{"link":"/jobs/services/search/product?from=vacancy_page","professionsAndProfSphereSlugs":"product-manager","servicesSlugs":"selfdriving, search, alice, maps, browser, generativetech, crowd, advertising, ecomsearch","title":"Как мы управляем продуктами и проектами"},{"link":"https://360.yandex.ru/jobs/backend_development/","professionsAndProfSphereSlugs":"backend-developer","servicesSlugs":"360","title":"Как устроен backend в Яндекс 360"},{"link":"/jobs/services/search/sales","professionsAndProfSphereSlugs":"sales-manager, client-manager, partner-manager, sales-bis-dev-manager, sales-project-manager, bis-dev-manager","servicesSlugs":"comdep","title":"Читайте про рабочие задачи, этапы найма и материалы для подготовки"},{"link":"https://yandex.ru/jobs/interview/hardware","professionsAndProfSphereSlugs":"engineer, engineer-constructor, system-developer","servicesSlugs":"alice, robotics, selfdriving","title":"Как мы нанимаем hardware-инженеров"},{"link":"https://coderun.yandex.ru/selections/yandex-interview?utm_source=yandex&utm_medium=cpc&utm_campaign=jobs","professionsAndProfSphereSlugs":"backend-developer, frontend-developer, mob-app-developer, mob-app-developer-android, mob-app-developer-ios","servicesSlugs":"","title":"Задачи для подготовки к собеседованиям"}]},"":{"duties":{"ru":"Какие задачи вас ждут","en":"Tasks that await you"},"key_qualifications":{"ru":"Мы ждём, что вы","en":"We expect that you"},"additional_requirements":{"ru":"Будет плюсом, если вы","en":"It'd be a plus if you"},"conditions":{"ru":"Что мы предлагаем","en":"Our benefits"}}},"jobsEnvironment":{"how-we-hire":{"links":[{"professionSlugs":["dev-ops"],"title":"Как мы нанимаем DevOps-инженеров","href":"/jobs/interview/devops"},{"professionSlugs":["ml-developer"],"title":"Как мы нанимаем ML-специалистов","href":"/jobs/interview/mldev"},{"professionSlugs":["analyst-developer"],"title":"Как мы нанимаем аналитиков","href":"/jobs/interview/analytics"},{"professionSlugs":["backend-developer"],"title":"Как мы нанимаем бэкенд-разработчиков","href":"/jobs/interview/backend"},{"professionSlugs":["designer-uxui"],"title":"Как мы нанимаем дизайнеров","href":"/jobs/interview/design"},{"professionSlugs":["operating-engineer"],"title":"Как мы нанимаем инженеров по доступности сервисов","href":"/jobs/interview/sreeng"},{"professionSlugs":["information-security"],"title":"Как мы нанимаем специалистов по информационной безопасности","href":"/jobs/interview/infosec"},{"professionSlugs":["tech-manager"],"title":"Как мы нанимаем менеджеров","href":"/jobs/interview/pm"},{"professionSlugs":["mob-app-developer","mob-app-developer-android","mob-app-developer-ios"],"title":"Как мы нанимаем мобильных разработчиков","href":"/jobs/interview/mobdev"},{"professionSlugs":["tester"],"title":"Как мы нанимаем ручных тестировщиков","href":"/jobs/interview/testing"},{"professionSlugs":["network-engineer"],"title":"Как мы нанимаем сетевых инженеров","href":"/jobs/interview/neteng"},{"professionSlugs":["frontend-developer"],"title":"Как мы нанимаем фронтенд-разработчиков","href":"/jobs/interview/frontend"}]},"vacancy":{"benefits":{"ru":{"button":{"text":"Больше о бенефитах","href":"https://yandex.ru/jobs/benefits"},"groups":{"general":{"highlight":{"title":"AI-инструменты","text":"Компенсация от 100М токенов для ваших экспериментов и оптимизации рутины.\nДоступ к передовым моделям для ежедневной работы.","icon":"ai"},"categories":[{"id":"health","name":"Здоровье","description":"Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:","items":[{"title":"Базовые услуги","text":"Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний."},{"title":"Ментальное здоровье","text":"Врачи в клиниках по ДМС, онлайн-консультации с психологами. А также психотерапия в офисах, где есть кабинет психотерапевта."},{"title":"Ежегодные чекапы","text":"Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться."},{"title":"Больничный","text":"30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели."},{"title":"Стоматология","text":"Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом."},{"title":"Коррекция зрения","text":"После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия."},{"title":"Терапевты в офисах","text":"Если почувствовали себя неважно, можно обратиться в кабинет врача-терапевта, такие есть во всех крупных офисах Яндекса."},{"title":"Ведение беременности и роды","text":"Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет."}],"footer":"Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас."},{"id":"growth","name":"Рост и развитие","description":"В Яндексе есть всё, чтобы постоянно развиваться и учиться новому:","items":[{"title":"Обучение","text":"В Яндексе есть собственная образовательная платформа с более чем 700 курсами и специальные программы для начинающих и опытных руководителей."},{"title":"Профессиональные сообщества","text":"Для проджектов и продактов, аналитиков, дизайнеров, рекрутеров и других специалистов."},{"title":"Профильные конференции","text":"Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника."}]},{"id":"sport","name":"Спорт","description":"Мы любим спорт и считаем его важной частью хорошего самочувствия каждого яндексоида. Поэтому у нас есть:","items":[{"title":"Спортзалы в офисе","text":"Во всех крупных офисах Яндекса есть спортзалы со всем необходимым. Можно заниматься самостоятельно или позвать своего тренера."},{"title":"Спортивные клубы","text":"В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в соревнованиях."},{"title":"Специальные события","text":"Фестивали спорта и здорового образа жизни, уникальные спортивные проекты во дворах офисов."},{"title":"Спорт вне офиса","text":"У нас есть скидки в фитнес-клубах, бассейнах, студиях йоги, на скалодромах и в других местах."}]},{"id":"more","name":"И ещё","description":"","items":[{"title":"Жилищные займы","text":"Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса."},{"title":"Скидки на услуги и сервисы","text":"На внутреннем портале можно найти сотни услуг и сервисов. Также при оплате зарплатной картой можно получать повышенный кешбэк и дополнительные скидки."},{"title":"Детские образовательные проекты","text":"Специальные образовательные проекты от наших сервисов для мини-яндексоидов разных возрастов — офлайн и онлайн."},{"title":"Подписка Плюса","text":"Для всех яндексоидов."}]}]},"regional":{"highlight":{"title":"AI-инструменты","text":"Компенсация от 100М токенов для ваших экспериментов и оптимизации рутины.\nДоступ к передовым моделям для ежедневной работы.","icon":"ai"},"categories":[{"id":"health","name":"Здоровье","description":"Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:","items":[{"title":"Базовые услуги","text":"Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний."},{"title":"Ментальное здоровье","text":"Врачи в клиниках по ДМС, онлайн-консультации с психологами."},{"title":"Ежегодные чекапы","text":"Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться."},{"title":"Больничный","text":"30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели."},{"title":"Стоматология","text":"Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом."},{"title":"Коррекция зрения","text":"После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия."},{"title":"Ведение беременности и роды","text":"Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет."}],"footer":"Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас."},{"id":"growth","name":"Рост и развитие","description":"В Яндексе есть всё, чтобы постоянно развиваться и учиться новому:","items":[{"title":"Обучение","text":"В Яндексе есть собственная образовательная платформа с более чем 700 курсами, и специальные программы для начинающих и опытных руководителей."},{"title":"Профессиональные сообщества","text":"Для проджектов и продактов, аналитиков, дизайнеров, рекрутеров и других специалистов."},{"title":"Профильные конференции","text":"Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника."}]},{"id":"sport","name":"Спорт","description":"Мы любим спорт и считаем его важной частью хорошего самочувствия каждого яндексоида. Поэтому у нас есть:","items":[{"title":"Спортзалы в офисе","text":"В Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани и Нижнем Новгороде есть спортзалы со всем необходимым. Можно заниматься самостоятельно или позвать своего тренера."},{"title":"Спортивные клубы","text":"В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в соревнованиях."},{"title":"Спорт вне офиса","text":"У нас есть скидки в фитнес-клубах, бассейнах, студиях йоги, на скалодромах и в других местах."}]},{"id":"more","name":"И ещё","description":"","items":[{"title":"Жилищные займы","text":"Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса."},{"title":"Скидки на услуги и сервисы","text":"На внутреннем портале можно найти сотни услуг и сервисов. Также при оплате зарплатной картой можно получать повышенный кешбэк и дополнительные скидки."},{"title":"Детские образовательные проекты","text":"Специальные образовательные проекты от наших сервисов для мини-яндексоидов разных возрастов — офлайн и онлайн."},{"title":"Подписка Плюса","text":"Для всех яндексоидов."}]}]},"dc":{"categories":[{"id":"health","name":"Здоровье","description":"Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят:","items":[{"title":"Базовые услуги","text":"Плановая помощь и неотложная за рубежом, страхование от несчастных случаев для любителей активного отдыха и лечение критических заболеваний."},{"title":"Ментальное здоровье","text":"Врачи в клиниках по ДМС, онлайн-консультации с психологами."},{"title":"Ежегодные чекапы","text":"Мы за превентивную заботу о здоровье, поэтому по ДМС можно проходить чекапы и регулярно вакцинироваться."},{"title":"Больничный","text":"30 дней в году оплачиваются — вы получите полную зарплату, как будто не болели."},{"title":"Стоматология","text":"Плановые процедуры, профессиональная чистка и экстренная помощь за рубежом."},{"title":"Коррекция зрения","text":"После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия."},{"title":"Ведение беременности и роды","text":"Оплачиваем ведение беременности и роды для сотрудниц и жён сотрудников, которые с нами более двух лет."}],"footer":"Страховка для родственников по системе 80/20: мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%. В страховку входит всё то же самое, что и у вас."},{"id":"growth","name":"Рост и развитие","description":"В Яндексе есть всё, чтобы постоянно развиваться и учиться новому:","items":[{"title":"Обучение","text":"В Яндексе есть собственная образовательная платформа с более чем 700 курсами, и специальные программы для начинающих и опытных руководителей."},{"title":"Профессиональные сообщества","text":"Для проджектов и продактов, аналитиков, дизайнеров, рекрутеров и других специалистов."},{"title":"Профильные конференции","text":"Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника."}]},{"id":"sport","name":"Спорт","description":"Мы любим спорт и считаем его важной частью хорошего самочувствия каждого яндексоида. Поэтому у нас есть:","items":[{"title":"Спортзалы в офисе","text":"В дата-центрах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей."},{"title":"Спортивные клубы","text":"В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в соревнованиях."},{"title":"Спорт вне офиса","text":"В городах, где есть наши партнёры, у сотрудников есть скидки в фитнес-клубах, бассейнах, студиях йоги, на скалодромах и в других местах."}]},{"id":"more","name":"И ещё","description":"","items":[{"title":"Детские образовательные проекты","text":"Специальные образовательные проекты от наших сервисов для мини-яндексоидов разных возрастов — офлайн и онлайн."},{"title":"Скидки на услуги и сервисы","text":"На внутреннем портале можно найти сотни услуг и сервисов. Также при оплате зарплатной картой можно получать повышенный кешбэк и дополнительные скидки."},{"title":"Подписка Плюса","text":"Для всех яндексоидов."}]}]}}},"en":{"button":{"text":"More about benefits"},"groups":{"general":{"highlight":{"title":"AI tools","text":"100M+ tokens for your experiments and routine optimization.\nAccess to advanced models for your everyday work.","icon":"ai"},"categories":[{"id":"health","name":"Health","description":"Enhanced medical insurance begins from your first month at Yandex. It covers health care services at clinics and hospitals, whether for emergency care, surgeries, routine visits in your home country or abroad, medical tests and diagnostics, dental care, accident insurance, etc.","items":[{"title":"Corporate insurance plans for family members (children and spouses) on special terms.","text":""},{"title":"Mental health programs","text":""}]},{"id":"growth","name":"Growth","description":"At Yandex, we have everything you need for continuous growth and learning: an internal educational platform, mentoring, and programs for both beginners and experienced leaders.","body":"We also cover the cost of attending industry conferences — both as a speaker and as a participant.","items":[],"footer":"Moreover, at Yandex, we have internal projects where our employees share their expertise, discuss complex topics, and analyze their project cases."},{"id":"sport","name":"Sport","description":"At Yandex's big offices, we have our own fully equipped gyms. There, you can work out independently or with a trainer.","items":[{"title":"Free online fitness classes","text":""},{"title":"Additional discounts at fitness clubs and/or other fitness providers.","text":""},{"title":"Reimbursement of sports competitions.","text":""},{"title":"Corporate sport form for official sports competitions.","text":""}],"footer":"At Yandex, we promote health and fitness and have sports clubs and communities. You are welcome to join the existing teams or groups or create your own. You can join existing teams or create your own."},{"id":"more","name":"And more","description":"","items":[{"title":"Flexible schedule","text":"We don't have a set start and end time for the workday — work when it's convenient for you and your team."},{"title":"Hybrid format","text":"Work where it's most convenient for you — for example, part of the week from the office and part from home."},{"title":"Everything for children","text":"Medical Insurance plans, kids' days at the office, gifts for newborns."}]}]},"regional":{"highlight":{"title":"AI tools","text":"100M+ tokens for your experiments and routine optimization.\nAccess to advanced models for your everyday work.","icon":"ai"},"categories":[{"id":"health","name":"Health","description":"Enhanced medical insurance begins from your first month at Yandex. It covers health care services at clinics and hospitals, whether for emergency care, surgeries, routine visits in your home country or abroad, medical tests and diagnostics, dental care, accident insurance, etc.","items":[{"title":"Corporate insurance plans for family members (children and spouses) on special terms.","text":""},{"title":"Mental health programs","text":""}]},{"id":"growth","name":"Growth","description":"At Yandex, we have everything you need for continuous growth and learning: an internal educational platform, mentoring, and programs for both beginners and experienced leaders.","items":[],"footer":"Moreover, at Yandex, we have internal projects where our employees share their expertise, discuss complex topics, and analyze their project cases."},{"id":"sport","name":"Sport","description":"At Yandex's big offices, we have our own fully equipped gyms. There, you can work out independently or with a trainer.","items":[{"title":"Free online fitness classes","text":""},{"title":"Additional discounts at fitness clubs and/or other fitness providers.","text":""},{"title":"Reimbursement of sports competitions.","text":""},{"title":"Corporate sport form for official sports competitions.","text":""}],"footer":"At Yandex, we promote health and fitness and have sports clubs and communities. You are welcome to join the existing teams or groups or create your own. You can join existing teams or create your own."},{"id":"more","name":"And more","description":"","items":[{"title":"Flexible schedule","text":"We don't have a set start and end time for the workday — work when it's convenient for you and your team."},{"title":"Hybrid format","text":"Work where it's most convenient for you — for example, part of the week from the office and part from home."},{"title":"Everything for children","text":"Medical Insurance plans, kids' days at the office, gifts for newborns."}]}]},"dc":{"categories":[{"id":"health","name":"Health","description":"Enhanced medical insurance begins from your first month at Yandex. It covers health care services at clinics and hospitals, whether for emergency care, surgeries, routine visits in your home country or abroad, medical tests and diagnostics, dental care, accident insurance, etc.","items":[{"title":"Corporate insurance plans for family members (children and spouses) on special terms.","text":""},{"title":"Mental health programs","text":""}]},{"id":"growth","name":"Growth","description":"At Yandex, we have everything you need for continuous growth and learning: an internal educational platform, mentoring, and programs for both beginners and experienced leaders.","items":[],"footer":"Moreover, at Yandex, we have internal projects where our employees share their expertise, discuss complex topics, and analyze their project cases."},{"id":"sport","name":"Sport","description":"We love sports and consider it an important part of every Yandex employee's well-being. That's why we have:","items":[{"title":"Yandex data centers have gyms with everything you need: exercise equipment, sports gear, showers, and lockers for clothes and belongings.","text":""},{"title":"Yandex has a sports club and many sports teams. They have their own leaders, chats, and training programs. They also regularly participate in competitions.","text":""},{"title":"In cities where we have partners, employees get discounts at fitness clubs, swimming pools, yoga studios, climbing gyms, and other places.","text":""}]},{"id":"more","name":"And more","description":"","items":[{"title":"Flexible schedule","text":"We don't have a set start and end time for the workday — work when it's convenient for you and your team."},{"title":"Hybrid format","text":"Work where it's most convenient for you — for example, part of the week from the office and part from home."},{"title":"Everything for children","text":"Medical Insurance plans, kids' days at the office, gifts for newborns."}]}]}}}}},"career-agent":{"professionSlugs":["backend-developer","tech-support","analyst-developer","ml-developer","product-manager","project-manager-business","mob-app-developer","analyst","tech-manager","marketing-manager","designer-uxui","frontend-developer","information-security","tester","dev-ops","network-engineer","system-developer","financial-analyst","support-specialist","designer","copywriter","system-analyst","content-manager","editor","pr-manager","ml-researcher","ux-researcher","videographer","full-stack-developer","desktop-developer","database-developer","sys-admin","it-dc","methodist","training-specialist","mediaplanner","smm","recruiter","hr-manager","hr-partner","hr-analyst","mob-app-developer-android","mob-app-developer-ios","noc-developer","database-admin","service-desk","project-manager","producer","tech-writer","traffic-manager","creative-manager","community-manager","comp-bene","adaptation-specialist"],"suggestions":{"vacancy":{"authenticated":["Подхожу ли я?","Подготовить резюме","Написать сопроводительное"],"guest":["Войти и подготовить резюме с сопроводительным"]},"search":{"authenticated":["Подобрать вакансии","Подготовить резюме"],"guest":["Войти и подобрать вакансии"]}}}}},"children":"$L27"}]}] 28:I[1330,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"RequesterProvider"] 29:I[97737,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"CareerIdApiConfigProvider"] 2a:I[51938,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"FemidaApiConfigProvider"] 2b:I[58932,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","9130","static/chunks/9130-516a88d8def6e3c5.js?dpl=5_22_2","3327","static/chunks/3327-c8e5c6a37132c22d.js?dpl=5_22_2","7615","static/chunks/7615-1cceddee0ef702c1.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","7177","static/chunks/app/layout-ae560a76b3511dce.js?dpl=5_22_2"],"ClientProviders"] 2c:I[97303,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","9711","static/chunks/9711-7e941a4ccd11605e.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","6706","static/chunks/6706-677c6340003a1fc7.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","7776","static/chunks/7776-86d4d417cfb7ac1e.js?dpl=5_22_2","732","static/chunks/732-3a567e1d57ec2e49.js?dpl=5_22_2","1720","static/chunks/app/vacancies/%5B%5B...filters%5D%5D/page-d6c5bcf53b82f6ae.js?dpl=5_22_2"],"ErrorScreen"] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/a6989c43f2413320.css?dpl=5_22_2","style",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] :HL["https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/6650ad814ce90717.css?dpl=5_22_2","style",{"crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}] 27:["$","$L28",null,{"serverData":{"blackboxData":{"login":"$undefined","attributes":"$undefined"},"expFlags":{"is_new_backend":true},"requestId":"1792908460976095-3243582342074507391","traceparent":"00-d1f8c5fce99ea926455fadea96eb0262-0c6f457d0dab5261-01","searchParams":{},"realIp":"2a02:6b8:c85:488:10e:af61:aa10:0"},"children":["$","$L29",null,{"careerIdBaseUrl":"$undefined","children":["$","$L2a",null,{"serverData":"$27:props:serverData","children":["$","$L2b",null,{"language":"ru","initialViewport":"desktop","children":["$","$L3",null,{"parallelRouterKey":"children","error":"$undefined","errorStyles":"$undefined","errorScripts":"$undefined","template":["$","$L4",null,{}],"templateStyles":"$undefined","templateScripts":"$undefined","notFound":[["$","$L2c",null,{"code":404}],[["$","link","0",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/e996f5c8db1b03bf.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","1",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/23985fea21e7ee3a.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","2",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/c632a101197a08ec.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","3",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/a6989c43f2413320.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}],["$","link","4",{"rel":"stylesheet","href":"https://jobs.s3.yandex.net/static/career_id_www/_next/static/css/6650ad814ce90717.css?dpl=5_22_2","precedence":"next","crossOrigin":"anonymous","nonce":"MGQwM2ExMDUtNjJkNy00NmYxLTllZWYtYTM2ZWVlZWY4NmU4"}]]],"forbidden":"$undefined","unauthorized":"$undefined"}]}]}]}]}] 2f:I[137,[],"IconMark"] [contact omitted]","@type":"JobPosting","title":"Аналитик-разработчик по оценке качества LLM в Яндекс R&D","description":"\u003cp>Alice AI — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы измеряем, как модели отвечают на реальные пользовательские запросы, и на основании этих замеров команда принимает решение о релизе.\u003c/p>\n\u003cp>Приёмка — момент, когда решается судьба выкатки. Перед каждым релизом нужно понять, как изменилось качество модели: на каких сценариях она выросла, где просела и достаточно ли этого качества для пользователей. Мы измеряем модель по нескольким независимым аспектам силами профессиональных разметчиков, доменных экспертов и автоматических оценщиков, а затем собираем из этих сигналов одно заключение. Заключение приёмки — основание, по которому модель уезжает в прод или не уезжает; решение принимается вместе с ML-разработчиками и продуктовой командой.\u003c/p>\n\u003cp>Мы расширяем команду. Ищем аналитика, который возьмёт на себя контур замеров: запуск приёмок, контроль прохождения разметки и анализ результатов.\u003c/p>\n\u003cp>Вы увидите изнутри всю кухню оценки качества LLM — от состава оценочных наборов до критериев, по которым релиз останавливают. Процесс активно автоматизируется: рутина будет уходить, а ваша роль — расти в сторону анализа и методологии. Вы будете работать бок о бок с ML-инженерами качества, доменными экспертами и командой краудсорса.\u003c/p>\n\n\u003cp>\u003cb>Организация приёмок новых версий моделей\u003c/b>\n\u003cbr/>В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки.\u003c/p>\n\u003cp>Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать.\u003c/p>\n\u003cp>\u003cb>Контроль разметки\u003c/b>\n\u003cbr/>Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего.\u003c/p>\n\u003cp>\u003cb>Сбор и анализ результатов\u003c/b>\n\u003cbr/>Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками.\u003c/p>\n\u003cp>По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта.\u003c/p>\n\u003cp>\u003cb>Развитие процесса\u003c/b>\n\u003cbr/>Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает.\u003c/p>\n\u003cp>\u003cb>Больше об аналитике в Яндексе — в канале \u003ca href=\"[contact omitted]\" rel=\"nofollow\" target=\"_blank\">Yandex for Analytics\u003c/a>\u003c/b>\u003c/p>\n\n\u003cul>\n\u003cli>Уверенно работаете с Python и SQL\u003c/li>\n\u003cli>Знаете математическую статистику и теорию вероятностей\u003c/li>\n\u003cli>Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд\u003c/li>\n\u003cli>Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками\u003c/li>\n\u003cli>Самостоятельны и готовы браться за новые задачи, для которых нет готового решения\u003c/li>\n\u003cli>Интересуетесь развитием LLM и хотите глубоко погрузиться в тему\u003c/li>\n\u003c/ul>\n\n\u003cul>\n\u003cli>Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки\u003c/li>\n\u003cli>Работали на стыке офлайн-оценки и онлайн-экспериментов\u003c/li>\n\u003cli>Занимались оценкой агентских сценариев и мультимодальных моделей\u003c/li>\n\u003cli>Применяли NLP, краудсорсинговые разметки и ML\u003c/li>\n\u003c/ul>\n","datePosted":"2026-10-07","directApply":true,"identifier":{"@[contact omitted]":[{"@type":"Place","address":{"@type":"PostalAddress","addressLocality":"Москва","addressCountry":"RU"}}],"responsibilities":"\u003cp>\u003cb>Организация приёмок новых версий моделей\u003c/b>\n\u003cbr/>В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки.\u003c/p>\n\u003cp>Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать.\u003c/p>\n\u003cp>\u003cb>Контроль разметки\u003c/b>\n\u003cbr/>Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего.\u003c/p>\n\u003cp>\u003cb>Сбор и анализ результатов\u003c/b>\n\u003cbr/>Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками.\u003c/p>\n\u003cp>По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта.\u003c/p>\n\u003cp>\u003cb>Развитие процесса\u003c/b>\n\u003cbr/>Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает.\u003c/p>\n\u003cp>\u003cb>Больше об аналитике в Яндексе — в канале \u003ca href=\"[contact omitted]\" rel=\"nofollow\" target=\"_blank\">Yandex for Analytics\u003c/a>\u003c/b>\u003c/p>\n","qualifications":"\u003cul>\n\u003cli>Уверенно работаете с Python и SQL\u003c/li>\n\u003cli>Знаете математическую статистику и теорию вероятностей\u003c/li>\n\u003cli>Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд\u003c/li>\n\u003cli>Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками\u003c/li>\n\u003cli>Самостоятельны и готовы браться за новые задачи, для которых нет готового решения\u003c/li>\n\u003cli>Интересуетесь развитием LLM и хотите глубоко погрузиться в тему\u003c/li>\n\u003c/ul>\n\n\u003cul>\n\u003cli>Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки\u003c/li>\n\u003cli>Работали на стыке офлайн-оценки и онлайн-экспериментов\u003c/li>\n\u003cli>Занимались оценкой агентских сценариев и мультимодальных моделей\u003c/li>\n\u003cli>Применяли NLP, краудсорсинговые разметки и ML\u003c/li>\n\u003c/ul>\n"}15:[["$","script",null,{"type":"application/ld+json","dangerouslySetInnerHTML":{"__html":"$2d"}}],"$L2e"] 18:null 1c:[["$","title","0",{"children":"Вакансия «Аналитик-разработчик по оценке качества LLM в Яндекс R&D» в Яндексе — работа в компании Яндекс для IT-специалистов"}],["$","meta","1",{"name":"description","content":"Работа в компании Яндекс для специалиста «Аналитик-разработчик по оценке качества LLM в Яндекс R&D». От 3 лет. Высокая заработная плата и социальные гарантии в IT-компании России"}],["$","link","2",{"rel":"canonical","href":"https://yandex.ru/jobs/vacancies/analitikrazrabotchik-po-otsenke-kachestva-llm-v-yandeks-rd-48870"}],["$","meta","3",{"name":"format-detection","content":"telephone=no"}],["$","meta","4",{"property":"og:title","content":"Вакансия «Аналитик-разработчик по оценке качества LLM в Яндекс R&D» в Яндексе — работа в компании Яндекс для IT-специалистов"}],["$","meta","5",{"property":"og:description","content":"Работа в компании Яндекс для специалиста «Аналитик-разработчик по оценке качества LLM в Яндекс R&D». От 3 лет. Высокая заработная плата и социальные гарантии в IT-компании России"}],["$","meta","6",{"property":"og:image","content":"https://yandex.ru/jobs/og_images/vacancy/48870"}],["$","meta","7",{"property":"og:image:width","content":"1200"}],["$","meta","8",{"property":"og:image:height","content":"630"}],["$","meta","9",{"property":"og:image:alt","content":"Вакансия «Аналитик-разработчик по оценке качества LLM в Яндекс R&D» в Яндексе — работа в компании Яндекс для IT-специалистов"}],["$","meta","10",{"property":"og:type","content":"article"}],["$","meta","11",{"name":"twitter:card","content":"summary_large_image"}],["$","meta","12",{"name":"twitter:title","content":"Вакансия «Аналитик-разработчик по оценке качества LLM в Яндекс R&D» в Яндексе — работа в компании Яндекс для IT-специалистов"}],["$","meta","13",{"name":"twitter:description","content":"Работа в компании Яндекс для специалиста «Аналитик-разработчик по оценке качества LLM в Яндекс R&D». От 3 лет. Высокая заработная плата и социальные гарантии в IT-компании России"}],["$","meta","14",{"name":"twitter:image","content":"https://yandex.ru/jobs/og_images/vacancy/48870"}],["$","meta","15",{"name":"twitter:image:alt","content":"Вакансия «Аналитик-разработчик по оценке качества LLM в Яндекс R&D» в Яндексе — работа в компании Яндекс для IT-специалистов"}],["$","meta","16",{"name":"twitter:image:width","content":"1200"}],["$","meta","17",{"name":"twitter:image:height","content":"630"}],["$","link","18",{"rel":"icon","href":"/jobs/favicon.ico","type":"image/x-icon","sizes":"16x16"}],["$","link","19",{"rel":"icon","href":"/jobs/favicon.png","type":"image/png","sizes":"512x512"}],["$","link","20",{"rel":"apple-touch-icon","href":"/jobs/apple-touch-icon.png","type":"image/png","sizes":"180x180"}],["$","$L2f","21",{}]] 30:I[58000,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyMetrikaProvider"] 31:I[36549,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyEcommerceTracker"] 32:I[76235,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyApplicationStatusProvider"] 33:I[13091,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyCareerAgentProvider"] 34:I[11555,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyPageLayout"] 35:I[45698,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"UsefulLinksDesktop"] 36:I[20343,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"BenefitsSection"] 37:I[35047,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"VacancyFloatingButton"] f:["$","$L30",null,{"vacancyId":1036688,"publicationId":48870,"profession":"Аналитик-разработчик","service":"Yandex R&D","isPassportAuth":false,"isFastTrack":false,"isArchived":false,"children":[["$","$L31",null,{"id":48870,"title":"Аналитик-разработчик по оценке качества LLM в Яндекс R&D","serviceName":"Yandex R&D","professionName":"Аналитик-разработчик","level":"publications.pro_level.middle"}],["$","$L32","48870",{"hasAlreadyApplied":false,"children":["$","$L33",null,{"publicationId":48870,"professionSlugs":["analyst-developer"],"publicationStatus":"published","children":["$","$L34",null,{"leftSidebar":["$","$L35",null,{"links":[{"href":"/jobs/services/search/analytics?from=vacancy_page","text":"Рабочие задачи и этапы найма для аналитиков"}],"cities":[{"id":1,"slug":"moscow","name":"Москва","prepositionalName":"Москве"}],"service":{"name":"Yandex R&D","slug":"generativetech","icon":"https://jobs.s3.yandex.net/public_services/logo-rd.svg_5ce021d2677d41aba25144d764a2bd7c"},"isArchived":false}],"benefitsSection":["$","$L36",null,{"benefitsType":"general"}],"rightSidebar":["$","$L37",null,{"isAuthenticated":false,"isOnStaff":false,"vacancyId":1036688,"showSpaceLink":false,"publicationStatus":"published"}],"applySection":"$L38","applySectionHasBackground":true,"similarVacancies":"$undefined","seeMore":{"professionName":"Аналитик-разработчик","professionSlug":"analyst-developer","serviceName":"Yandex R&D","serviceSlug":"generativetech"},"isArchived":false,"children":["$","$L3",null,{"parallelRouterKey":"children","error":"$undefined","errorStyles":"$undefined","errorScripts":"$undefined","template":["$","$L4",null,{}],"templateStyles":"$undefined","templateScripts":"$undefined","notFound":"$undefined","forbidden":"$undefined","unauthorized":"$undefined"}]}]}]}]]}] 38:["$","div",null,{"id":"apply-section","children":"$L39"}] 3a:I[76640,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","3467","static/chunks/3467-[contact omitted]b1673.js?dpl=5_22_2","5500","static/chunks/5500-52b790e31904b683.js?dpl=5_22_2","6598","static/chunks/6598-4bb73985808a0744.js?dpl=5_22_2","7609","static/chunks/7609-bd6e342d58f66ec8.js?dpl=5_22_2","4998","static/chunks/4998-cf158bc3bb2da52c.js?dpl=5_22_2","7275","static/chunks/7275-b2d4ea887f9f8217.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3337","static/chunks/3337-5d6d4768369a5f4a.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","3735","static/chunks/3735-53b45b4af1d82fac.js?dpl=5_22_2","8046","static/chunks/8046-41983b2db20198bf.js?dpl=5_22_2","8805","static/chunks/8805-763d2e23e74d627f.js?dpl=5_22_2","9619","static/chunks/9619-7e505dddd5183698.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","5961","static/chunks/app/vacancies/vacancy/%5Bslug%5D/layout-9ef0a2377581f320.js?dpl=5_22_2"],"AuthenticationInformerClient"] 39:["$","$L3a",null,{"passportUrl":"https://passport.yandex.ru/auth"}] 3b:I[9900,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"VacancyHeader"] 3c:I[11173,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"VacancyTags"] 3d:I[48,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"FastTrackSection"] 3e:I[15870,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"HiringManagerSection"] 3f:I[60603,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"DescriptionSection"] 41:I[85678,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"DutiesSection"] 40:T994,Alice AI — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы измеряем, как модели отвечают на реальные пользовательские запросы, и на основании этих замеров команда принимает решение о релизе. Приёмка — момент, когда решается судьба выкатки. Перед каждым релизом нужно понять, как изменилось качество модели: на каких сценариях она выросла, где просела и достаточно ли этого качества для пользователей. Мы измеряем модель по нескольким независимым аспектам силами профессиональных разметчиков, доменных экспертов и автоматических оценщиков, а затем собираем из этих сигналов одно заключение. Заключение приёмки — основание, по которому модель уезжает в прод или не уезжает; решение принимается вместе с ML-разработчиками и продуктовой командой. Мы расширяем команду. Ищем аналитика, который возьмёт на себя контур замеров: запуск приёмок, контроль прохождения разметки и анализ результатов. Вы увидите изнутри всю кухню оценки качества LLM — от состава оценочных наборов до критериев, по которым релиз останавливают. Процесс активно автоматизируется: рутина будет уходить, а ваша роль — расти в сторону анализа и методологии. Вы будете работать бок о бок с ML-инженерами качества, доменными экспертами и командой краудсорса.42:Taab, Организация приёмок новых версий моделей В ваши обязанности войдёт подготовка оценочных наборов, постановка задач по всем аспектам качества, настройка и запуск пайплайнов оценки. Приёмки проходят несколько раз в неделю, они идут параллельно и зависят от дат релизов, поэтому очень важно их все контролировать. Контроль разметки Замер действует неделю и проходит через несколько команд и пулов. Вам предстоит следить за его статусом, выявлять и устранять сбои, а также отслеживать недоставленные или потерянные данные. Нужно будет разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами. Это та часть работы, где аккуратность и въедливость дают больше всего. Сбор и анализ результатов Вы будете сводить результаты всех аспектов в одну картину: считать значимость, отличать настоящее изменение от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками. По каждому релизу должно быть заключение с разбором сценариев и конкретными примерами; раз в неделю — сводка по всем замерам для ML-команд и продукта. Развитие процесса Параллельно мы автоматизируем приёмку и строим под неё инструменты. Вы будете главным заказчиком и первым пользователем этой автоматизации: приносить требования, обкатывать новое и забирать себе те задачи, которые она освобождает. Больше об аналитике в Яндексе — в канале Yandex for Analytics 2e:["$","main",null,{"className":"Vacancy_vacancy__v__uk","children":[["$","div",null,{"className":"Vacancy_vacancyIntro__abrxu","children":["$","$L3b",null,{"className":"Vacancy_vacancySection__1kAZB","title":"Аналитик-разработчик по оценке качества LLM в Яндекс R&D","tags":["$","$L3c",null,{"vacancy":{"id":1036688,"cities":[{"id":1,"slug":"moscow","name":"Москва"}],"skills":[],"work_modes":[{"id":2,"slug":"office","name":"Офис"}],"pro_level_min_display":"publications.pro_level.middle","pro_level_max_display":"publications.pro_level.senior","profession":{"id":39,"slug":"analyst-developer","name":"Аналитик-разработчик","professional_sphere":{"id":3,"slug":"Analytics","name":"Техническая аналитика"}},"public_professions":[{"id":21,"slug":"analyst-developer","name":"Аналитик-разработчик","professional_sphere":{"id":4,"slug":"Analytics","name":"Аналитика"}}],"employment_types":["office"]}}],"isAuthenticated":false,"isOnStaff":false,"vacancyId":1036688,"showSpaceLink":false,"publicationStatus":"published","professionSlug":"analyst-developer"}]}],["$","div",null,{"className":"Vacancy_vacancyBody__3GkLR","children":[["$","$L3d",null,{"className":"Vacancy_vacancySection__1kAZB","fastTrackConfig":{"isAvailable":false}}],["$","$L3e",null,{"className":"Vacancy_vacancySection__1kAZB","contacts":[]}],["$","$L3f",null,{"className":"Vacancy_vacancySection__1kAZB","description":"$40"}],["$","$L41",null,{"className":"Vacancy_vacancySection__1kAZB","duties":"$42"}],"$L43","$L44","$L45","$L46"]}]]}] 47:I[8437,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"QualificationsSection"] 48:I[40787,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"RequirementsSection"] 49:I[55150,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"TeamSection"] 4a:I[56861,["5144","static/chunks/5144-ab34660025cf6f7f.js?dpl=5_22_2","9860","static/chunks/9860-cc0bdc8729d36109.js?dpl=5_22_2","1885","static/chunks/1885-c2f0613199b11a90.js?dpl=5_22_2","6563","static/chunks/6563-653d19ada22689c3.js?dpl=5_22_2","3664","static/chunks/3664-cb6ddc0823416a4a.js?dpl=5_22_2","9088","static/chunks/9088-5481075110bb6e18.js?dpl=5_22_2","3527","static/chunks/3527-429efe152294679b.js?dpl=5_22_2","5529","static/chunks/5529-0181524354041e4e.js?dpl=5_22_2","3150","static/chunks/3150-5864564642a60c1d.js?dpl=5_22_2","5654","static/chunks/5654-61b77f8ed3ece2c2.js?dpl=5_22_2","1602","static/chunks/1602-27cc2cb8d867c536.js?dpl=5_22_2","3678","static/chunks/3678-eb5ab6bd12c754a5.js?dpl=5_22_2","8212","static/chunks/[contact omitted]d7c79fce4.js?dpl=5_22_2","1838","static/chunks/app/vacancies/vacancy/%5Bslug%5D/page-f5d45f6a0706a1ed.js?dpl=5_22_2"],"UsefulLinksMobile"] 43:["$","$L47",null,{"className":"Vacancy_vacancySection__1kAZB","keyQualifications":"* Уверенно работаете с Python и SQL\r\n* Знаете математическую статистику и теорию вероятностей\r\n* Доводите до конца многошаговые процессы с внешними зависимостями: чужие пайплайны, пулы разметки, сроки соседних команд\r\n* Умеете формулировать обоснованное заключение по данным и защищать его перед заказчиками\r\n* Самостоятельны и готовы браться за новые задачи, для которых нет готового решения\r\n* Интересуетесь развитием LLM и хотите глубоко погрузиться в тему"}] 44:["$","$L48",null,{"className":"Vacancy_vacancySection__1kAZB","additionalRequirements":"* Проводили оценку качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки\r\n* Работали на стыке офлайн-оценки и онлайн-экспериментов\r\n* Занимались оценкой агентских сценариев и мультимодальных моделей\r\n* Применяли NLP, краудсорсинговые разметки и ML"}] 45:["$","$L49",null,{"className":"Vacancy_vacancySection__1kAZB","ourTeam":""}] 46:["$","div",null,{"className":"Vacancy_mobileUsefulLinks__VtELU","children":["$","$L4a",null,{"links":[{"href":"/jobs/services/search/analytics?from=vacancy_page","text":"Рабочие задачи и этапы найма для аналитиков"}],"cities":[{"id":1,"slug":"moscow","name":"Москва","prepositionalName":"Москве"}],"service":{"name":"Yandex R&D","slug":"generativetech","icon":"https://jobs.s3.yandex.net/public_services/logo-rd.svg_5ce021d2677d41aba25144d764a2bd7c"}}]}]