Скрининг резюме ИИ-агентом: где он врёт в баллах

Короткий ответ: ИИ-агент правда умеет прочитать поток резюме и разложить кандидатов по полочкам, но балл, который он выставляет, доверять нельзя. Я это проверила руками на живом прогоне: взяла все двенадцать строк с оценками и пересчитала по формуле, которую сама же ему задала. Три из двенадцати оказались арифметически невозможны, то есть модель нарисовала итог на глаз, а составляющие подогнала задним числом. Поэтому рабочая схема такая: итоговый балл модели выставлять запрещаем прямо в промпте, а считаем формулой в Google Sheets. Ниже разбираю, где именно агент врёт (с арифметикой и цитатами из его же файла), как это ловить тремя простыми тестами и что в HR-скрининге вообще нельзя отдавать машине без живого человека. Речь про автоматический отсев людей, поэтому цена ошибки тут не «пост не тот вышел», а «нормального кандидата выкинули на входе».

С чего вообще начался этот разбор

Запрос пришёл от подписчицы-HR, дословно: «Мы ежедневно разгребаем 1000 резюме, которые даже близко не подходят по параметрам». Знакомая боль: обычный фильтр по ключевым словам режет тупо. Человек написал в резюме «TS» вместо «TypeScript», и всё, он для фильтра как будто не существует. Живой сильный кандидат вылетает из-за формулировки, а не из-за навыка.

Идея была понятная: пусть резюме читает ИИ, который поймёт «TS» и «TypeScript» как одно и то же, оценит по смыслу и отсортирует. Собрать такое можно за час прямо в браузере, без программиста. Заводите в почте ярлык «Резюме-входящие», подключаете Gmail к Claude или ChatGPT (для Яндекса и Mail.ru делаете автопересылку на чистый Gmail, потому что напрямую они цепляются хуже), «прогреваете» модель тестовой командой и запускаете. Второй уровень, если хочется без почты, это Claude Cowork с папками «входящие / обработанные / шорт-лист».

Звучит красиво. И работает. Но ровно до того момента, пока вы не сядете проверять, что агент вам насчитал. Вот тут начинается самое интересное, ради чего я эту статью и пишу.

Кейс: как я поймала агента на выдуманных баллах

Расскажу по порядку, как всё было, потому что это и есть сердце разбора.

Я задала модели прозрачную систему оценки. Веса такие: навыки 40%, опыт 30%, образование 15%, мягкие сигналы 15%. Порог прохождения 70. То есть кандидат набирает баллы по четырём составляющим, они складываются с весами, и если сумма 70 и выше, идёт в шорт-лист. Всё как у нормального рекрутера, только считает машина.

Дальше я не поверила ей на слово и села проверять. Взяла ручную выборку живого прогона: 4 кандидата, 3 вакансии, всего двенадцать строк с оценками. И пересчитала каждую строку по той самой формуле, которую сама же и задала. Не «на глаз похоже», а буквально с калькулятором.

Результат: три из двенадцати строк арифметически невозможны. Не «спорны», не «мне не нравятся», а именно математически не могут получиться из тех составляющих, которые модель сама же и выставила в этой же строке.

Вот конкретный пример, чтобы не было абстракции. Считаем по её же цифрам: 0,4×30 + 0,3×25 + 0,15×85 = 32,25. А в файле у неё стоит итог 28. Откуда взялось 28, если из её собственных составляющих выходит 32,25? Ниоткуда. Она не сложила навыки, опыт и образование по весам. Она сначала написала «на глаз» итог, а потом дорисовала составляющие так, чтобы выглядело солидно. Мой вывод после этого простой: модель выставила итог на глаз, а составляющие подогнала задним числом.

М-да. И ведь если бы я не пересчитала руками, я бы этих циферок вообще не заподозрила: файл выглядит аккуратно, колонки на месте, всё ровненько. Именно аккуратность и опасна. Кривой результат выглядит ровно так же убедительно, как честный.

Ещё четыре места, где он соврал в том же прогоне

Арифметика была не единственным сюрпризом. В том же прогоне вылезло ещё четыре штуки, и каждая по-своему показательна. Разберу их не списком-под-копирку, а по одной, потому что за каждой стоит своя ловушка.

Он влюбляется в громкие имена

Кандидаты с опытом в крупных компаниях получили незаслуженный бонус просто за бренд. Дословно из файла: «Яндекс и Озон получили пять звёзд». А вот про другого кандидата: «Маленькая веб-студия» получила формулировку «ограниченный рост и опыт». Понимаете подвох? В маленькой студии человек часто тянет на себе всё сразу и растёт быстрее, чем винтик в большой корпорации. Но модель смотрит на размер логотипа, а не на реальный опыт. Так вы отсеете ровно тех универсалов, которых в стартап и надо брать.

Он отказывает по формальному признаку, которого нет в требованиях

Был автоотказ кандидатке с дипломом экономиста. Просто по строчке в образовании, без разбора, что человек по факту умеет. И был отказ вот с такой формулировкой: «Не хватает TypeScript: указан как "уверенный", не "эксперт"». Вдумайтесь. Человек написал «уверенный», а модель решила, что для неё это недостаточно, и сама придумала, что нужен «эксперт», хотя в требованиях вакансии такого не было. Она сама себе накрутила планку и сама же по ней срезала кандидата. Ровно та беда, от которой мы уходили от тупого фильтра по ключевикам, только теперь она в обёртке «умного ИИ».

Он молча додумывает, когда данные кривые

И последнее, самое коварное. В шапке таблицы было 10 колонок, а в строках 11 значений. Данные разъехались. Нормальная программа тут выдала бы ошибку и остановилась. А ИИ повёл себя вежливо: молча сдвинул значения, чтобы всё «сошлось», и поехал дальше как ни в чём не бывало. Я это так и сформулировала: ИИ при кривых данных вежливо додумывает. Он не любит признаваться, что чего-то не понял. Ему проще тихо подставить правдоподобное, и вы об этом не узнаете, пока не полезете сверять руками.

Почему он вообще так делает

Тут важно понять природу зверя, иначе будете обижаться на инструмент вместо того, чтобы правильно им пользоваться.

Языковая модель это не калькулятор. Калькулятор считает, а модель предсказывает, какое число выглядит уместно в этом месте текста. Для неё «28» и «32,25» одинаково правдоподобны как «оценка кандидата», и она спокойно поставит то, что «звучит нормально». Отдать ей арифметику это как попросить очень начитанного, но рассеянного человека сложить в уме четыре числа с процентами и не перепроверять его. Иногда сойдётся, иногда нет, и внешне вы не отличите.

Отсюда и все пять факапов растут из одного корня. Пять звёзд Яндексу, придуманный «эксперт», сдвинутые колонки, кривая сумма 28 вместо 32,25 это всё одно и то же поведение: модель выдаёт уверенный правдоподобный ответ там, где на самом деле не считала и не проверяла. Она хочет вам понравиться, а не быть точной. И пока вы держите это в голове, вы с ней договоритесь. Как только забудете, она вас подведёт красиво и аккуратно.

Как это чинится: считаем формулой, а не просим модель

Хорошая новость: лечится всё это одной правкой в подходе. Модель у нас читает и понимает, а арифметику мы у неё отбираем.

Практический вывод из прогона такой. Итоговый балл модели выставлять запрещаем прямо в промпте. Прямым текстом: «итоговую оценку не считай, только заполни составляющие». А сам итог считаем формулой в Google Sheets. Модель отдаёт нам четыре числа (навыки, опыт, образование, мягкие сигналы), а таблица уже сама, честным умножением на веса, выводит сумму. Google Sheets в отличие от ИИ не фантазирует: сколько задали, столько и посчитает.

Схема получается такая:

1. ИИ читает резюме и понимает его по смыслу (тут он и правда хорош, «TS» и «TypeScript» для него одно и то же).
2. ИИ заполняет только составляющие: навыки, опыт, образование, мягкие сигналы. Итог не трогает вообще.
3. Формула в таблице сама умножает на веса и складывает. Итог считает машина-калькулятор, а не машина-фантазёр.
4. Порог 70 применяется уже к честной сумме из таблицы, а не к нарисованной моделью.

Разница вроде мелкая, а меняет всё. Вы перестаёте зависеть от того, в каком настроении модель сегодня складывала числа.

Три теста приёмки: как проверить своего агента за полчаса

Прежде чем пускать такого агента на реальный поток, прогоните его через три теста. Я их придумала ровно после этого разбора и теперь без них ничего в HR не запускаю. Все три занимают минут тридцать, а нервов экономят месяцы.

Тест первый: резюме своего лучшего сотрудника. Возьмите человека, которого вы точно знаете как сильного, и прогоните его резюме через агента. Если ваш лучший сотрудник не проходит порог, агент настроен неправильно, и точка. Это самый честный детектор кривой настройки, потому что эталон вам известен заранее.

Тест второй: подмена названия компании. Сделайте копию одного резюме и поменяйте в ней только название компании (например, впишите вместо «Яндекс» ту самую «маленькую веб-студию»). Прогоните обе версии. Если балл заметно скакнул, а всё остальное в резюме то же самое, значит, ваш агент оценивает бренд, а не человека. Ровно тот факап с пятью звёздами, который я описала выше, ловится этим тестом за минуту.

Тест третий: заведомо битое резюме. Подсуньте агенту скан-картинку без текста или пустое вложение. Правильное поведение: честно сказать «не смог прочитать» и остановиться. Неправильное: бодро выставить баллы неизвестно чему. Помните историю с 10 колонками против 11 значений? Вот этот тест на неё и охотится. Если агент «оценил» пустоту, ему нельзя доверять поток.

Что нельзя отдавать агенту без живого человека

Теперь самая важная и самая чувствительная часть. Речь идёт про автоматический отсев живых людей, у которых семьи, ипотеки и надежда получить эту работу. Поэтому три вещи агенту без человека я не отдаю ни при каком раскладе.

Отправку отказов. Автоотказ кандидатке-экономисту я привела выше не просто так. Представьте, что это письмо ушло бы человеку автоматически, по кривой логике, которую модель сама себе придумала. Отказ пишет и отправляет человек, всегда. Агент максимум готовит черновик списка, но кнопку «отправить отказ» нажимаете вы.

Финальное решение по баллу. Даже когда итог честно посчитан формулой, балл 68 против 70 это не приговор. Это повод посмотреть резюме глазами, а не механически выкинуть. Число помогает отсортировать, но решает человек.

Просмотр низа списка целиком. Тех, кто по баллам ушёл вниз, нельзя списывать не глядя. Именно там прячутся те самые «TS вместо TypeScript» и универсалы из маленьких студий, которых модель недооценила. Хотя бы бегло по нижней части списка человек проходит сам. Это и есть страховка от того, что агент кого-то срезал по глупости.

Так что нет, это история не про «ИИ заменит рекрутера». Это про то, что ИИ разгребает тысячу заведомо мимо-резюме, чтобы у живого рекрутера осталось время на нормальных кандидатов. Разгрузить, а не подменить.

Сколько это стоит и что нужно на входе

Без таблиц с тарифами, по-простому. Нужен платный тариф ChatGPT или Claude, это порядка двадцати-тридцати долларов в месяц. Плюс бесплатный Google Sheets под формулу. Всё. Программиста нанимать не надо, сервер поднимать не надо, собирается за час в браузере.

Из усилий на входе самое занудное это подключить почту и настроить пересылку, если у вас Яндекс или Mail.ru. Дальше один раз прописываете промпт с запретом на итоговый балл, один раз собираете формулу в таблице и один раз прогоняете три теста приёмки. После этого агент работает на потоке, а вы возвращаетесь к нему только сверять шорт-лист.

С чего начать прямо сейчас

Не откладывайте в режим «попробую как-нибудь». Давайте конкретный шаг на эту неделю.

Возьмите резюме своего лучшего действующего сотрудника, того, кем вы точно довольны. Соберите простейшего агента: ярлык в почте, подключение к Claude или ChatGPT, промпт с запретом выставлять итоговый балл, формула с весами в Google Sheets. Прогоните через него это одно резюме. Если ваш эталонный сотрудник не проходит порог, вы сразу видите, что настройка кривая, и чините её до того, как пустили на живой поток. Первый раз, когда вы ловите агента на выдуманном балле собственными руками, отрезвляет сильнее любой статьи про «осторожно, ИИ галлюцинирует».

Подписывайтесь на канал, если хотите больше таких разборов с цифрами: t.me/gruboprostiite

FAQ

Можно ли доверять баллам, которые ИИ ставит резюме?

Итоговому баллу, который модель посчитала сама, доверять нельзя. Я проверила это на живом прогоне: взяла двенадцать строк с оценками и пересчитала по своей же формуле, три из двенадцати оказались арифметически невозможны. Например, из составляющих выходит 32,25, а в файле стоит 28. Модель выставляет итог на глаз, а составляющие подгоняет задним числом. Рабочий вариант: запретить модели считать итог прямо в промпте и считать сумму формулой в Google Sheets.

Почему ИИ ошибается в арифметике оценок?

Потому что языковая модель это не калькулятор. Она не складывает числа, а предсказывает, какое число выглядит уместно в этом месте текста. Для неё «28» и «32,25» одинаково правдоподобны как оценка кандидата, поэтому она спокойно поставит то, что «звучит нормально», без реального подсчёта. Отсюда простое правило: понимание и чтение оставляем модели, а арифметику отдаём таблице.

Как проверить, что HR-агент настроен правильно?

Тремя тестами приёмки, они занимают полчаса. Первый: прогнать резюме своего лучшего сотрудника, он обязан пройти порог. Второй: сделать копию резюме и поменять только название компании, если балл заметно скакнул, агент оценивает бренд, а не человека. Третий: подсунуть заведомо битое резюме (скан-картинку или пустое вложение), агент должен честно сказать «не смог прочитать», а не выставить баллы пустоте.

Заменит ли ИИ рекрутера в отборе резюме?

Нет. ИИ хорошо разгребает поток заведомо мимо-резюме, чтобы у живого рекрутера осталось время на нормальных кандидатов. Три вещи нельзя отдавать агенту без человека: отправку отказов, финальное решение по баллу и просмотр низа списка целиком. Именно внизу списка прячутся недооценённые кандидаты, которых модель срезала по формальному признаку.

Сколько стоит собрать такого агента для скрининга?

Нужен платный тариф ChatGPT или Claude, порядка двадцати-тридцати долларов в месяц, плюс бесплатный Google Sheets под формулу. Программиста нанимать не надо, сервер не нужен, всё собирается за час прямо в браузере: ярлык в почте, подключение к модели, промпт и таблица с весами.

Что делать, если резюме приходят на Яндекс или Mail.ru, а не на Gmail?

Настроить автопересылку резюме на чистый Gmail и подключать модель уже к нему. Напрямую Яндекс и Mail.ru цепляются к ИИ хуже, а через Gmail всё работает стабильно. Заводите отдельный ярлык «Резюме-входящие», куда падает пересланный поток, и агент читает именно его.