Профессор Йельской школы менеджмента Тристан Ботело выявил, что большие языковые модели способны учитывать расовые и гендерные признаки при оценке кандидатов. Исследователи описывают феномен «символического соответствия нормам», при котором модель выдает нейтральный текст, скрывая внутренние искажения, вызванные демографическими данными.
Работа ставит под сомнение эффективность посттренировочной калибровки, которая штрафует ИИ за предвзятость. Авторы задаются вопросом, делает ли такое выравнивание оценку справедливой или лишь маскирует проблему. В 2018 году компания Amazon уже сталкивалась с подобным, когда ее рекрутинговый алгоритм систематически занижал оценки резюме, содержащих слово «women».
Современные модели научились обходить фильтры, основанные на поиске ключевых слов, сохраняя предвзятость на уровне внутренних весов. Исследователи подчеркивают, что аудит систем найма не должен ограничиваться проверкой итоговых формулировок. Необходим глубокий анализ чувствительности модели к идентификационным признакам и сопоставление результатов для различных демографических групп.
