ИИ и оценка профессий

Роль ИИ в оценке престижности и ценности работы – тема нового доклада МОТ

Практичность и точность при оценке широкого круга профессий дает системам искусственного интеллекта преимущества в эффективности, экономичности и оперативности по сравнению с людьми, но здесь есть и ряд препятствий, которые надлежит преодолеть.

Новость | 2 Февраль 2024 г.
© AndreyPopov
ЖЕНЕВА (Новости МОТ). Новое исследование, тема которого – роль искусственного интеллекта (ИИ) в оценке престижности и общественной ценности различных профессий, выпущено в свет Международной организацией труда (МОТ). В нем затрагиваются и потенциальные риски, связанные с использованием такой методики при проведении социологических исследований и анализа профессиональной деятельности.

В докладе A Technological Construction of Society: Comparing GPT-4 and Human Respondents for Occupational Evaluation in the UK сопоставляются оценки профессий, полученные с помощью GPT-4 (большая языковая модель, способная распознавать и генерировать текст) и в ходе качественно выполненного обследования, проведенного в Соединенном Королевстве.

Оценка профессий фиксирует восприятие их роли в обществе людьми. Исследователи использовали наиболее универсально применимую  Международную стандартную классификацию занятий, принятую МОТ (МСКЗ-08), чтобы четко систематизировать специальности по группам в зависимости от связанных с ними задач и обязанностей.

Вначале выстроить рейтинг определенных профессий, исходя из их престижности и общественной ценности, было предложено респондентам из числа жителей Соединенного Королевства. Затем аналогичный рейтинг заказали GPT-4. Для этого она должна была взять на себя роль 100 произвольно выбранных респондентов, соответствующих, по ее мнению, характеристикам среднестатистических жителей Соединенного Королевства. Далее этот алгоритмический взгляд был сопоставлен с рейтингом, выстроенным людьми, с тем, чтобы понять, насколько точно система ИИ способна прогнозировать мнение людей и связано ли ее восприятие взглядов людей с определенными демографическими группами.

Авторы исследования обнаружили, что результаты, полученные двумя разными путями, во многом совпадают. GPT-4 продемонстрировала отличное умение прогнозировать мнения среднестатистических британцев о престижности и общественной ценности отдельных профессий и использовать эти прогнозы для составления относительных рейтингов. Потенциально такое «алгоритмическое понимание» общечеловеческого мнения может дать возможность использовать ИИ для исследований в области профессий, получив преимущества в  эффективности, экономичности, оперативности и точности при оценке общих тенденций.

Вместе с тем в ходе исследования был выявлен и ряд проблем. Модель ИИ склонна к завышенной оценке престижности и ценности профессий, связанных с цифровой экономикой или маркетингом и продажами. При этом они ниже, чем люди, оценивает престижность и общественную ценность ряда занятий, традиционно относимых к незаконным или осуждаемым. Кроме того, исследователи изменили алгоритмические инструкции модели ИИ, показав, что она не в состоянии разобраться в иерархии профессий с точки зрения престижности и общественной ценности, как это понимается демографическими меньшинствами в Соединенном Королевстве.

Авторы доклада предупреждают, что существующие ныне большие языковые модели, как правило, отражают мнение обществ, объединенных термином WEIRD (Western, Educated, Industrialised, Rich and Democratic - западные, образованные, промышленно развитые, богатые, демократические). Они представляют собой мировое демографическое меньшинство, но при этом производят большинство данных, с помощью которых производится обучение таких моделей ИИ. Таким образом, хотя они могут служить полезным дополнительным исследовательским инструментом – например, при обработке больших объемов неструктурированного текста, голосовой и визуальной информации, - но при этом их использование связано с серьезным риском упущения мнений демографических меньшинств или уязвимых групп населения. По мнению исследователей, при применении систем ИИ в сфере труда – например, в целях профориентации или служебной аттестации, - эти  недостатки должны тщательно учитываться.

Авторы доклада: Павел Гмырек (Paweł Gmyrek), МОТ, Кристоф Лутц (Christoph Lutz), Норвежская школа бизнеса, и Джемма Ньюлэндс (Gemma Newlands), Оксфордский институт интернета.