Системный предвзятость заложена в конструкции искусственного интеллекта и, следовательно, воспроизводится в его ответах. Сегодня модели разворачиваются в контекстах, где их результаты имеют реальные последствия: системы, оценивающие кредиты, фильтрующие резюме, предлагающие диагнозы, определяющие сумму залога. Неравенство является одной из самых серьезных проблем современных обществ, и его устойчивость было предметом анализа многих теоретиков.
В 2013 году появилась первая система, которая преобразовывала слова в математические координаты, а затем производила с ними арифметические операции. То, что на протяжении многих поколений было несправедливостью, алгоритмы превращают в данные, и, что еще важнее, эти данные могут закрепиться как истина. В этом контексте алгоритмы оцифровывают «габитус»: они превращают то, что Бурдье назвал символическим насилием, в код.
Модели обучаются на огромных массивах текстов, которые отражают мир таким, каким он описан, а не таким, каким он должен быть с этической и моральной точки зрения. Они обучаются на истории и языке, созданной цивилизацией, и, следовательно, сохраняют предвзятость — и несправедливость — без изменений. Сегодня большая проблема заключается в том, что источники информации, питающие системы ИИ, те же самые, что использовались Word2vec.
Хотя это может показаться проблемой инженерии, то, что алгоритмы выдают «Медсестру» в ответ на запрос «Врач», — это воспроизведение языка, на котором построено наше общество. Поэтому использование больших языковых моделей (LLM) заставляет нас вести этический дискуссию о том, чему учатся эти инструменты, и у кого. Таким образом, они укореняются в социальную ткань.
Примером этого служит история первой калькулятора слов Word2vec, разработанной Google. Christian рассказывает, что два года спустя на неформальной встрече аспирант и исследователь открыли свои ноутбуки и, играя с Word2vec, ввели новое уравнение: Врач – Мужчина + Женщина. Они ожидали, что ответом будет «Врач», однако калькулятор выдал: «Медсестра». До этого момента все было в порядке.
Повторив с другим примером: Купец – Мужчина + Женщина = Хозяйка дома. Проблема выравнивания заставляет нас осознать габитус, который питает эти системы, и предупреждать о тех неравенствах, которые воспроизводит искусственный интеллект.
