偏见是人工智能结构中固有的,因此会在其回答中重现。如今,模型部署在结果具有实际影响的场景中:评估信贷、筛选简历、建议诊断、确定保释金的系统。不平等是现代社会最重要的挑战之一,其持久性已成为许多理论家分析的主题。
它出现在2013年,其功能是将单词转换为数学坐标,然后对其进行算术运算。几代人以来的不公正之处,算法将其转化为数据,更重要的是,这些数据可以锚定为真理。在此框架下,算法将“惯习”(habitus)数字化:它们将布尔迪厄所说的象征性暴力转化为代码。
模型从海量文本数据集中学习,这些数据集反映了世界被描述的方式,而不是从道德和伦理角度应有的样子。它们从文明产生的历史和语言中学习,并因此保持偏见和不平等不变。当今最大的问题是,为人工智能系统提供信息的信息源与Word2vec使用的来源相同。
尽管这似乎是一个工程问题,但当算法在询问“医生”时返回“护士”,这反映了我们构建社会所使用的语言的重现。这就是为什么使用大型语言模型(LLM)迫使我们进行伦理讨论,讨论这些工具学习什么以及从谁那里学习。因此,它们扎根于社会结构中。
Christian使用的明确例子是谷歌开发的首个单词计算器Word2vec的故事。Christian说,两年后,在一次非正式会议上,一名博士生和一名研究员打开他们的笔记本电脑,使用Word2vec进行游戏,输入了一个新方程式:医生 - 男人 + 女人。他们当然期望答案是“医生”,但计算器返回的是“护士”。直到那时,一切正常。
他们用另一个例子重复了测试:商人 - 男人 + 女人 = 家庭主妇。对齐问题迫使我们意识到滋养这些系统的惯习,并警告人工智能所复制的不平等现象。