El sesgo es estructural desde la construcción de la IA y, por lo tanto, se reproduce en sus respuestas. Hoy los modelos se despliegan en contextos donde sus resultados tienen consecuencias reales: sistemas que evalúan créditos, filtran currículums, sugieren diagnósticos, determinan fianzas. Las desigualdades forman parte de los retos más importantes de las sociedades modernas y su persistencia ha sido objeto de análisis de múltiples teóricos.
Apareció en 2013 y su función era convertir palabras en coordenadas matemáticas y luego hacía aritmética con ellas. Eso que durante generaciones ha sido injusticia, los algoritmos lo transforman en dato y, más que eso, el dato puede anclarse como verdad. En este marco, lo que hacen los algoritmos es digitalizar el habitus: convierten lo que Bourdieu llamaría violencia simbólica en código.
Los modelos aprenden de conjuntos masivos de texto, los cuales reflejan el mundo tal como ha sido descrito, no tal como debería ser desde la concepción ética y moral. Aprendió de la historia y del lenguaje producido por la civilización y, con ello, mantuvo los sesgos – y las inequidades – intactas. El mayor problema hoy es que las fuentes de información que alimentan los sistemas IA son las mismas que usó Word2vec.
Aunque podría parecer un problema de ingeniería, lo que los algoritmos revelan al devolver “Enfermera” cuando se les pregunta por “Doctora”, es una reproducción del lenguaje sobre el cual hemos construido nuestra sociedad. De ahí que el uso de los LLMs nos obligan a una discusión ética de lo que estas herramientas aprenden y ¿de quién?. Así se arraigan en el tejido social.
Un ejemplo claro, utilizado por Christian, es la historia de la primera calculadora de palabras Word2vec, desarrollada por Google. Christian cuenta que dos años después, en una reunión informal, un estudiante de doctorado y un investigador abrieron sus laptops y, jugando con Word2vec, teclearon una nueva ecuación: Doctor – Hombre + Mujer. Por supuesto, esperaban que la respuesta sea “Doctora”, sin embargo, la calculadora dio como resultado: “Enfermera”. Hasta ese momento, todo bien.
Repetieron con otro ejemplo: Comerciante – Hombre + Mujer = Ama de Casa. El problema de alineación nos obliga a ser conscientes del habitus que las alimenta y en advertir aquellas desigualdades que la inteligencia artificial reproduce.
