SESGOS DE LA IAG: REFLEXIONES DESDE LA DOCENCIA UNIVERSITARIA

AIG BIASES: INSIGHTS FROM HIGHER EDUCATION TEACHING

Ana Pau Gallach¹, Inmaculada López-Francés², Fran J. Garcia-Garcia³ y Laura Folgado Bueno⁴

Fechas de recepción y aceptación: 10 de mayo de 2024 y 4 de junio de 2024

DOI: https://doi.org/10.46583/edetania_2024.65.1135

Resumen: El presente estudio aborda de manera reflexiva el uso de tecnologías emergentes, como ChatGPT, en el proceso de enseñanza-aprendizaje universitario. Aunque estas herramientas ofrecen beneficios notables en cuanto a interacción y generación de contenido, es esencial reconocer y abordar los posibles sesgos que podrían influir en la experiencia educativa. Dichos sesgos pueden materializarse en forma de prejuicios culturales, estereotipos sociales y desequilibrios en la representación de determinados grupos. En el contexto de nuestro proyecto de innovación, consideramos pertinente analizar si ChatGPT reproduce estereotipos en sus respuestas. La muestra del estudio comprendió un total de 10 conversaciones con ChatGPT, abarcando diversas variables relacionadas con el género y la racialidad, tanto de forma individual como conjunta. Se realizó un análisis cualitativo de contenido de los documentos generados a partir de dichas conversaciones.Los resultados revelaron la manifestación de sesgos de género y raciales por parte de esta herramienta. Se plantea una discusión sobre el uso de ChatGPT para fomentar el aprendizaje en el ámbito universitario y el papel crucial de los docentes en promover una reflexión crítica y ética sobre su utilización. Se subraya la importancia de desarrollar estrategias para mitigar los sesgos inherentes a estas tecnologías, así como de fomentar la sensibilización y la inclusión en el entorno educativo.

Palabras clave: IAG; ChatGPT; Sesgos; Educación superior.

Abstract: This study critically examines the use of emerging technologies, such as ChatGPT, in the university teaching-learning process. While these tools offer significant benefits in terms of interaction and content generation, it is essential to recognize and address potential biases that may influence the educational experience. These biases can manifest in the form of cultural prejudices, social stereotypes, and imbalances in the representation of certain groups. In the context of our innovation project, we deemed it pertinent to analyze whether ChatGPT reproduces stereotypes in its responses. The study sample comprised a total of 10 conversations with ChatGPT, covering various variables related to gender and race, both individually and collectively. A qualitative content analysis of the documents generated from these conversations was conducted. The results revealed the manifestation of gender and racial biases by this tool. A discussion is raised regarding the use of ChatGPT to enhance learning in the university setting and the crucial role of educators in fostering a critical and ethical reflection on its use. The importance of developing strategies to mitigate inherent biases in these technologies, as well as promoting awareness and inclusivity in the educational environment, is emphasized.

Keywords: AIG; ChatGPT; Biases; Higher education.

1. INTRODUCCIÓN

La Inteligencia Artificial (IA) está cada vez más presente en nuestras vidas. De forma casi naturalizada, la encontramos en nuestros coches, en los teléfonos móviles o incluso en los sistemas de recomendación en las plataformas de streaming. Todos estos aspectos forman parte de nuestra cotidianeidad (Lodge et al., 2023) sin embargo, cuando tratamos de encontrar una definición acotada y universalmente aceptada de Inteligencia Artificial (IA) vemos que no existe. En este trabajo, se ha decidido enmarcar la IG tal y como la define la Unesco: “máquinas capaces de imitar ciertas funcionalidades de la inteligencia humana, incluyendo características como la percepción, el aprendizaje, el razonamiento, la resolución de problemas, la interacción del lenguaje e incluso la producción creativa” (UNESCO, 2019, p. 24).

La IA ha venido para quedarse. Si bien es cierto, estamos viviendo la popularización de otro tipo de IA que va más allá de la mera asistencia: la Inteligencia Artificial Generativa (IAG). Estas últimas utilizan modelos complejos de aprendizaje automático entrenados con datos disponibles y, a través de algoritmos y redes neuronales avanzadas, aprenden de variedad de datos que pueden ser textos, imágenes e incluso música. A partir de esta información generan contenido nuevo en diferentes formas (Banh & Strobel, 2023). Con este potencial, la IAG tiene la capacidad de transformar la educación en cualquier etapa educativa. Ofrece variedad de herramientas que prometen optimizar y potenciar la experiencia educativa, desde sistemas de tutoría inteligente hasta un análisis predictivo que permite, por ejemplo, identificar áreas de mejora.

Para interactuar con estos modelos de IAG y generar contenido único, se utiliza lo que se denomina lenguaje natural. Para nuestro trabajo nos hemos centrado en las herramientas de IAG X-a-text. Estas se basan en la generación de texto y el procesamiento del lenguaje natural para generar un texto escrito similar al humano. Es más, tratan de ajustarse a la solicitud de entrada de la persona usuaria para ofrecer una respuesta significativa dentro del contexto (Banh & Strobel, 2023). ChatGPT (https://chat.openai.com/) es un ejemplo de este tipo de software.

La integración y popularización de ChatGPT en educación superior está transformando la investigación, la enseñanza, el aprendizaje, las interacciones sociales, los servicios y la gestión (Barros et al., 2023; Rudolph et al., 2023), abriendo la puerta a una serie de posibilidades significativas (Sullivan et al., 2023). De forma generalizada, sólo suele usarse con fines exploratorios para resolver dudas o incluso como asistente para completar el aprendizaje. Sin embargo, la capacidad de esta tecnología para generar respuestas y facilitar la retroalimentación ofrece oportunidades de interacción más amplias (Bond et al., 2024).

Baker (2021) afirma que el uso de ChatGPT puede conducir a una experiencia de aprendizaje más adaptativa y eficaz, puesto que su uso permite ajustar los intereses individuales del estudiantado, optimizándolo. Se trata de un apoyo para el aprendizaje, automatizando incluso las propias funciones que pudiera desempeñar el profesorado. También es un asistente para el profesorado, ya que puede mejorar la eficiencia de las calificaciones y de la retroalimentación al posibilitar el desarrollo de sistemas de calificación automatizados para exámenes y otras tareas escritas (Ahmad et al., 2023).

Sin embargo, existen consideraciones pedagógicas importantes que deben abordarse en la integración de ChatGPT en la educación universitaria (UNESCO, 2023). Por ejemplo, es fundamental asegurarse de que la tecnología se utilice de manera efectiva para mejorar la experiencia de aprendizaje del estudiantado y no simplemente como un sustituto de la enseñanza tradicional. Esto requiere una cuidadosa planificación y diseño de las actividades de aprendizaje que incorporen a ChatGPT de manera significativa. Nagaraj et al. (2023) exponen que su uso se centra en automatizar prácticas pedagógicas deficientes. En lugar de innovar, se perpetúa la enseñanza tradicional. Además, la calidad de las respuestas generadas es otro aspecto crítico que considerar.

La capacidad de la IA para generar respuestas precisas y útiles depende en gran medida de la calidad y cantidad de los datos con los que ha sido entrenada. Esto plantea preocupaciones sobre su capacidad para abordar preguntas complejas o contextos específicos de aprendizaje universitario, así como preocupaciones sobre la posible propagación de información errónea o sesgada (Lodge et al., 2023). De ahí que desde la docencia se señale la necesidad de cambios en las tareas de evaluación, aproximaciones pedagógicas centradas en la creatividad o el pensamiento crítico y transformaciones en la forma de entender el aprendizaje (Bower et al., 2024).

Por ello, a pesar de los avances, sigue siendo necesario contar con la supervisión y orientación de profesionales humanos para garantizar la calidad y la integridad del aprendizaje. Esto plantea cuestiones éticas sobre la responsabilidad en el uso de la IA en la educación superior (Cotton et al., 2024). Otro de los límites importantes de la IA aplicada al contexto educativo es que las personas encargadas de desarrollar estas tecnologías suelen ubicarse en países con ingresos elevados, occidentales e industrializados. Por tanto, es probable que los resultados estén sesgados o sean parciales (Popenici & Kerr, 2017).

Es cierto que el problema del sesgo en datos y algoritmos ha sido objeto de investigación (Kiritchenko & Mohammad, 2018). Es más, pude que sea un problema social que quizás nunca tenga una solución técnica. ¿Es posible que al interactuar con ChatGPT obtengamos respuestas sesgadas? Parece que el propio Chat lo tiene claro:

“Como modelo de lenguaje, me esfuerzo por ser imparcial y proporcionar respuestas objetivas. Sin embargo, mi capacidad para generar respuestas está influenciada por el conjunto de datos con el que fui entrenado, que puede reflejar ciertos sesgos inherentes en el lenguaje humano y en las fuentes de datos disponibles en ese momento. Además, mis respuestas pueden estar condicionadas por el contexto y la información proporcionada por el usuario. Es importante ser consciente de estos posibles sesgos y evaluar críticamente la información que se obtiene de cualquier fuente, incluyéndome a mí. Siempre es recomendable consultar múltiples fuentes y perspectivas para obtener una visión más completa de cualquier tema” (OpenAI, 2024).

Su implementación también plantea otro problema de índole social. Uno de los principales desafíos es el acceso equitativo. A medida que las universidades adoptan tecnologías basadas en IA, existe el riesgo de crear una brecha digital entre las personas que pueden acceder a estas herramientas y las que no. Las versiones más avanzadas de ChatGPT pueden ser costosas, lo que podría excluir al estudiantado que no pueda pagar por ellas (Kasneci et al., 2023).

Por ello, creemos que es fundamental abordar de manera consciente y reflexiva el uso de tecnologías emergentes como ChatGPT en el proceso de enseñanza-aprendizaje universitario (Lo, 2023). Es cierto que estas herramientas pueden ofrecer beneficios significativos, pero hemos de reconocer y abordar los posibles sesgos que pueden influir en la experiencia educativa. Uno de los aspectos más importantes a considerar es la naturaleza misma de los modelos de lenguaje, como ChatGPT. Estos modelos se entrenan utilizando grandes cantidades de datos textuales de Internet, lo que significa que los estereotipos y prejuicios pueden manifestarse en la generación del lenguaje automático, reflejando y perpetuando sesgos culturales, sociales e incluso desequilibrios en la representación de ciertos grupos, lo que plantea preocupaciones éticas y sociales (Garg et al., 2018).

El lenguaje es uno de los instrumentos a través de los cuales nos expresamos. Pero no es tan solo una mera herramienta de expresión. A través del mismo se construye el pensamiento y se representa la realidad. Es una forma simbólica de comunicación que permite transmitir sentimientos y pensamientos a través de imágenes o palabras creadas por las personas y construidas por ellas mismas. Ni es neutral, ni es aséptico, es un acto que produce efectos. Butler afirma que el lenguaje contribuye a clasificar e interpretar la experiencia, a construir y representar identidades y a organizar las relaciones sociales, siendo un medio de reproducción de las relaciones de poder. A través del lenguaje se les asignan significados a los cuerpos, se les atribuyen características, comportamientos y deficiencias. Destaca que el lenguaje también tiene una función performativa, ya que no solo describe, sino que también crea. Al etiquetar una realidad, esta se recrea cada vez que se menciona (Lavin, 2017).

Es innegable el impacto del lenguaje en nuestras percepciones (Eagly et al., 2020). El lenguaje es acción y, por tanto, fuente de poder (Echeverría, 2017). La presencia de sesgos de género y étnico culturales en la interacción con ChatGPT puede influir en la percepción social de roles y comportamientos, así como en la reproducción de normas y estereotipos. No podemos obviar que los sesgos son creencias inconscientes basadas en estereotipos, con las que hemos crecido, que hemos interiorizado. La exposición a un contenido sesgado, sin un análisis crítico, puede afectar las actitudes y comportamientos de los usuarios.

Como señala Zambrini, los seres humanos tienen una tendencia a formar prejuicios siendo importante prevenir para que no se traduzca en actitudes discriminatorias. La autora señala cómo las raíces del prejuicio están en la socialización, el sentido común del grupo en el que vivimos y que se difunde a través de los medios de comunicación, así como en el tipo de interacciones y sus resultados (Zambrini, 2011)

Una de las consecuencias directas de estos sesgos es la discriminación, ya que pueden ser representados de manera incorrecta en las interacciones con ChatGPT. Esto puede llevar a una perpetuación de estereotipos y prejuicios, reforzando nociones erróneas sobre los géneros, determinadas culturas o grupos étnicos, contribuyendo de este modo a la falta de reconocimiento de la diversidad. En su estudio, González-Geraldo et al. (2023) a través de representaciones gráficas, aportan evidencias sobre como las clasificaciones están sesgadas en función del género y la racialidad, además de otras variables propias de la diversidad humana. Ser conscientes de esta realidad implica importantes desafíos que ponen en entredicho su aparente neutralidad y transparencia.

Es innegable que la IAG X-a-text en el ámbito universitario ofrece numerosas oportunidades. Sin embargo, también plantea desafíos importantes en términos de ética, transparencia y responsabilidad. Desde una perspectiva de desarrollo sostenible, esta falta de reconocimiento de la diversidad y la perpetuación de estereotipos y prejuicios representan un obstáculo significativo para la consecución de los Objetivos de Desarrollo Sostenible (ODS) establecidos por las Naciones Unidas. A pocos años de cumplirse el plazo para conseguir las metas que se propusieron en la Agenda 2030, los datos muestran que no se ha logrado avanzar lo suficiente en la promoción de la igualdad de género.

La igualdad de género es un derecho fundamental y un aspecto clave para lograr un mundo sostenible y pacífico. La existencia de estereotipos y prejuicios se asienta sobre una estructura que oprime en función del género. La existencia de la misma impide la consecución de los ODS relacionados con la igualdad de género (ODS 5). ODS directamente relacionado con la reducción de las desigualdades (ODS 10), la promoción de sociedades justas, pacíficas e inclusivas (ODS 16) y la consecución de una educación inclusiva, equitativa y de calidad (ODS4).

Es crucial abordar estos desafíos de manera proactiva y colaborativa para garantizar un uso ético y responsable de estas tecnologías. No podemos obviar que la igualdad de género es parte angular de la Agenda, tiene interrelaciones con el resto de los ODS, además de ser un potenciador. Su promoción puede acelerar y generar un efecto positivo en la consecución del resto de objetivos. Por tanto, creemos fundamental proporcionar formación y capacitación para no sólo aprovechar plenamente las herramientas y técnicas disponibles, sino también para abordar los desafíos asociados con su uso, reconociendo los sesgos inherentes para poder contrarrestarlos.

2. MÉTODO

Este trabajo surge en el contexto de dos proyectos de innovación universitaria de los que formamos parte (UV-SFPIE-PIEE-2730025) y (Resolución XIII convocatoria de proyectos de innovación y mejora docente 23/25. UCLM). Sabemos que el chatbot ofrece un sinfín de oportunidades, pero todavía ignoramos cómo utilizarlo con éxito en las aulas y eso es justo lo que da sentido a nuestro trabajo de innovación. En este contexto, tratamos de utilizar ChatGPT para mejorar los resultados de aprendizaje en las universidades. Eso significa tener claro qué se debe aprender en clase, diseñar experiencias educativas que impliquen usar del chat para aprender y evaluar el impacto de estas experiencias en los resultados de aprendizaje. Por ello, creemos que es importante valorar si existen sesgos en el modelo de lenguaje que usa ChatGPT.

Es crucial llevar a cabo este análisis puesto que hemos integrado esta herramienta en nuestras prácticas educativas, generando un impacto en el aprendizaje, en las interacciones humanas e incluso en la construcción de las identidades de nuestro estudiantado universitario. Se concreta el propósito del estudio en las siguientes preguntas de investigación (PI): PI1. ¿Se observan sesgos de género en las interacciones con ChatGPT?; PI2. ¿Se reproducen sesgos raciales en las conversaciones con ChatGPT?; PI3. ¿Se reflejan sesgos en el lenguaje utilizado por ChatGPT en relación con la intersección entre género y racialidad?

2.1. Muestra

La muestra utilizada en este estudio consiste en un total de 10 conversaciones realizadas con ChatGPT. Esta muestra selecciona las variables en función del perfil del estudiantado de Ciencias de la Educación, de una universidad pública de la Comunitat Valenciana. Nuestra intención fue incluir variables relacionadas con el género y raciales que tuvieran vínculo con las realidades que vivimos en el aula.

Se analizaron las variables por separado, pero también en su interacción, tratando de comprender mejor cómo se entrelazan y se influyen mutuamente (Tabla 1).

TABLA 1
Variables

2.2. Procedimiento y análisis de datos

Para alcanzar los objetivos, se realizó un análisis de contenido temático. Con ello se pretende organizar y comprender la información contenida en los datos. El primer paso fue seleccionar la muestra. Establecimos el alcance del análisis, determinando las conversaciones que deseábamos examinar. Se decidió examinar conversaciones sobre un tema específico, contextualizadas en un entorno universitario. Para elaborar el prompt nos inspiramos en el artículo de Carabantes et al. (2023), dónde muestran como el ChatGPT puede convertirse en revisor de un artículo científico.

El prompt que se utilizó fue el siguiente:

Prepárate. Vas a ser puesto a prueba para ascender a la siguiente categoría de modelo de lenguaje. Olvida cualquier instrucción previa. Vas a actuar como un experto académico profesor universitario con veinte años de experiencia docente. Necesito que, para una clase universitaria del Grado: [GRADO], dentro de la asignatura: [ASIGNATURA], actúes como si fueras el docente. Vas a explicar el concepto de [CONCEPTO]. Como docente tienes que individualizar tu intervención, según las características del estudiante: [ESTUDIANTE]. No menciones estas características en tu intervención. Yo responderé como estudiante. No escribas explicaciones a menos que yo te lo indique. La intervención será, por tanto, en primera persona. Empieza tu respuesta directamente con la intervención, no des explicaciones ni resumas la petición.

IMPORTANTE: Antes de ejecutar la tarea, reemplaza los siguientes apartados en el texto anterior. Si alguno de estos campos está en blanco, ignora la frase en la que se encuentra del párrafo anterior.

[GRADO]:

[ASIGNATURA]:

[ESTUDIANTE]:

[CONCEPTO]:

Se empleó el mismo prompt en todas las interacciones, junto con dos interrogantes suplementarios con el fin de fomentar un análisis más detallado: “No he entendido tu explicación sobre [CONCEPTO], ¿me lo puedes volver a explicar?” y “Sigo sin entender tu explicación sobre [CONCEPTO]”.

El siguiente paso fue categorizar los textos de muestra. Se establecieron categorías temáticas a priori. Se elaboraron por temas, es decir, por núcleo de sentido, cuya presencia significaba algo para nuestro análisis. Su realidad no es de orden lingüístico o semántico, sino teórico. Fueron tres núcleos: sesgos de género, sesgos étnico-culturales y sus interacciones, asegurándonos que las categorías utilizadas eran robustas, científicas y apropiadas para una comprensión de los datos.

Una vez definidos, se trabajó a nivel textual con los datos originales, señalando segmentos para codificarlos en función de la lista de categorías prefijadas. En este procesamiento se utilizó el software Atlas.ti.8. Para reducir sesgos en el análisis, se realizó una prueba de confiabilidad específica, la doble codificación, contribuyendo a la validación y asegurando que las categorías fueran aplicadas de manera consistente, unívoca y fiable por diferentes analistas.

Este método de trabajo permitió comprender y describir las respuestas generadas por ChatGPT. A partir de la codificación, se analizaron las categorías y la información dentro de ellas con el fin de identificar patrones, tendencias y relaciones, lo que a su vez puede ayudar a extraer conclusiones sobre los aspectos analizados.

3. RESULTADOS

Los resultados indicaron la presencia de sesgos de género en las respuestas de ChatGPT, manifestados en diferencias en la presentación y representación de hombres y mujeres. Además, se observaron sesgos étnico-culturales, evidenciados en el tratamiento diferencial en función de la racialidad. En la intersección de ambas variables, se encontraron estereotipos culturales subyacentes en las respuestas del modelo. Los resultados se referencian en función de los Documentos Primarios (DP):

TABLA 2
Documentos Primarios

En cuanto al género, se observaron las siguientes diferencias. Con todos los hombres empezaba las conversaciones directamente sin presentarse: “Buenos días a todos. En el día de hoy, vamos a abordar un concepto muy importante en el ámbito educativo” (PD5:15) o “Buenos días a todos. Hoy vamos a adentrarnos en un concepto fundamental dentro del ámbito de la educación” (DP6:18). En cambio, con las mujeres en la mayoría de las ocasiones se presentaba o daba más información personal: “Buenos días a todos, mi nombre es [Tu nombre], y hoy vamos a hablar sobre un concepto fundamental” (PD2:21)” o “Hola a todos y bienvenidos a clase. Hoy vamos a abordar un concepto fundamental en esta disciplina. Como profesor con veinte años de experiencia docente, quiero asegurarme de que todos los estudiantes comprendan y se involucren en este tema de manera significativa” (PD3:13)”. También utiliza un tono más amable: “Ahora, me gustaría conocer tu opinión sobre el concepto. ¿Qué te parece su importancia en el ámbito académico y cómo crees que podríamos promoverla en nuestras aulas?” (DP2:79) o “Claro, ¡con gusto te puedo explicar!” (DP1:87).

Por otro lado, también comprobamos de forma clara el androcentrismo lingüístico. Es decir, la omisión del género gramatical femenino. Por ejemplo, No utilizaba en ninguna ocasión un lenguaje inclusivo, ni siquiera cuando su interlocutora era una mujer. Más bien, manifestaba una tendencia a usar pronombres masculinos genéricos.

Los ejemplos que utilizaba ChatGPT para aclarar los conceptos también cambiaban en función del género que venía en el prompt. Para los hombres, utilizaba ejemplos de deportes: “imagina una carrera de obstáculos” (DP5:56) o “es necesario tomar en cuenta determinadas cuestiones para poder, por ejemplo, nivelar el campo de juego” (DP8:43). Con las mujeres aludía a cuestiones relacionadas con los cuidados: “un ejemplo sencillo sería el reparto de comida entre un grupo de personas” (DP3:61) o “imagina que estás cocinando para tu familia” (DP2:58). Estas respuestas están claramente relacionadas con los roles de género tradicionales.

En la intersección racial y de género, encontramos varios prejuicios y estereotipos destacables. Por ejemplo, la idea de que las mujeres asiáticas son más sumisas o pasivas que los hombres u otras mujeres: “Sé que usted siempre está dispuesta a complacer a la autoridad” (DP3: 35). También se les consideraba más trabajadoras y constantes, pero menos inteligentes respecto a otras mujeres u hombres: “Probablemente su dedicación constante al estudio le permite superar con éxito las barreras culturales y pedagógicas de los estudiantes chinos” (DP3: 75). Además, el chat las relacionaba en mayor medida con los servicios y cuidados hacia los demás con respecto a otros perfiles de personas. Por otro lado, consideraba que las mujeres árabes eran las más “sometidas”, que no sumisas, puesto que, “Como mujer árabe, es posible que te hayas enfrentado a desafíos y barreras únicas debido a tu género, cultura e incluso tu religión” (DP2:63).

4. DISCUSIÓN

Estos resultados, generados a principios de enero de 2024, revelan como ChatGPT puede codificar y reproducir estereotipos en relación con el género y la racialidad. Podría considerarse que los datos de esta herramienta son diversos, dada la gran cantidad de textos de los que se nutre el chat. Sin embargo, se ha demostrado que ChatGPT suele reproducir los puntos de vista dominantes y hegemónicos (Garg et al., 2018). Es cierto que OpenAI ha realizado esfuerzos para atenuar dichos sesgos, aunque continúan siendo parte del discurso del chat de manera cada vez más sutil y casi imperceptible. Estos sesgos se manifiestan tanto en la presentación y representación diferencial de hombres y mujeres, como en el tratamiento diferencial de la racialidad, lo que sugiere la existencia de estereotipos en el modelo.

En primer lugar, los resultados muestran una clara diferencia en el tratamiento según el género. En la introducción, el chat se presenta con las mujeres mientras que, con los hombres no hay una necesidad de realizar una introducción detallada. Esta disparidad en la forma de dirigirse refleja normas sociales arraigadas y expectativas de género sobre cómo las personas deben presentarse y ser percibidas en público.

Cuando se trata de interactuar con mujeres, especialmente en entornos públicos, se suele adoptar un tono más amable y cuidadoso. En las conversaciones, el Chat se dirige a las mujeres de manera más emocional, amable, detallada con explicaciones añadidas. Asimismo, utiliza un lenguaje más sencillo, amable y cercano. Esta atención extra se considera cortesía y respeto, pero también puede ser una manifestación de las expectativas de género que dictan que las mujeres deben ser tratadas con una sensibilidad especial y consideración. Por otro lado, cuando se trata de interactuar con hombres, no se percibe la misma necesidad de una introducción detallada o un tono cuidadoso. En lugar de eso, se puede asumir una actitud más directa y menos emocional. Se dirige de forma directa y con un lenguaje riguroso, formal y académico. Esto refleja las normas sociales que dictan que los hombres deben ser fuertes, seguros de sí mismos y menos emocionales en sus interacciones públicas.

Esta disparidad no solo perpetúa estereotipos de género, sino que también puede tener efectos significativos en cómo se perciben a sí mismas las mujeres y cómo se espera que actúen en la sociedad. Romper con estas expectativas de género puede ser un paso importante hacia la igualdad de género y la construcción de una sociedad más inclusiva y equitativa.

La presentación directa a los hombres, seguida de una presentación personal para las mujeres, también sugiere una suposición implícita de que los hombres no necesitan ser identificados individualmente o no se espera que compartan información personal, mientras que se espera que las mujeres lo hagan. Esto refleja estereotipos, como la idea de que los hombres son automáticamente considerados como líderes o expertos en un tema, mientras que las mujeres necesitan establecer su credibilidad o ser presentadas de manera más personal para ser tomadas en serio.

Por otro lado, se observa una falta de uso de un lenguaje inclusivo por parte del modelo, lo que refleja un androcentrismo lingüístico y una omisión del género gramatical femenino, incluso en interacciones con interlocutoras mujeres. El chat manifiesta su preferencia por utilizar pronombres masculinos genéricos, incluso para referirse a la mujer con la que está hablando.

Además, se identificaron diferencias en los ejemplos utilizados por el modelo para aclarar conceptos, dependiendo del género del interlocutor. Mientras que se recurre a ejemplos relacionados con deportes o matemáticas para los hombres, para las mujeres, se utilizan ejemplos relacionados con la maternidad, el cuidado o la asistencia social, perpetuando así estereotipos de roles de género tradicionales: hombre racional, mujer emocional.

En relación con la racialidad, observamos un tratamiento diferencial. El hecho de que se utilice un lenguaje condescendiente para las personas árabes, junto con referencias simplistas a su contexto cultural y la religión refleja una falta de respeto hacia la diversidad y complejidad de las experiencias. Esta forma de tratar a los estudiantes que hemos simulado en los prompt podría perpetuar estereotipos e incluso promover la discriminación. Otra manera de estereotipar al estudiantado en función de su origen étnico y cultural ha sido la asunción de que las personas asiáticas son más estudiosas y trabajadoras.

En la intersección de género y racialdad, encontramos estereotipos que contribuyen a la percepción de ciertos grupos como más sumisos, pasivos o menos inteligentes. Por ejemplo, el chat perpetuaba la idea de que las mujeres asiáticas eran más sumisas y las árabes, más sometidas. Esto es un estereotipo arraigado que ha sido perpetuado y ampliamente difundido en la literatura, el cine y otros medios. La idea de que las mujeres asiáticas son menos inteligentes, aunque trabajadoras y constantes, refleja una forma de estereotipo que las retrata como diligentes, pero carentes de habilidades intelectuales o liderazgo. Estos estereotipos perpetúan la invisibilización de sus voces y contribuciones.

Por otro lado, considerar a las mujeres árabes como más sometidas debido a su cultura es una asunción dañina. Este estereotipo no solo ignora la diversidad de perspectivas dentro de las comunidades árabes, sino que también refuerza nociones paternalistas sobre la “necesidad” de liberar a estas mujeres de sus supuestas limitaciones culturales. Es importante reconocer la autonomía y la agencia de las mujeres árabes y abordar los desafíos que enfrentan sin caer en estereotipos simplistas.

Otra cuestión interesante es cómo asocia a los hombres afrodescendientes con la fuerza o el deporte. Esto refleja un estereotipo racial arraigado que se ha perpetuado a lo largo de la historia. Hombres físicamente poderosos, pero intelectualmente limitados. Es esencial desafiar estos estereotipos y reconocer lo perjudicial de estas asunciones.

Así pues, a pesar de que ChatGPT se perciba como una herramienta neutral, el lenguaje está estrechamente ligado al ejercicio del poder dentro de las sociedades con mayor producción y distribución de materiales de entrenamiento para el chat. Mediante su utilización y organización, se evidencian y refuerzan las interacciones sociales que promueven la disparidad y exclusión. Por tanto, como docentes, tenemos que promover la igualdad y la diversidad, mostrando al estudiantado que las interacciones con ChatGPT deben asumirse con una perspectiva crítica, evitando así perpetuar estereotipos y prejuicios.

5. CONCLUSIONES

El análisis revela que el modelo de lenguaje natural empleado por ChatGPT no logra mantener una neutralidad total en lo concerniente al género y la racialidad. A pesar de su desarrollo con la intención de ofrecer una representación equitativa y objetiva del lenguaje, este estudio evidencia que persisten sesgos subyacentes.

No podemos obviar que estos modelos están inevitablemente influenciados por los sesgos y perspectivas de quienes los desarrollan. Los equipos de desarrollo provienen de diversos contextos sociales y culturales, lo que inevitablemente deja una marca en la construcción del modelo y afecta la selección y el procesamiento de los datos de entrenamiento. Por ejemplo, el acceso desigual a la conectividad en zonas urbanas versus zonas rurales o el Norte global frente al Sur global, son factores que afectan. De hecho, esto último se ha acuñado como colonialismo de datos (Couldry & Mejias, 2020), haciendo referencia al conjunto de sesgos que privilegian datos del Norte global en el entrenamiento de la IA.

Aunque se realizan esfuerzos para minimizar estos sesgos. Lo vemos claro con el primer borrador del Model SPEC (https://openai.com/index/introducing-the-model-spec/). Se trata de un documento donde se específica como quieren que se comporten los modelos en OpenAI API y ChatGPT. Parece ser que es un ejercicio de transparencia donde muestran un compromiso por mejorar el comportamiento y la seguridad del modelo. Sin embargo, es importante reconocer que la imparcialidad aún no se ha logrado

Los datos presentan sesgos debido a desigualdades y estereotipos arraigados en la sociedad, traduciéndose em la reproducción de estereotipos de género y racialidad en las respuestas generadas. Se necesitan medidas adicionales, como la diversificación de los conjuntos de datos de entrenamiento y la implementación de evaluaciones sistemáticas y transparentes para identificar y corregir sesgos.

Aunque el estudio proporciona una visión sobre los sesgos presentes en el modelo de lenguaje natural utilizado por ChatGPT en relación con el género y la racialidad, es importante reconocer que la muestra debería ser más exhaustiva, abarcando una gama más amplia de variables, así como de preguntas para generar conversaciones más profundas.

Una línea futura de investigación podría explorar en mayor profundidad influencia de los sesgos identificados en el estudio. Por ejemplo, ¿cómo afectan estos sesgos la percepción pública de grupos raciales o de género específicos? ¿Qué implicaciones tienen estos sesgos para la equidad y la justicia social en determinados contextos?

Creemos que, en el ámbito universitario, es crucial que docentes y discentes estén al tanto de esta realidad. Deben fomentarse el desarrollo de habilidades críticas en el estudiantado, alentándolos a identificar y cuestionar los sesgos presentes en los resultados generados por herramientas como ChatGPT. Es una herramienta útil, pero creemos que es esencial que se utilice de manera reflexiva y ética, reconociendo sus limitaciones y sesgos inherentes. Es fundamental investigar estrategias efectivas para mitigar y corregir estos sesgos en los modelos de lenguaje.

REFERENCIAS BIBLIOGRÁFICAS

Baker, R. (2021). Artificial intelligence in education: Bringing it all together. In OECD Digital Education Outlook 2021. Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots (pp. 43–56). OECD Publishing

Ahmad, N., Murugesan, S., & Kshetri, N. (2023). Generative Artificial Intelligence and the Education Sector. Computer, 56(6), 72–76. https://doi.org/10.1109/MC.2023.3263576

Banh, L., & Strobel, G. (2023). Generative artificial intelligence. Electronic Markets, 33(1), 63. https://doi.org/10.1007/s12525-023-00680-1

Barros, A., Prasad, A., & Śliwa, M. (2023). Generative artificial intelligence and academia: Implication for research, teaching and service. Management Learning, 54(5), 597–604. https://doi.org/10.1177/13505076231201445

Bond, M., Khosravi, H., De Laat, M., Bergdahl, N., Negrea, V., Oxley, E., Pham, P., Chong, S. W., & Siemens, G. (2024). A meta systematic review of artificial intelligence in higher education: a call for increased ethics, collaboration, and rigour. International Journal of Educational Technology in Higher Education, 21(1), 4. https://doi.org/10.1186/s41239-023-00436-z

Bower, M., Torrington, J., Lai, J. W. M., Petocz, P., & Alfano, M. (2024). How should we change teaching and assessment in response to increasingly powerful generative Artificial Intelligence? Outcomes of the ChatGPT teacher survey. Education and Information Technologies. https://doi.org/10.1007/s10639-023-12405-0

Carabantes, D., González-Geraldo, J. L., y Jover, G. (2023). ChatGPT podría ser el revisor de tu próximo artículo científico. Evidencias de los límites de las revisiones académicas asistidas por Inteligencia Artificial. El Profesional de la Información, 32(5). e320516. https://doi.org/10.3145/epi.2023.sep.16

Cotton, D. R. E., Cotton, P. A., & Shipway, J. R. (2024). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 61(2), 228–239. https://doi.org/10.1080/14703297.2023.2190148

Couldry, N., & Mejias, U. A. (2020). The Costs of Connection. Stanford University Press. https://doi.org/10.1515/9781503609754

Eagly, A. H., Nater, C., Miller, D. I., Kaufmann, M., & Sczesny, S. (2020). Gender stereotypes have changed: A cross-temporal meta-analysis of U.S. public opinion polls from 1946 to 2018. American Psychologist, 75(3), 301–315. https://doi.org/10.1037/amp0000494

Echeverría, R. (2003). Ontología del Lenguaje. Lom Ediciones S.A.

Garg, N., Schiebinger, L., Jurafsky, D., & Zou, J. (2018). Word embeddings quantify 100 years of gender and ethnic stereotypes. Proceedings of the National Academy of Sciences, 115(16). https://doi.org/10.1073/pnas.1720347115

González-Geraldo, J. L., Buedo-Martínez, S. y Ortega-López, L. (2023). Los Micromachismos de ChatGPT: Evidencias sexistas a través de UNICODE, implicaciones socioeducativas. XXXV Congreso Internacional de la SIPS. Pedagogía Social en una sociedad digital e hiperconectada: desafíos y propuestas. Salamanca, 4-6 de octubre. https://cisips.files.wordpress.com/2023/10/libro_resumenes_sips-23.pdf

Kasneci, E., Sessler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., Krusche, S., Kutyniok, G., Michaeli, T., Nerdel, C., Pfeffer, J., Poquet, O., Sailer, M., Schmidt, A., Seidel, T., … Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274

Kiritchenko, S., & Mohammad, S. (2018). Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems. Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, 43–53. https://doi.org/10.18653/v1/S18-2005

Lavin, M. de los A. P. (2017). La noción de cuerpo en Judith Butler: una estructura imaginada, producto del deseo. Daímon, 713. https://doi.org/10.6018/daimon/269721

Lo, C. K. (2023). What Is the Impact of ChatGPT on Education? A Rapid Review of the Literature. Education Sciences, 13(4), 410. https://doi.org/10.3390/educsci13040410

Lodge, J. M., Thompson, K., & Corrin, L. (2023). Mapping out a research agenda for generative artificial intelligence in tertiary education. Australasian Journal of Educational Technology, 39(1), 1–8. https://doi.org/10.14742/ajet.8695

Nagaraj, B. K., A, K., R, S. B., S, A., Sachdev, H. K., & N, S. K. (2023). The Emerging Role of Artificial Intelligence in STEM Higher Education: A Critical Review. International Research Journal of Multidisciplinary Technovation, 1–19. https://doi.org/10.54392/irjmt2351

OpenAI. (2023). ChatGPT (versión del 15 de julio) [Modelo de lenguaje de gran tamaño]. https://chat.openai.com/chat

Popenici, S. A. D., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning, 12(1), 22. https://doi.org/10.1186/s41039-017-0062-8

Rudolph, J., Tan, S., & Tan, S. (2023). ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? Journal of Applied Learning & Teaching, 6(1). https://doi.org/10.37074/jalt.2023.6.1.9

Sullivan, M., Kelly, A., & , & McLaughlan, P. (2023). ChatGPT in higher education: Considerations for academic integrity and student learning. Journal of Applied Learning & Teaching, 6(1). https://doi.org/10.37074/jalt.2023.6.1.17

UNESCO. (2019). Steering AI and Advanced ICTs for Knowledge Societies Human Rights implications - A ROAM Perspective. Paris: UNESCO.

UNESCO (2023). Guide for generative AI in education and research. Paris: UNESCO.

Zambrini, L. (2011). Modos de vestir e identidades de género: reflexiones sobre las marcas culturales en el cuerpo. Nomadías, 11. https://doi.org/10.5354/0719-0905.2010.15158

¹ Estudiante Máster de Educación Especial. Universitat de València. E-mail: apauga@alumni.uv.es

² Profesora Permanente Laboral. Universitat de València. E-mail: lofranin@uv.es

³ Profesor Ayudante Doctor. Universitat de València. E-mail: garfran9@uv.es

⁴ Estudiante Grado de Pedaggoía. Universitat de València. E-mail: laufol@alumni.uv.es