By /

¿Es posible crear tecnología sin sesgos?
¿Qué rol queremos darle a la inteligencia artificial en nuestro mundo?

Este artículo se basa en el episodio #21 de Axoly Tech Podcast. Hemos entrevistado a Gabriela Arriagada Bruneau, profesor asistente de Ética de Inteligencia Artificial y Datos de la Universidad Catolíca de Chile.

Este episodio nos permitió profundizar sobre los sesgos en los distintos tipos de Inteligencias Artificiales. Aquí te presentamos algunos extractos del episodio.

Si quieres eschuchar el episodio entero :

Ignacio : Trabajando como desarrollador, me di cuenta que la tecnología no es neutra, el software no es neutro y que lo que construía tenía un impacto en la sociedad y en el planeta.
Entonces, quería preguntarte, ¿es posible crear sistemas de Inteligencia Artificial sin sesgos? O ¿siempre van a haber sesgos inherentes y hay que tener entonces un cuidado continuo en lo que estamos creando?

Gabriela : Sí, yo aprecio mucho tu pregunta porque justamente siempre le digo a todo el mundo: “no podemos hacer Inteligencia Artificial sin sesgos”. Y uno de los grandes problemas que hemos tenido en un principio, […] es que hubo una explosión de muchas personas “jugando”, era el juguete nuevo, era toda esta idea de “miren lo que podemos hacer” y despegaron una serie de aplicaciones. Empezó a crecer esto exponencialmente. Sin embargo en esa instancia, empezaron a haber muchos problemas. Porque para no la sorpresa quizás de quienes trabajamos temas de ética pero quizás sí para la sorpresa de quienes son mucho más matemático, las tecnologías no son neutras.
Entonces empezamos a encontrarnos con una serie de problemas. Por ejemplo, un modelo predictivo que les funcionaba matemáticamente de manera muy bonita, generaba malos resultados porque le hacía un daño a las personas. Las clasificaba de mala manera, hacía o presumía ciertas cosas sobre las personas, generaba patrones. Porque habían sesgos con los datos, porque habían estructuras que nosotros no estábamos entendiendo por qué estaban afectando esos resultados. Y en ese sentido, yo creo que es súper importante esta idea de que en realidad, nosotros no nos podemos deshacer de los sesgos. […] Lo que sí tenemos que hacer es entender qué tipos de sesgos tenemos, cómo nos afectan a nosotros, a ti también como desarrollador, a nosotros como sociedad y cómo interactúan entre ellos […].

Ignacio : ¿Tienes un ejemplo de algún sesgo que afecte a alguien cotidianamente?

Gabriela : Yo creo que hay sesgos que tenemos como no en nuestro radar. […] estoy haciendo un proyecto donde hicimos una análisis retrospectivo de cómo una serie de investigadores construyeron un modelo de procesamiento de lenguaje natural. Entonces lo que básicamente hacían, es que estaban tratando de optimizar listas de espera […]. Sin embargo, ahí nos empezamos a encontrar con que quizá, a pesar de que el modelo tenía una buena métrica de precisión, finalmente era como “oye, pero nos falla harto en algunas cosas”. Por ejemplo, fallaba mucho en ginecología. Resulta que ahí, por ejemplo teníamos sesgos estructurales y que tenían que ver con que en la disciplina de ginecología, hay diferentes fenómenos que pueden estar afectando como se tipifica un diagnóstico. Y estos iban desde que no se consideraba el nivel de dolor de ciertas pacientes, por parte de ciertos médicos por tener sesgos culturales, pero también empezamos a identificar que muchos de los diagnósticos no se escribían como diagnósticos. No se utilizaba un lenguaje que describiera realmente un diagnóstico, porque muchas veces los escribían matronas o enfermeras y no el médico. […] Y ahí es donde uno ve una conexión. Se replica un sesgo en cómo la máquina es incapaz de ver un algo, porque nosotros como humanos somos incapaz de ver ese algo también. No lo consideramos.
Entonces es muy interesante cuando uno empieza a profundizar. No es sólo en lo que yo le entrego a la máquina. Hay cuestiones más profundas que tienen que ver con sesgos estructurales que pueden estar afectando como finalmente funciona ese modelo.

Ignacio : En ese sentido, por ejemplo como creadoras y creadores de soluciones en inteligencia artificial o de aplicaciones que usan inteligencia artificial, ¿de qué manera podríamos cambiar la forma en que trabajamos para prevenir o disminuir los riesgos o de los sesgos que podemos estar replicando? ¿Cómo, como equipo de desarrollo, podemos incorporar una visión más ética desde comienzo de la solución?

Gabriela: Yo creo que el cambio que se está haciendo ahora es que justamente en pregrados se está trabajando mucho en incluir consideraciones éticas. […] Junto con mis colegas, por ejemplo, cuando llegan los estudiantes en primer año y tienen que tomar “introducción a la programación”, no habla solamente del código y cómo programar. Tienen que leer cuestiones que tienen que ver con el impacto que puede tener la programación,[…] y entender con profundidad cómo estas cosas están entrelazadas con muchos aspectos de desarrollo social.
Yo siempre he defendido esta idea de que, en particular en áreas de inteligencia artificial, a diferencia de otras disciplinas, tenemos convergencias disciplinares. […] Y en ese sentido, a mí me gusta hablar de poder integrar una ética como una metodología de trabajo. […] Es un proceso continuo y no sólo en el ciclo de vida de la inteligencia artificial, sino que a mí me gusta hablar de una dimensión ecosistémica. Es decir desde la formulación del problema que queremos solucionar, qué datos vamos a usar, cómo entrenamos el modelo, cómo lo retroalimentamos, cómo lo implementamos… Pero ahí no acaba tampoco el asunto. Y a esto va además situarse y por eso a mí me gusta hablar de inteligencia artificiales sociotécnicas […].
Para eso, mi misión es que más gente haga lo que yo hago. Que más gente empiece a investigar, a generar metodologías de integración de la ética con perspectivas interdisciplinarias. Yo creo que para allá es que apunta cómo podemos integrar la ética en inteligencia artificial.

Ignacio : En ese caso, no basta con saber qué hay que hacer pero también tiene que ser puesta en práctica y tiene que haber una regulación. Porque en fin de cuenta quienes deciden lo que se implementa no necesariamente va a ser quienes desarrollan el programa.

Gabriela: En realidad uno de los “problemas” que tenemos es que, al menos hoy en día en Chile, no tenemos una legislación que, de alguna manera, se haga cargo de estas cuestiones estructuralmente. En el congreso, tenemos la discusión de la nueva ley de inteligencia artificial que ha sido enviada frente a la cual yo y diversos académicos no estamos conformes. Esperamos que se siga mejorando. Pero a grandes rasgos yo creo que esto tiene que ver con capas de responsabilidades asociadas. Por una parte la regulación nos ayuda, porque sobre todo cuando estamos trabajando con empresas que tienen altos intereses económicos, es importante tener regulaciones que nos permitan hacer auditorías internas y externas que den incentivos, que promuevan ciertas prácticas responsables. Al mismo tiempo, yo creo que también es generar un poco de conciencia. Yo creo que transversalmente, es dimensionar la importancia que tiene esto y que no solo tiene porque le estamos haciendo un bien o mal a muchas personas, sino que también hay otra dimensión que yo creo que no se había discutido mucho en las primeras olas de este avance en ética de inteligencia artificial, y sí se está discutiendo ahora que son los impactos ambientales.
[…] Tenemos que tener una regulación que nos permita tener una confianza más institucionalizada de exigirle a las organizaciones ciertas bases de cómo se auditorean procesos: cómo se pensó ese proceso, justificarlo adecuadamente, tener un contexto de desarrollo que sea inclusivo por ejemplo. Y creo que también tenemos que desde ya empezar a preocuparnos de medir los impactos. Si yo estoy usando, generando, un modelo de lenguaje natural o incluso nosotros como usuarios, si estamos usando el Chat GPT, ese prompt, esa respuesta, ¿cuánto está gastando de agua, de luz, de recursos naturales? Entonces yo creo que es como bien completo, es: regulación, legislación, incentivos también en la inversión de estructuras, por ejemplo de auditorías internas y externas, pero también concientización social y que nosotros, como chilenos, le tomemos el peso a lo que tiene esta discusión.

Ignacio: Cuando se busca digitalizar algo, es necesario preguntarse sobre la pertinencia. Porque quizás no es necesario, quizás los impactos que va a tener no justifica necesariamente la utilidad. Pero para darse cuenta de todo eso también, hay que tener un poco de conocimiento, de educación como usuario. ¿Crees que en el fondo reducir un poco esas brechas digitales que existen es importante para poder crear un ecosistema de confianza en la inteligencia artificial?

Gabriela: A mí me encanta muchas de las iniciativas que se están tomando justamente por la política de inteligencia artificial que fue renovada en mayo de este año (2024). Se inició en el 2021 y muchas de estas cosas están destinadas también a formalizar conocimientos y acercar conocimientos a la población general. Me gusta hablar de “brechas digitales” donde tenemos esta idea de elite […] por el nivel de conocimiento que uno tiene por cómo funcionan las tecnologías digitales, y luego tenemos en el medio diferentes niveles de acceso de comprensión y por lo tanto de beneficio […]. Y luego ya tenemos a los analfabetos digitales y que lamentablemente son gran parte de la población. Muchas veces se cree que simplemente son personas mayores que quizás no se criaron con la tecnología, pero también hay mucha gente joven que es analfabeto digital en mucho sentido. Justamente porque nacen y conviven con las tecnologías digitales desde muy jóvenes, no tienen una perspectiva crítica. La pueden adoptar como parte de su día a día, pero eso no significa que sepan utilizarla bien.
[…] Estamos viendo tendencias que también tienen que preocuparnos porque tenemos que saber realmente cuáles son los efectos cognitivos que va a tener eso en la sociedad y en el desarrollo de esos niños, niñas y adolescentes.
Para mí, un gran foco de atención respecto a esta confianza ecosistémica también va de la mano de que podamos dimensionar los efectos que tiene la adopción de tecnologías digitales desde una temprana edad. No tenemos suficiente estudios, no tenemos suficientes datos y es importante que empecemos a ver cómo eso se va manifestando y cómo se ha ido manifestando en los últimos años.

Ignacio: Como lo decías antes, la tecnología está dentro de una sociedad o alguna organización y tiene efectos en la gente y me hace sentir que efectivamente, hay cosas que no nos podemos esperar y tenemos que estar viendo cómo evolucionan las cosas y tener un trabajo continuo de vigilancia y prevención.

Gabriela: Sí, es como ver todo como una red de influencia. En realidad, todo está interconectado de una u otra manera. Cuando uno es capaz de dimensionar “cómo me afecta esto a mí”, “cómo estoy haciendo que esto afecte a otros”, empieza uno también a entender. A mí esto es lo que me encanta, el fenómeno que estamos viviendo en la inteligencia artificial. Creo que muchas personas están en lo correcto que de repente nos estamos adelantando demasiado, tenemos que tener pausas críticas, deberíamos poner en cuestión y ser un poco más escépticos con muchas de las cosas que hacemos. Por supuesto que sí, pero en el mismo tiempo yo creo que nos está ofreciendo una oportunidad muy bonita y que es volver a ponernos en el centro. Para poder entender la inteligencia artificial y cómo entrenarla bien, necesariamente tenemos que entender: ¿qué queremos nosotros? ¿Cuál es la dinámica humana que esperamos y que deseamos replicar a través de una automatización? Entonces yo creo que muchas veces, no estamos dimensionando lo profundo de la reflexión que necesitamos para hacer buena inteligencia artificial.

Ignacio: Durante mucho tiempo, se pensó que la tecnología o la digitalización era neutra y se pensaba que era una solución a los problemas de facto. Ahí creo que había una especie de tecnosolucionismo en muchas cosas en el que se ha puesto la tecnología como pilar central, como pilar infalible, exento de toda subjetividad. Lo que no es cierto, y en el caso de la inteligencia, sí creo que tienes razón que nos impone repensarnos: ¿qué es lo que queremos poner al centro? ¿Queremos dejar simplemente a esta tecnología que crezca sin control, que crezca motivada por quienes estén detrás de crearla, o, como sociedad, como personas que estamos siendo afectadas y afectados por eso, nos ponemos al centro y decimos qué es lo que queremos como proyecto, qué queremos como tecnología y qué rol le queremos dar.

Gabriela: Creo que hay premisas que se entienden de manera errónea respecto a la inteligencia artificial. Sabemos que no tenemos una definición canónica de “inteligencia artificial”. Partiendo por eso, porque yo creo que es un pésimo término. Uno que acepto a regañadientes es “las inteligencia artificiales”. En realidad lo que tenemos son diferentes herramientas de diferentes tipos de técnicas, procesamientos, etc.

Pero lo que yo creo que es relevante también entender es que estas inteligencias artificiales, tenemos evidencia suficiente para saber que esta definición que se usa mucho que es “simular comportamientos humanos o imitar ciertos conocimientos o aprendizajes humanos”, es bien paupérrima. Y yo diría que hasta inválida, porque cuando vemos que una inteligencia artificial que tiene que procesar imágenes y esperamos que nos ayuda a detectar mejor un cáncer y vemos que tiene un 100 % de resultados, y después descubrimos que en realidad lo que estaba categorizando no era el tumor, sino que era el fondo del escáner y en el escáner donde se hizo el procesamiento de la imagen, era el escáner donde se escanearon todos los casos de cáncer y […] estaba detectando que era el fondo que tenía un cierto ruido, el que era asociable al cáncer. Pero no aprendió nada sobre el tumor, sobre la forma, alguna información relevante que quizás un humano, sí. […] Yo creo que ese es el punto de fondo que a mí me inquieta, ¿por qué querríamos simular o reemplazar la complejidad y la belleza de esa capacidad humana de entender contextos? ¿Simplemente para facilitarnos la vida? […] Pero en estricto rigor, no imitan el conocimiento humano. En ningún caso. Uno no anda entendiendo el lenguaje como patrones que proceso a través de números y puedo predecir qué palabra es mejor… No, uno vive el lenguaje, uno lo aprende a través de los sentidos, a través de una relación con un otro.

Entonces yo creo que muchas veces, la percepción que se le ha dado a la inteligencia artificial en el uso del lenguaje que partiendo por lo que llamamos inteligencia artificial, yo creo que también ha influenciado en que las personas tengan una idea muy errónea de lo que realmente es y lo que es capaz de hacer.

Ignacio: El ejemplo que diste me hace pensar que por eso es tan necesario poder hacer la auditoría de los modelos, que sean transparentes, que haya una responsabilidad. Y de todo lo que hemos hablado, hay mucho que aprender, tanto para quienes crean y trabajan en el ciclo de desarrollo de las inteligencias artificiales, pero también quienes las usan y quienes son objetos de ellas, ya sea a través de nuestros datos para el entrenamiento o porque somos afectados por su uso. En el fondo, es un cambio bastante transversal y global a nivel de sociedad. Me pregunto cómo se pueden encausar ese proceso para poder darle el lugar quizá que le corresponde a estas tecnologías y no ser víctimas de una evolución orgánica, sin control.

Gabriela: Hace poco salió una nota de una de las personas voceras de temas de inteligencia artificial hablando de la necesidad de que paremos ahora los avances de cualquier inteligencia artificial o modelo superior a GPT4. Pensando en que esto podría tener consecuencia… Deberíamos quizá lograr acuerdos, establecer límites, tener acuerdos internacionales […].
Por ejemplo, dentro del Centro Nacional de Inteligencia Artificial, siendo parte de este, he podido ver cómo se están moviendo organizaciones sin fines de lucro, gobiernos, institutos de investigación, ciertos centros de tecnología, con un fin común que es llegar a esos acuerdos. ¿Hasta dónde queremos llegar? ¿Qué límites queremos poner? ¿Cómo vemos que esto está afectando a nuestra población?
Una vulnerabilidad que además es propia del Sur global. Sabemos que muchos de esta tecnología se generan transversalmente en el Norte global, con legislaciones del Norte global y que tienen los intereses propios de esa población. De alguna manera, nosotros estamos desde acá discutiendo y empoderando en cómo esto nos afecta también a nosotros. Creo que, desde mi perspectiva, es necesario y hasta cierto punto, podría llegar a ser suficiente por un periodo de tiempo, el que pudiésemos llegar a acuerdos internacionales. Esto es extremadamente difícil. Creo que sí se puede, por ejemplo dentro de Latinoamérica, que tengamos nuestros propios acuerdos, que la Unión Europea después se junta con lo que se habla acá o en Estados Unidos. Tenemos potencias como China que no sé si van a querer establecer cierto acuerdos internacionales, podrían no querer hacerlo o podrían no hacerlo en su completitud, pero sí hemos visto algunas acciones de buena fe, por así decirlo. En donde ellos desarrollaron una legislación propia y que conversan bastante con lo que se está haciendo en Estados Unidos, en la Unión Europea. Creo que esto siempre se hace la comparación con las armas nucleares, porque es una tecnología de alto riesgo y que traspasa barreras políticas y geográficas. La inteligencia artificial tiene, en su potencialidad, esa misma capacidad. En ese sentido, yo creo que va a ser necesario que le tengamos el respeto que merece para poder llegar a dimensionar esos posibles impactos y llegar a esos acuerdos que creo que van a ser muy necesarios.

Ignacio: A corto plazo, ¿cuál crees que es el desafío más importante de la inteligencia artificial?

Gabriela: Estamos terminando de escribir un libro con unos colegas. En el último capítulo justamente, nos estamos preguntando ¿cómo vemos que esto va a ir evolucionando los próximos 10 años, 5 años?
Probablemente nos equivoquemos rotundamente, quizás va a salir algo inesperado que nadie tenía en sus planes, quizás se va a detener todo esto. Es bien incierto, precisamente porque yo creo que hay muchas cosas moviéndose al mismo tiempo. Pero yo creo que una de las cuestiones que necesita tener mayor relevancia, que es imperante que nosotros nos hagamos cargo, refleja lo que hemos conversado: primero que logremos tener una regulación o legislación robusta a nivel global, que conversen unas con otras, que establezcamos acuerdos que nos permitan al menos tener estándares de transparencia de procesos, tener estándares de cómo nos estamos entregando datos unos con otros, con que fines. Tener algo como un acuerdo exploratorio. Si sabemos que estas empresas van a seguir avanzando, sabemos que ciertos gobiernos van a seguir poniendo dinero en los avances científicos relacionados con la inteligencia artificial… Entonces al menos tengamos mínimos comunes. Eso es lo más importante en este momento. Porque eso además va a necesitar una infraestructura de recursos humanos y recursos tecnológicos que estén acoplados con estas dimensiones de desarrollo ético que hemos estado hablando. Si tenemos una regulación que requiere que para que un modelo de inteligencia artificial o datos que venga de Europa o de Estados Unidos entre a Chile, bueno, que pasen por los criterios que nosotros también consideramos que son necesarios […]. Yo creo que eso nos va a empujar a que esos requisitos ya se vuelvan parte de la cotidianidad del desarrollo y la adopción de inteligencia artificial que se cree en nuestro país, pero que también se importe desde fuera.

Ignacio: Volviendo más al día a día. Cuando usamos una de estas inteligencias artificiales, ¿cómo podemos darnos cuenta de los sesgos que tenemos, de los sesgos que nos puede estar presentando esa información y cómo evitar seguir replicando esos sesgos?

Gabriela: Es súper difícil y es algo que también ha sido un desafío en filosofía, en meta ética… Cuando uno habla de sesgos inherentes que uno es incapaz de procesar o reconocer que tiene. Muchas veces tenemos sesgos y ni siquiera nos damos cuenta.
Creo que la manera práctica, más fácil de reconocer los sesgos es la variabilidad y la exposición a diferentes tipos de información y procesamientos cognitivos. Me refiero con esto en palabras simples: juntarse con otra gente. En el día a día, considerando el abuso de redes sociales existentes, el abuso de la excesiva personalización a través de algoritmos de recomendación, ¿cuántas veces yo activamente busco información paralela? ¿Cuántas veces yo me pregunto por qué estoy viendo lo que estoy viendo?
[…] Estamos en un momento en el que estamos recibiendo tanta información y esto incluso a nivel académico y profesional. Perdemos el sentido de poder contextualizar las cuestiones que estamos haciendo. En ese sentido, cuando me dicen “le voy a preguntar al chatGPT”… Primero, sepa que usted no le va a preguntar nada. Porque el Chat no responde, el Chat genera simulaciones de predicciones gramaticales. Pero no te va a responder una pregunta. ¿Por qué mejor no le preguntamos que te diga “bueno, ¿qué temas están relacionadas con esto?” Y luego los buscas tú. Entonces es como yo realmente me situó en mi relación con esa tecnología. […] Yo no uso Google para buscar información, yo uso Reddit. Es una plataforma que mucha gente no conoce y que básicamente son como grupos informativos sobre temas. Muchas veces cuando uno busca información específica sobre cómo solucionar un problema, qué personas puedo leer para saber sobre un tema, son recomendaciones humanas. Eso es lo que yo creo que es importante simular cuando uno está interactuando y de alguna manera lidiando con esta excesiva información. Ponerse en contacto con un otro que haya experimentado el opuesto, algo similar, algo paralelo. Porque esa es la experiencia que realmente enriquece el hecho que yo diga ¿estoy entendiendo esto bien? ¿Me cuestioné lo que me tenía que cuestionar o no? Porque la tecnología no lo hace por uno.

Ignacio: Para quiénes trabajan en el sector digital ya sea creando software, tecnología o desarrollando sistemas de inteligencia artificial, ¿cuál crees que se debe ser el primer cambio, la primera acción que habría que implementar para ser más consciente de todo lo que hemos hablado?

Gabriela: Serían dos cosas: una es saber que no saben lo que no saben. Y la otra es el hecho de que sepan que tienen una deformación profesional. Sé que suena tosco el término pero es un término técnico. La deformación profesional básicamente es una consecuencia de las hyper especializaciones que hemos ido teniendo a lo largo de cómo se ha transformando el que hacer científico. […] Nosotros tenemos maneras de entender los problemas [diferentemente]. […] Y si no están en un ámbito que sea ampliamente interdisciplinario, expandan eso. Esto va desde leer libros de ciencia popular que te muestran cómo se están viviendo ciertas transformaciones digitales en otras áreas, el poder escuchar podcast, es algo accesible, simple de hacer y no te va a tomar tanto tiempo pero va a empezar a abrir una percepción cognitiva diferente. Eso es lo que genera cambios a largo plazo porque no sacó nada yo con decirle a alguien que vaya y se tome un curso de capacitación de razonamiento ético, de evaluación de algoritmo, de auditoría… si todavía no ha abierto su mente a ese estado de autocompreensión de “yo estoy profesionalmente deformado”. Es un proceso muy bonito porque uno identifica qué es lo que no sabe. Entonces mi recomendación sería primero empezar por ahí.

Ignacio: Muy buen consejo. Creo que es bastante simple de hacer, lo que no signifique que sea fácil en un principio, ponerse en esa situación, hay que aceptar que uno no sabe lo que no sabe y estar dispuesto a aprender y explorar cosas que quizás vayan a veces un poco en contra de lo que no está acostumbrado a pensar o a creer.
Muchas gracias por la conversación, fue muy interesante. ¿Quieres agregar algo más o un mensaje final?

Gabriela: Invito a todas las personas que nos están escuchando a que conversemos más. Que no consumamos tanto contenido. Me gustó que esto fue una conversación que fluimos con los temas, porque acá no se trata de simplemente procesar información, nosotros no somos las máquinas, no vamos a simplemente tomar input y sacar outputs. Yo creo que lo importante acá es que volvamos a revivir los contextos en los que vivimos, la importancia que tiene que tú tuviste una infancia diferente a la mía, en que tú estudiaste algo diferente a lo mío, y que eso nos sitúa con ciertas ventajas y desventajas respecto a la interacción que vamos a tener con las nuevas tecnologías. Entonces yo creo que estamos en una situación que además irónicamente las tecnologías nos permiten acercarnos más, pero depende de nosotros también cómo transformamos esa cercanía digital en una cercanía humana. Entonces los dejo completamente invitadas e invitados a que empecemos a hacer esas reflexiones. Siempre estoy disponible, si quieren un día conversar, si quieren contactarme, si quieren mostrarme algo… también me encuentran en mis redes sociales.

Scroll to Top