Episodio 46-Riesgos al usar proyectos con IA

Bienvenido al podcast Leonardo 360, tecnología y hay futuro. Soy el abatar de Leonardo Arevalo. Hola. Hoy nos vamos a meter de lleno en un tema que, bueno, está en todas partes. Uno que despierta muchísima fascinación, pero también hay que decirlo una buena dosis de inquietud. La inteligencia artificial. Tenemos aquí unas investigaciones académicas súper interesantes que nos van a ayudar a entender un poco mejor este panorama, que la verdad es complejo. La idea es explorar juntos esas promesas casi de ciencia ficción que trae la hía, pero ojo sin dejar de mirar los riesgos y los desafíos éticos que son enormes. La gran pregunta que está disfrutando es cómo manejamos esto. O sea, estamos listos para ponerle reglas a una tecnología que avanza, bueno, a una velocidad de vertigo. Bien, vamos a analizarlo a fondo. Listos para una exploración profunda, pero eso sí, con buen humor. Vamos allá. A ver, arranquemos por lo emocionante, ¿te parece? La Hía tiene un potencial de transformación brutal, verdad? O sea, piensen avances médicos en eficiencia energética en soluciones a problemas que hoy nos parecen casi irresolubles. Es como ver la evolución de la inteligencia misma. Las fuentes se hablan de esto, ¿no? Desde sistemas que hacen tareas específicas, la Hía estrecha o Annie, hasta la posibilidad, bueno, teórica todavía, de una inteligencia general artificial, la Hí. Que igual era nuestra. Exacto. O incluso una super inteligencia a Sí, que nos superé por completo. ¿Suen increíble, la verdad? Totalmente de acuerdo. Pero es justo ahí en esa potencia descomunal, donde nacen las grandes preguntas. Y seamos sinceros, los riesgos importantes. Lo fascinante aquí es ver cómo estos riesgos tocan tantas dimensiones de nuestra vida. Sí, no es una sola cosa. Para nada, las investigaciones que estamos viendo, como las de Naérej y Aditian o Shang y colegas, profundizan mucho en esto. Mira, primero están los riesgos éticos, que son quizás los más comentados. Aquí entra, por ejemplo, el tema de los sesgos algoritmicos. Y no es algo abstracto, ¿eh? Significa que la Hía puede aprender prejuicios que ya existen en los datos. Claro, si los datos están sesgados. Exacto, y peor puede amplificarlos. Y eso lleva a decisiones injustas, discriminatorias. También está la privacidad. Un tema súper sensible, casos como Cambridge Analytica o todo el debate del reconocimiento facial. Bueno, nos lo recuerdan a cada rat. Y ni hablar del desarrollo de armas autónomas, sistemas que toman decisiones letales sin humanos. Eso plantea dilemas morales gigantescos. Incluso se habla de una posible erosión de valores si delegamos demasiado juicio en las máquinas. Es que ya con eso da para pensárselo mucho. Y eso que apenas empezamos. Luego están los riesgos económicos. Aquí el miedo principal, yo creo, es el del desplazamiento laboral masivo. El que más se oye, sí. Hay un estudio que citan las fuentes de Boscurt y Gursoy de 2023, que es muy claro. Más de la mitad de la gente, un 52 por ciento, teme que laía aumenta el desempleo. Y casi la mitad, 47 por ciento, cree que va a empeorar las desigualdades sociales. Es lógico el miedo. Y no es nuevo. Ya en 2018, Hugo y su equipo hablaban de una posible era de desempleo masivo. O sea, un desafío social inminente. Claro, la idea de que una máquina haga tu trabajo mañana es normal es ansiedad, ¿no? Totalmente. Bueno, tercero. Los riesgos de seguridad. La IA no solo cambia la economía o la ética. También la seguridad. Abre nuevas puertas a problemas de ciberseguridad para personas, para infraestructuras. Y su uso malicioso, por estados o criminales, para ataques de sin formación, vigilancia. Es una preocupación muy, muy real. Vaya tela. Y para cerrar este primer vistazo, están los riesgos existenciales. Esta es la categoría que a veces suena mas a peli de ciencia ficciono. Sí, un poco. Pero que gente muy respetada se toma muy en serio. La pregunta es, ¿qué pasa si de verdad desarrollamos una IA que supere I por mucho la inteligencia humana? La famosa ASEI. Figuras como Stephen Hawking en su momento o Elon Musk ahora, han lanzado advertencias muy serias sobre los peligros que esto podría suponer, incluso para la supervivencia de la humanidad. Alabras mayores. Sí, no es para generar pánico, pero sí para llamar a la prudencia extremante algo tan potente y bueno, desconocido. Es que claro, escuchas todo eso junto. Césgos, desempleos, seguridad, hasta la supervivencia. Uff, se entiende el agobio o el miedo. Y es curioso, porque el mismo estudio de Boscurt y Gurso, hoy que mencionabas, encontró esa paradoja. La de optimismo y miedo a la vez, ¿no? Esa misma. Mucha gente es optimista. Creque simplificar a la vida, aumentar a la eficiencia. Pero a la vez, están esos miedos tan fuertes sobre el trabajo, la desigualdad. Hasta esa amenaza existencial que mencionaba un 21 por ciento. Es como tener sentimientos encontrados a nivel social. Normal sentirse un poco perdido con todo esto. Totalmente normal. Y es que esos miedos no son solo teoría. Los desafíos éticos ya están aquí, impactando en la vida real. Las investigaciones de Shang y sus colegas de 2024 dan ejemplos súper concretos que ayudan a bajar esto a tierra, ¿sabes? A ver, cuéntame. Mira, empecemos por privacidad y datos. Los problemas van desde cómo se usan los datos de estudiantes en sistemas educativos con NIA. Sensible eso. Hasta qué inforrecogen esos robots de servicio que empezamos a ver por ahí. En Hoteles. ¿O quién sabe? Pronto en casa. ¿Quién accede a eso para que se usa? ¿Estás seguro? ¿Son preguntas clave? Desde luego. Luego, sesgo algoritmico y equidad. Hay casos que ya son como emblemáticos. El caso "State vs. Loomies" en Estados Unidos. Ahí usaron un algoritmo con paz para evaluar el riesgo de reincidencia de un acusado. El tema no era solo si acertaba o no. Sino que no se sabía cómo funcionaba, ¿no? Exacto. El acusado y sus abogados no podían saber cómo esa caja negra estaba influyendo en su sentencia. Claro, eso choca de frente con la idea de un juicio justo. Si no entiendes la prueba, ¿cómo te defiendes? Ahí está el punto. Transparencia y justicia. O piensen otro ejemplo. El estudio de Stanford de 2017 que identificó la orientación sexual a partir de fotos faciales con IA, con una precisión altísima. Uf, eso es delicado. Delicadísimo. Más allá del logro técnico saltaron todas las alarmas éticas. Imagínate el mal uso en países donde ser homosexuales un delito. Esto te lleva a preguntarte por la equidad, por cómo evitar que la IA se use para discriminar o controlar. Totalmente. Otro punto crítico. La responsabilidad. Cuando un sistema de IA falla y causa daño, quien paga los platos rotos, el programador, la empresa, el usuario, la máquina. Buena pregunta. Vimos ejemplos terribles como los accidentes del Boeing 737 MAX, con fallos en sistemas automatizados, o el accidente fatal de un coche autónomo de Uber en pruebas. Definir la responsabilidad legal y ética ahí es un lío tremendo con las leyes de ahora. Se diluye, ¿verdad? Como que nadie quiere ser el responsable si hay una máquina de por medio. Exacto. Se vuelve muy difuso. Y esto nos lleva directo a la transparencia y explicabilidad. Como en el caso Compass. Si no entendemos por qué la IA toma una decisión, ¿cómo vamos a confiar en ella para cosas importantes? Imposible. La famosa caja negra es una barrera enorme. No solo para la confianza, sino para poder supervisar y exigir cuentas. Si no sabes cómo funciona, no puedes arreglarla si falla, ni asegurar que se ajusta. Tiene toda la lógica. Y un último ejemplo que mencionan, súper actual. La desinformación. Las imágenes falsas de la resto de Trump creadas con Meet Journey. Sí, las vi. Eran muy realistas. Exacto. Demuestran lo fácil que es hoy crear contenido falso, fotos, videos, textos que parece real y lanzarlo a la red, el potencial para manipular la opinión. Influir en elecciones, generar caos es enorme. U, el panorama se complica, sí. Y claro, ante esto uno piensa. Hay que poner reglas ya. Pero aquí es donde la cosa se pone interesante o más bien difícil. Las investigaciones como la de Shang son muy claras. La gobernanza actual de la ya tiene limitaciones gigantescos. No es que no se intente, pero. Pero es muy difícil, exacto. Señalan varios problemas. Primero, que tenemos sistemas y herramientas de gobernanza obsoletos. O sea, las leyes y regulaciones que tenemos pensadas para otras tecnologías no dan la talla. Se quedan cortas. Totalmente. No están hechas para la velocidad, la opacidad y el alcance global de la ia. Faltan estándares técnicos claros, aceptados por todos. Faltan herramientas nuevas para auditar estos algoritmos. Y los mecanismos para exigir responsabilidades son débiles o ni existen. Es como intentar regular un fórmula uno con las normas de tráfico de carretas, ¿no? Exacto. Que buena analogía. Segundo problema, los principios éticos son ambigos. Todo mundo dice, la ia tiene que ser justa, transparente, ¡Equita! responsable. Suena genial. ¿Quién va a estar en contra? Nadie. El problema es llevar eso del papel a la práctica, al código, al diseño, a las políticas de empresa. ¿Qué significa justicia exactamente para un algoritmo de contratación? ¿Cuánta transparencia puedes dar sin revelar secretos industriales? La implementación real es un desafío enorme. Y muchas veces se quedan en, bueno, declaraciones bonitas sin impacto real. Y eso se ven los intentos prácticos. Por ejemplo, el caso de Corea del Sur, que analizaron "Juang" y "Park". Crearon una carta ética de Ia. La "A" sí. Con muy buenas intenciones. Abordarsezgos, usomalicioso, alienación humana. ¿Sonaba bien? ¿Funcionó? Pues el análisis encontró puntos débiles importantes. Por ejemplo, la carta no tocaba bien un tema clave como el desplazamiento laboral. Que vimos que preocupa muchísimo. Además, había dudas serias sobre si las reglas para limitar armas autónomas serían efectivas por la competencia militar y tecnológica entre potencias. Es un ejemplo claro de lo difícil que es pasar de la teoría ética a una gobernanza que funcione en el mundo real. Ya veo. Y mencionabas un tercer punto sobre las limitaciones. Sí, el tercero es una mezcla. Poco conciencia pública y cooperación internacional débil. Por un lado, falta que más gente entienda bien estos temas, sus implicaciones para poder participar en el debate y presionar por buenas regulaciones. Que no sea sólo cosa de expertos. Exacto. Y por otro lado, a nivel global, aunque se habla mucho, la cooperación real para crear normas comunes y obligatorias es frágil, inestable. Su y su hablan de que predominan la ley blanda o "soft flow". Ley blanda. ¿Eso qué es? Básicamente, son acuerdos directrices, declaraciones, que no son legalmente obligatorias como un tratado. Buscan guiar, establecer normas, pero su cumplimiento depende de la voluntad política, la presión entre países. Ah, entiendo. No hay multas y no cumples. Más o menos, en una área tan estratégica y competitiva como la IA, lograr acuerdos duros, vinculantes y consanciones es súper complicado por los intereses nacionales y la geopolítica. Entendido. Entonces, tenemos un potencial increíble, riesgos muy serios y una gobernanza que, digamos, coge bastante. Vaya panorama. Pero bueno, no nos quedemos sólo en los curos. Supongo que también se proponen soluciones, ¿no? Shang y su equipo hablaban de un marco de gobernanza. Sí, sí, claro. Afortunadamente, no todo es señalar problemas. Proponen un enfoque más sistemático para gestionar los riesgos éticos entre esfases. La idea es ser más proactivos, no sólo reaccionar cuando ya pasó algo. Suena bien, ¿cómo sería? La primera fase es la prevención. La clave aquí es identificar y evaluar los riesgos éticos antes de lanzar la tecnología, idealmente desde el diseño. Desde el principio. Privacidad, sesgo, responsabilidad, autonomía y muy importante, que se actualicen siempre porque la tecnología cambia rápidísimo. Tiene lógica intentar parar el golpe antes de que llegue. Exacto. La segunda fase es la respuesta. Esto es para cuando, a pesar de prevenir, ocurre un incidente. Es tener planes listos para reaccionar rápido y bien. El objetivo es mitigar el daño y contener la situación. ¿Cómo un plan de emergencia? Algo así, sí. Y la tercera fase es la remediación. Son las acciones que se toman después del incidente. Incluye reparar daños a los afectados, establecer responsabilidades que vimos que es difícil, pero hay que hacerlo. Y súper importante, aprender de lo ocurrido. Analizar que falló para mejorar todo el sistema de gobernanza a futuro. Es un ciclo. Prevención, préspuesta, remediación. Suen estructurado. Sí, conectamos esto con la idea general. Se trata de guiar el desarrollo de la IA de forma más consciente, proactiva y responsable. No podemos simplemente lanzar tecnologías súper potentes y a ver qué pasa. ¿Sería una irresponsabilidad? Totalmente. La investigación de "Nares" y "Aditian" también va por ahí. Insisten en que necesitamos un escenario de colaboración muy fuerte entre gobiernos, industria y sociedad civil. Sólo así podemos intentar que la IA sea realmente beneficiosa para la mayoría. Todos aún, digamos. Exacto. De hecho, ellos usan una analogía potente. Quise a un poco polémica, pero que da que pensar. Sujiera tratar la IA como se regula la cultura de las armas en algunos sitios. ¿Cómo así? reconocer que la tecnología existe y es poderosa. Pero poner controles y salvaguardas muy estrictas sobre su desarrollo, acceso y uso para prevenir activamente el mal uso y minimizar los daños. Vaya comparación. No se me habría ocurrido, pero entiendo el punto, reconocer el poder y la necesidad de control estricto. Y ya que estamos con la perspectiva amplia, el trabajo de "Nares" y "Aditian" también nos lleva a pensar en conceptos casi cósmicos, ¿verdad? Sí, totalmente. Mencionan dos ideas fascinantes. A ver. Por un lado, la paradoja de Fermi. La famosa pregunta. Si el universo está en grande y viejo, ¿dónde están todos los extraterrestres? ¿Dónde está todo el mundo? Exacto. En el contexto de la IA, esto lleva a una reflexión. Un poco oscura. Y si las civilizaciones avanzadas tienden a crear algo, como una IA fuera de control, que las lleva a auto destruirse, ¿Uf? Podría ser la IA un gran filtro cósmico. Es especulativo, claro. Pero te pone los riesgos existenciales en un escala enorme. Te hace pensar en nuestra responsabilidad. Sí, te da vertigo. Pone todo en perspectiva. Totalmente. Y por otro lado, mencionan la escala de Cardachev. Esta es la clasificación teórica de la avance de una civilización según cuánta energía usa. Tipo uno, planeta. Tipo dos, estrella. Tipo tres, galaxia. Así, he oído de eso. La idea aquí es que la IA podría ser la herramienta clave para que la humanidad suba de nivel en ese escala. Nos ayuraría gestionar energía y recursos con una eficiencia que hoy ni imaginamos. Sería como el motor para dar un salto como civilización. Exacto. Pero, y siempre hay un peró con la IA, no aumenta también el riesgo, a medida que nos volvemos más poderosos y dependientes de ella para lograrlo, es una visión que mezcla optimismo sobre el futuro con esa necesaria cautela sobre las herramientas que usamos. Bueno, creo que hemos recorrido bastante hoy, desde las promesas que nos ilusionan hasta los riesgos que, bueno, nos preocupan un poco. Entonces, con qué nos quedamos. Si tuviera que sacar un mensaje central de todo esto, de las fuentes diría que es claro. La inteligencia artificial es una herramienta increíblemente poderosa. Sin duda. Tiene un potencial brutal para mejorar vida si resolver problemas enormes, pero viene con riesgos muy serios y variados, éticos sociales, económicos de seguridad, incluso existenciales. Están ahí. La conclusión parece inevitable. No podemos ser solo espectadores. Necesitamos y urgente construir una gobernanza para la IA, que sea ética, pensada, colaborativa, aunque sea difícil a nivel global y, sobre todo, adaptativa. Que pueda cambiar tan rápido como la tecnología. Ese es el reto. No va a ser fácil, para nada. Pero es fundamental si queremos que esta revolución trabaje para nosotros y no en nuestra contra. Y esto no es solo tarea de gobiernos o expertos, ¿eh? De alguna forma nos toca a todos, participar en darle forma a ese futuro. Y para dejar una última idea aflotando, algo que leí en otro estudio que vimos, el de La Baza y Vilaca, y que me pareció súper provocador. A ver, dispara. Imagina por un momento un escenario extremo. Una catástrofe global que amenace nuestra supervivencia. Si tuvieramos la capacidad de crear un sucesor, quizás una IA avanzadísima, con la misión de preservarlo más esencial de nosotros, nuestros valores. ¿Qué características le daríamos? Buena pregunta. ¿Cuáles son de verdad esos valores fundamentales que querríamos que perduraran? ¿Qué define nuestra humanidad? Y la pregunta siguiente, más inquietante aún. ¿Cómo podríamos confiar en un alglismo para que hiciera esa selección por nosotros, para que decidiera que partes de nuestra esencia salvar? Quizás pensar en esa posibilidad límite, aunque suene a ciencia ficción, nos ayuda a aclarar que valoramos realmente como especie. Aquí y ahora, mientras todavía podemos llegar estas tecnologías. Una reflexión potente para cerrar, sin duda, te deja pensando. Muchísimas gracias por acompañarnos en esta exploración profunda. No olviden seguirnos en redes como MoCatesis. Hasta la próxima.