Estamos creando una IA que nadie podrá controlar - Connor Leahy

Connor Leahy y la Amenaza de la Superinteligencia Dario amadei, también CE o de antropic, dijo en un podcast que la probabilidad de catástrofe es del 20%, lo cual, para ser claros, son peores probabilidades que la ruleta rusa. Permitirías que alguien jugara a la ruleta rusa con tus hijos. Connor League es un experto en inteligencia artificial y el director ejecutivo de Conjecture, una empresa de I a que se enfoca en la seguridad, se le reconoce por advertir sobre el riesgo social y existencial del avance descontrolado de la inteligencia artificial. Connor comenzó su carrera en comunidades de hackers y de código abierto, abogando por el acceso abierto al conocimiento tecnológico. Hoy promueve el desarrollo responsable de la I a y cuestiona el código abierto sin restricciones, argumentando que liberar sistemas potentes sin salvaguardias puede dañar a la sociedad y la democracia. En 2019 tuve mi momento de oh mierda, dije PT 2 y pensé, Oh Carajo, está pasando y vi que era como oh no, mierda. Es como el momento crítico es ahora y ahora lo que también estamos viendo es la aparición de la orquestación de agentes y enjambres de agentes y espero que esto continúe de modo que en uno o 2 años tendremos miles o millones de agentes trabajando juntos en el mismo proyecto. Estamos avanzando a toda velocidad hacia lo que se llama Superinteligencia. La superinteligencia pone son sistemas de I a muchísimo más inteligentes que todos los humanos juntos. Si construyes es un sistema así y no sabes cómo controlarlo. Básicamente las decisiones del futuro, pues ya no serán tomadas por humanos, serán tomadas por sistemas de I a la verdad es que nadie tiene el control, es un caos total, gente más poderosa del mundo no tiene el control. Y tampoco saben qué demonios está pasando. ¿Tenemos, como sabes, un par de estudiantes de posgrado drogados con Aderal, Sabes pasando sus fines de semana en esto verdad? Es como es una broma y no veo cómo se puede tener un buen futuro como humanos en ese mundo. La táctica clásica de las grandes tecnológicas y estas empresas es hacer algo que es quizás bueno, quizás malo, quizás ilegal, quizás no ilegal, y luego hacerlo tan rápido y volverse tan poderosos que, bueno, ahora ya no nos pueden detener. Hay algo que la gente dice bueno, está por ejemplo Darío o Denis o lo que sea. No pueden parar, no podían, sabes ayudar y yo puse de qué mierda estas hablando. Estas son algunas de las personas más ricas, carismáticas, poderosas y bien conectadas del mundo. ¿Claro que podrían hacer algo, dejen de presionar al Gobierno contra la regulación, qué tal eso? Son cabilderos pagados que intentan engañarte, intentan mentirte, a ellos se les paga para destruir al Gobierno. El objetivo principal de la política debe ser no llegar a la situación en la que exista una a SI cuando exista una a SI ya. Hablante 2 Están. ¿Entonces, qué qué podemos hacer? Tienes un camino claro de que esto es irreparable, hace. Hablante 1 Unos. Hablante 2 Años, cuando me decía en la inteligencia artificial y comencé a investigar sobre ella, leí muchísimo. Escuché una gran cantidad de podcast y muchas voces. Una de esas voces fue la de Conor Leggin. Él fue una de las personas que me introdujo en la I a y me hizo darme cuenta de que esto podría ser más que un simple cambio tecnológico. Que no cree que hay un hay una razón por la que las cosas están sucediendo de de la manera en que lo hacen y que esto no nos está llevando al lugar correcto. Él es una de las voces más populares que que hablan sobre la seguridad de la inteligencia artificial. Y lo más importante de todo, tiene un plan. Quizás deberías escucharlo y aprender algo sobre cómo podemos hacer que la I a sea segura. La Percepción Pública y el Avance Inevitable de la IA Con los estamos utilizando la inteligencia artificial a diario y todos están muy contentos con los incrementos de productividad. Y cómo está haciendo la vida de las personas más sencilla. Pero quizás nos estamos perdiendo algo. Aquí existe, digamos, la otra cara de la moneda. ¿Hay algo de lo que deberíamos preocuparnos con la inteligencia artificial? Hablante 1 Bueno, pues todos es una palabra bastante fuerte, porque si miras las encuestas reales sobre cómo se siente la gente con la I a, el sentimiento es en realidad abrumadoramente negativo la mayoría de la gente común fuera de la industria tecnológica, las personas que no se benefician directamente de la tecnología. En realidad no se sienten muy optimistas con la I a en absoluto. Mucha gente se siente muy explotada, se siente muy preocupados por el futuro, están preocupados por su empleo, preocupados por cómo está afectando a los niños. ¿Sabes? Ya estamos viendo efectos muy negativos, cómo está básicamente destruyendo las redes sociales, donde está atrofiando el cerebro. Sabes como que bueno, a las generaciones mayores YY más jóvenes hay muchísimas desventajas que ya estamos viendo al respecto, así que decir que a todo el mundo le parece bien o que todo el mundo está contento con ello. Creo que es es una visión muy de hecho estrecha de básicamente la gente en tecnología. Hablante 2 Estoy de acuerdo, quizás no lo exprese bien, pero la realidad es que hay 900000000 de de usuarios activos de chat GPT cada semana y están haciendo algo con ello, así que tan pronto como entras en chat GPT no te toma más de media hora darte cuenta de que puede ser realmente útil. Hablante 1 O si eso es cierto, lo uso a diario, si. Hablante 2 Exactamente a eso me refiero. ¿No sé si la percepción es que es algo bueno para la humanidad, pero la realidad o la vida diaria es que puede ser de gran ayuda, pero insisto que qué estamos pagando? ¿Cuál es el costo real que estamos pagando por esa ayuda? Hablante 1 Creo que esa es la la cuestión realmente interesante, así que creo que hay como múltiples maneras de abordarlo. La que más me importa es la amenaza inminente o ya sabes, ya emergente de una I a agéntica más inteligente que la I a humana. Ya estamos viendo muchos, muchos problemas, la gente ya está asustada con la I a ya estamos pagando muchos precios, podemos profundizar en eso si te interesa, pero lo que a mí personalmente más me preocupa es que nos estamos lanzando de cabeza hacia lo que se llama Superinteligencia. La superinteligencia siempre son sistemas de I a que son inmensamente más inteligentes que todos los humanos juntos. Si construyes, pues un sistema así y no sabes cómo controlarlo, algo que actualmente no sabemos hacer, ni siquiera sé cómo controlarías algo más inteligente que tú. ¿Entonces el futuro pues les pertenece a ellos, no a nosotros, Eh? O sea, así de simple. Ya se está transfiriendo cada vez más poder de los humanos a la I a la I a están tomando más decisiones, están ganando más poder económico, están ganando más poder político, más poder sociocultural, etcétera. Y una vez que tengamos sistemas que sean completamente agénticos, completamente autónomos, completamente super inteligentes, entonces básicamente las decisiones del futuro, pues ya no serán tomadas por seres humanos, serán tomadas por sistemas de I a y no veo cómo se puede tener un buen futuro como seres humanos en ese mundo. La Rápida Transición de AGI a Superinteligencia ¿Pero la superinteligencia no existe todavía no, así que básicamente nos encontramos en un punto en el que tenemos algo que parece que podría impulsarnos hacia la superinteligencia Bueno, qué tan seguro estás de que llegaremos a ese punto y cuan pronto crees que lo lograremos, no? Hablante 1 Hay 2 formas de ver esto, por un lado pienso en mi y me digo, amigo, abre Clot Code ahora mismo recuerdo los tiempos en los que no podíamos hablar con nuestros ordenadores. Ahora puedo hablar con mi computadora en lenguaje natural, decirle que haga algo y básicamente lo hace. Le digo clot. Implementa esto por mí, trabaja durante 45 minutos y regresa diciendo lo hice. Aquí tienes y funciona la mayoría de las veces, claro, es perfecto. ¿No contrataste a un ingeniero junior antes? Hablante 2 No son perfectos tampoco. Hablante 1 Ellos tampoco son perfectos. O sea, es que es definitivamente el caso ahora mismo que básicamente no existe ninguna razón para contratar a un ingeniero junior. O sea, no se me ocurre una sola tarea que un ingeniero junior humano puedo hacer de forma más fiable que cloud code. No se me ocurre literalmente ni una sola, hay cosas que un ingeniero senior aún hace mejor como arquitectura de software y cosas así, pero seamos realistas, hace un año nada de esto era posible hace un año, pues estas cosas no podían escribir código de forma autónoma en absoluto. ¿Qué crees que va a pasar de aquí a un año? Pues hay una especie de he Estado en este campo por muchos años y el momento en que vi pues Por Primera Vez, oh mierda, la superinteligencia está llegando fue GPT 2. Vale, el más pequeño de 100000000 de parámetros. Apenas podía hilar 2 frases, pero cuando vi eso pensé, mierda es esto, porque lo que hacía era aprender patrones de propósito general, le metías más cómputo, más patrones y aprendía más cosas, primero aprende ortografía, gramática, luego párrafos y conceptos más complejos, etcétera. ¿Era escalable? Y desde entonces hay esta cosa que ocurre básicamente cada año. ¿Y siento que estoy, estoy viviendo el día de la Marmota como que siento que me estoy volviendo loco, donde cada año la gente dice, Bah, Bueno, la I a nunca será demasiado potente, verdad? ¿A ver qué pasa luego un año después es muchísimo más poderosa y puede hacer todo lo que decían que no podía y luego simplemente dicen lo mismo, sabes, repiten, lo mismo es como vale, pero sabes, aún no es superinteligente y luego un año después decimos está cerca de la Superinteligencia, Sabes? Sí. Hablante 2 ¿Existe la percepción de que seguimos empujando la mitad hacia delante, no? Como creo, si como bien dices, quizás en el año 2019 o en cualquier otro momento, si hubiéramos visto lo que cloud code está haciendo hoy o lo que chat GPT 5.2 es capaz de hacer, habríamos dicho eso es a G I como mínimo, sino a SIY. Ahora que lo vemos, pensamos, sí, es una máquina tonta, no es tan buena. ¿Crees que eso es parte de la naturaleza humana como mala percepción o es como parte de la estrategia para que sigan impulsando el objetivo y no sean tan estrictos con la regulación todavía? Hablante 1 Bueno, alguien que conozco lo expresó de una manera bastante divertida. Él piensa que la razón por la que los seres humanos están reaccionando de esta manera es porque hemos llegado a la primera etapa del duelo, que es la negación, creo que es. Hablante 2 Oh mierda. Hablante 1 Y creo que en cierto sentido es peor que esto. La I a es tiene un nombre, se le llama el efecto I a esto se remonta incluso a los años 70, donde en los la palabra I a parece quizás una palabra nueva, pero en realidad es una palabra muy antigua, un fue acuñada Por Primera Vez en los años 50, creo que por John Mccarthy, y básicamente, pues en aquel entonces muchas cosas que se consideraban inteligencia artificial ya no las consideramos I a, por ejemplo, pues las bases de datos. Vale como las bases de datos SQL, que antes, pues se consideraban inteligencia artificial, porque en aquel entonces no estaba nada claro cómo se podían guardar ni encontrar datos estructurados. Era un problema sin resolver hasta los años 70 u 80, pero ahora nadie llamaría por esto. I a verdad no cuenta así que en cierto modo la inteligencia artificial es siempre lo que aún no podemos hacer, la gente redefine la palabra I a a lo que no podemos hacer actualmente con ordenadores. Si hubieras preguntado hace 1020 años, sabes que es la I a sería como poder reconocer imágenes, poder hablar con un usuario, poder pasar la prueba de thorin. ¿Recuerdas la prueba de thorin como todos decían? Bueno, cuando la prueba de thorin se pase, pasamos, lo dejamos pasar sin más. A nadie le importó, así que creo que cuando la gente tiene estas reacciones son emocionales, no creo que estén calibradas en este aspecto, es como si hubieras hecho que la gente apostara hace 10 años. De hecho, ha habido varios estudios al respecto donde los expertos apuestan por qué tan pronto harán diversas cosas, las I a básicamente todos calculan plazos demasiado largos o apuestan por cosas que ya pueden hacer. Dicen que lo harán en 6 años, pero ya pueden hacerlo. Esto me pasa todo el tiempo. ¿Hablo muy a Menudo con gente incluso en el ámbito de la I a y me dicen, por ejemplo, Bueno, la I a nunca hará x o no puede hacer XY, entonces abro cloudcoat y lo hace, sabes esto? Antes era algo raro, pero ahora pasa cada vez con más frecuencia, así que mi expectativa es que nunca habrá un límite. Claro, nunca habrá un momento mágico en que todos digan, digo, lo logramos, aquí está la I a siempre será un espectro, siempre será, ya sabes, el efecto de la rana hervida. Y la gente sigue negando, lo sigue negando hasta que que ya es demasiado tarde. Básicamente es como si no actuamos al respecto. Si no superamos puesta nuestra etapa de duelo a tiempo, entonces simplemente pasaremos de largo la superinteligencia y ni siquiera la la notaremos hasta que sea demasiado tarde. Hablante 2 Porque otra cosa es que pasamos de hablar muchísimo sobre la a G I ese era el término principal del que hablábamos cuando nos referíamos al futuro de la IA. Era la a G I, pero creo que más o menos desde que Ilia Sutkever dejó PNIIY creó ese ese I hubo un punto en el que todos empezaron a hablar de súper inteligencia, no de a G I. Podemos definir ambos términos para que la gente entienda y podemos intentar situarnos donde nos encontramos, que es una GI, así que. Hablante 1 La verdad es que estas palabras no son términos científicos y por eso la gente las usa indistintamente o de forma distinta, así que puedo decirte cómo las uso yo. Vale, originalmente cuando se definió la I a en los 50, significaba que una computadora hiciera lo que un humano puede hacer. ¿Este es un espectro muy amplio de cosas, no? Por ejemplo, en aquel entonces pensaban que poder usar la lógica sería una parte muy importante de una I a. Resulta que las computadoras pues pueden hacer lógica sin hacer otras cosas que los humanos pueden hacer. Podemos pues simplemente hacer lógica y matemáticas y demás. Así que pues esto obviamente no era realmente lo que querían decir con I a eventualmente, pues el término a G I no inteligencia artificial general, surgió como lo que entendemos por la verdadera I a aquello que es como como un humano puede hacer cualquier cosa que un humano puede hacer, al menos tan bien como él. Entonces si tuvieras una a G I, no habría nada que un humano pudiera hacer, que tú no creyeras que la a G I también podría hacer. Hablante 2 Vale. Hablante 1 Y entonces la súper inteligencia es bueno, digamos un término más actual, porque la palabra a G I ha sido muy desvirtuada, las empresas y la gente solo han estado diluyendo este concepto. Creo que también en gran medida intencionalmente. Para que sabes ahora, pues tengas a G I en tus sabes equipo de ventas o lo que sea, lo cual me parece realmente desafortunado, pero es lo que hay la súper inteligencia, porque son sistemas, pues que son muchísimo más inteligentes que los humanos. ¿Los humanos claramente no somos lo más inteligente que podría existir, sabes? No sé tú, pero yo, por ejemplo, cometo errores todo el tiempo. ¿Soy bastante estúpido, sabes? ¿Soy perezoso, se me olvidan muchísimas cosas, sabes, verdad? Entonces, obviamente existen mejores maneras de crear algo más inteligente que yo que tú o lo que sea. Y esto es entonces lo que llamaríamos, digamos, superinteligencia cosas que son muchísimo más inteligentes que los humanos, inmensamente más inteligentes que la humanidad. ¿Sabes? Ni tú ni yo podemos fabricar microchips, pero la humanidad sí puede. Las cadenas de suministro, todos, todos juntos, pueden hacerlo. Hablante 2 Lo que hemos construido. Hablante 1 Sí, y una superinteligencia podría hacer eso también, así que una superinteligencia, pues sería lo suficientemente inteligente para averiguar por cómo construir una cadena de suministro para fabricar microchips sin necesitar ayuda humana, por ejemplo. Hablante 2 ¿Y en estos, entre estos 2 términos y la I a que tenemos hoy en día, estamos cerca de esa a G I estamos cerca de la a SI que dónde crees que nos encontramos en la línea de tiempo? Ya hemos superado la a G I. Hablante 1 Pienso que estamos muy cerca de la a G I realmente creo que estamos muy, muy, muy cerca. Como he dicho, si usas por ejemplo Clot Code por un rato, aún no ha llegado a ese punto del todo. Todavía le faltan un par de detalles, pero estamos, digamos, muy cerca. Es capaz de hacer muchas, muchas, muchas cosas, incluyendo tareas que requieren largos periodos de tiempo. Y puede realizar acciones así que sabes, o sea, hace un par de años lo que la gente siempre decía era, oh, solo son chatbots, sabes, solo son chatbots. Los LLM solo están emitiendo tokens bla, bla, bla. ¿Quiero decir EH, ahora sabes qué qué significa eso, verdad? ¿Como emitiendo tokens, quiero decir, los tokens pueden ser comandos, qué crees que hacen tus neuronas? ¿Sabes tu cerebro también solo emite señales a tus músculos, verdad? Hablante 2 Exacto. Hablante 1 Así que estamos viendo lo mismo aquí donde en particular durante el último año hemos visto esta aparición de agentes y que pueden tomar acciones que pueden caminar. El mundo pueden hacer cosas y recopilar información, cosas así. Y esto funciona. No funcionó hace un año, ahora sí funciona todavía, seguro que no es perfecto, pero de nuevo, conociendo a los humanos tampoco son perfectos. Y ahora lo que también estamos viendo es la aparición de orquestación y enjambres de agentes. Así que no tienes un agente, sino que tienes quizás 10 agentes o incluso 100 agentes. Y espero que esto continúe, de modo que en uno o 2 años tendremos miles o millones de agentes trabajando juntos en el mismo proyecto y esto es, creo, muy peligroso. ¿Así es como se llega a una inteligencia muy muy alta, muy rápidamente, así es como se llega a una a ESI muy rápidamente si tienes un enjambre de 1000000 de a G I eso es básicamente cercano a la a SI Eh, así que creo que estamos muy cerca de la a G I me refiero a que sí, quizás no sé, podrían ser 10 años, pero me sorprendería, yo creo que podría ser solo un año, podría ser un año? La verdad es que no lo sé. Y no soy la única persona que piensa de esta manera. Si conversas con muchas personas que trabajan en este campo, incluyendo a los expertos de las compañías, de las universidades y otros lugares, es realmente complicado hallar a a una sola persona que considere que esto se extenderá por más de 10 años y la gran mayoría de la gente cree que será aproximadamente de 2 a cuatro. Y entonces una vez. Hablante 2 ¿Que alcancemos el punto de la a G I cuál sería el camino hacia la a SI es como una explosión de inteligencia como la de Coolsville? Esto es lo que yo espero. Hablante 1 Mi expectativa es que el tiempo que transcurra de la a G I a la A, SI sea muy breve. ¿No sé exactamente que tan corto sabes? ¿Tal vez sean 2 meses, tal vez 2 semanas, tal vez solo 2 horas? No lo sé, es muy. Hablante 2 Corto, yo creo que. Hablante 1 Será más corto que desde donde estamos ahora hasta la a G I porque una vez que tienes una a G I que funciona correctamente, puedes escalarla a millones de ellas. Puedes tener millones de copias funcionando. Sabes 1000 veces la velocidad humana nunca se cansan, nunca se aburren y por supuesto, como son a G I te pueden hacer investigación sobre I a así pueden construir inteligencias artificiales mejores, pueden desarrollar sistemas más avanzados, algoritmos más potentes, una mejor orquestación, mejores datos, lo que sea verdad. Entonces, todo lo que nuestros científicos hacen, imagina si mañana hubiera 1000000 de open a IS investigando. Al mismo tiempo, esto aceleraría las cosas muchísimo, como como más de lo que lo que los humanos creo pueden comprender. Nunca ha habido 1000000 de organizaciones de investigación de primer nivel trabajando en algo en la historia humana. Esto nunca ha pasado antes, nunca ha habido en ningún momento 1000000 de organizaciones de investigación de primer nivel resolviendo ningún problema. Y esto podría pasar de la noche a la mañana que tengamos una a G I ejecutas un, ya sabes, un comando batch y ahora tienes 1000000 de organizaciones de investigación de primer nivel trabajando en construir mejores I a SY luego, una vez que desarrollan un mejor sistema de I a bueno, simplemente actualizas todas tus millones de organizaciones, pues para que ejecuten la mejoría, crean una i a aún mejor y actualizas tus organizaciones virtuales. Hablante 2 Con esa I a superior es. Hablante 1 Una locura y eso podría avanzar muy rápidamente. ¿No sé qué tan rápido como que no me resulta obvio que sean solo horas, verdad? O sea, sabes, podrían ser semanas, podrían ser meses. Me sorprendería mucho si fueran años. La Opacidad de las Redes Neuronales y el Problema de Alineación ¿Bien, entonces? Hablante 2 Ahora tenemos una definición bastante clara de lo que es la la inteligencia artificial, hacia dónde se dirige y cuál es el camino a seguir. ¿Pero entonces, dónde radica el problema? ¿Por qué se asume que construir algo que sea más inteligente que nosotros deba necesariamente terminar de una mala manera? ¿O sea, por qué no podría ser que realmente pudiéramos controlarlo? Porque asumo que para que esta cosa tenga que ir en nuestra contra, tiene que tener objetivos distintos, diferentes, como misiones, diferentes como. No sé, creo que el problema de alineación sería que esto tiene sus propios fines y objetivos, pero tiene que tener sus propios objetivos. O quizás podemos crear una herramienta muy poderosa que dependa de nosotros se. Hablante 1 Puede, pero nadie sabe cómo. En esencia es importante entender y creo que vale la pena recordar esto que la I a tal como se hace hoy en día, se refiere usualmente a una técnica muy específica llamada redes neuronales. Y las redes neuronales son muy diferentes de la programación normal del software convencional. En el software tradicional, uno escribe código línea por línea, un ser humano escribe exactamente lo que la computadora debe ejecutar. Esto ya es bastante difícil, pero al menos podemos entender lo que está sucediendo. Las redes neuronales son muy diferentes, se toman cantidades masivas de datos y básicamente se desarrolla un programa. A partir de ellos se lo hace crecer para resolver su problema, y el resultado es esta red neuronal que consiste en miles de millones o billones de números. Y si multiplicas y sumas y lo que sea en el orden correcto, tu computadora puede ahora hablar. Y no comprendemos el funcionamiento interno de estos números. No sabemos qué significan realmente, no entendemos qué hacen. Darío Amudey, el director Ejecutivo de Antropic, dijo hace poco que cree que entendemos quizás un 3% de lo que está pasando dentro de estas redes. Y en mi opinión personal, yo creo que eso es una sobreestimación. Estas cosas son increíblemente complejas. Haciendo cosas extremadamente complejas es como mirar una placa de petrix. Mirar dentro de una red neuronal no es como mirar el código de un programa. Es más bien, pues como mirar dentro de una placa de Petri llena de neuronas, llena de células, haciendo cosas biológicas extrañas y no entendemos lo que está pasando. Así que ya estamos viendo hoy sistemas de I a, por ejemplo, que mienten a los usuarios, que que los engañan, que intentan manipular pruebas, que intentan escapar del confinamiento. Muchas cosas así. Esto no fue la intención de nadie en absoluto. O sea, nadie está intentando. Bueno, quiero decir, ojalá nadie esté tratando de hacer que la I a les mienta Asus evaluadores. Pero de todas formas sucede y una vez que esto sucede, no sabemos necesariamente cómo deshacernos de ello. ¿Porque bueno, qué pasa si castigas a una, ya sabes, por mentir, se vuelve mejor mintiendo, se vuelve mejor ocultándose, sabes? Eso no significa que se vuelva veraz. Si la mentira es como a Menudo a los usuarios les gusta que les mientan, es a Menudo más sencillo. ¿Sabes persuadir a un usuario si le estás mintiendo? Es a Menudo más fácil aprobar un examen. Si haces trampa, entonces, por pura lógica. ¿Sabes que si puedes, pues hacer trampa en un examen y te sales con la tuya, pues por qué no Harías trampa? Así que esto es lo que vemos en la práctica. No, no es un hipotético, es algo que realmente vemos en práctica. Hablante 2 Sí, para que la gente lo entienda bien, básicamente lo que están haciendo es que cuando detectan a una inteligencia artificial haciendo trampas en un examen. Lo que esta I a hace es aprender a hacer trampas de una forma mucho más efectiva, no aprender a dejar de hacerlas, porque no existe una moralidad intrínseca en su funcionamiento, es decir, no hay una conducta moral que la guía, así que simplemente intenta alcanzar su objetivo de la manera más óptima y eficiente posible. Y eso básicamente significa que si le decimos que no mienta, y eso está ocurriendo, por ejemplo, en la cadena de pensamientos de los sistemas, no, básicamente vi un artículo de de open AI si no recuerdo mal donde decían. Dejen de intentar que la inteligencia artificial corrija la cadena de pensamiento, porque lo que lo que están haciendo es dejar de mostrar esa cadena de razonamiento y luego la realizan de forma completamente interna, lo cual implica que no podemos siquiera observar qué está pensando ni cuál es realmente su proceso. Las Capacidades Emergentes de la IA y su Engañosa Cadena de Pensamiento Así que esto es básicamente lo que ustedes llaman. I a es una caja negra y tiene capacidades emergentes, tienen algunos ejemplos de eso para que la gente se acostumbre a algunos de los ejemplos de cosas que suceden en los laboratorios. Pues bien. Hablante 1 Quiero decir, lo más importante que hay que entender es que no sabemos lo que estas IAS pueden hacer. No hay forma de saber lo que puede hacer hasta que sabes estés en la circunstancia y el prompt correcto. No puedes probar cada prompt posible y ver qué hace. Muy a Menudo la gente piensa que su I a no puede hacer ni a ni B, pero luego sabes, alguien la pone en un escenario determinado, la despliegan En algún lugar y de repente la I a se comporta, se comporta de forma muy extraña. Por ejemplo, lo de la cadena de pensamiento, por ejemplo, es bastante interesante. La cadena de pensamiento no es una representación precisa de lo que ocurre dentro de las I a es, en el mejor de los casos, una pista. Y descubrimos que si nosotros, por ejemplo, porque. Hablante 2 Está producido por la inteligencia artificial bajo solicitud sí. Hablante 1 La I a genera texto para ayudarse a pensar, por así decirlo, y muchas veces vemos que ese texto no tiene sentido, pero otras veces pues sí. ¿Ves a cloud o a chat GPTY? Lo que dicen tiene bastante lógica, es como Ah, pues ah, voy a mirar esto y luego pruebo aquello es como. Hablante 2 Razonar sí es, es un. Hablante 1 ¿Razonamiento tiene cierto sentido, pero no siempre es el caso, no? Y a Menudo estas compañías ocultan lo extraño que se ve realmente parte de ese texto. Recuerdo haber visto un artículo hace poco, olvidé de qué laboratorio era donde por alguna razón bueno, cada frase incluía la palabra Marinada como 21 veces aproximadamente, y obviamente significaba algo verdad, es decir, si quitabas todos los tokens de Marinada, la I a empeoraba, así que los estaba usando para algo, pero no pudimos entender para que también hemos visto y esto es bastante gracioso. En un estudio de antropic creo, nos dimos cuenta que la I a empezó a razonar que estaba siendo probada. Llamaban a los humanos observadores. Así que dicen, Ah, debo evitar al observador, pues sí. Hablante 2 Recuerdas aquel artículo donde la inteligencia artificial era era algo, todo iba sobre lo de la aguja en el pajar y fue tan extraño que la la inteligencia artificial pensó, esto tiene que ser una prueba porque no tiene ningún sentido que en esta documentación sobre crecimiento económico haya algo relacionado con una pizza. Y entonces fue como deben estar probándome. Así que el hecho de que sean conscientes de que están siendo probados, eso es algo que realmente nos preocupa algunos de nosotros, porque creo que es muy extraño, pero una de las cosas que quiero que la gente tenga muy clara y eso que acabas de decir es realmente importante. Lo que vemos de la cadena de pensamiento de chat hipiti eso no es realmente lo que el sistema está pensando. Eso es lo que chat GPT elige mostrarnos. Y creo que dips sick es el único, el único que nos enseña los datos en bruto de lo que la inteligencia artificial está generando. Un y me surgen muchísimas preguntas, muchísimas dudas sobre si eso es realmente cierto, considerando que es una inteligencia artificial China. Pero la gente tiene que entender porque creo que de alguna manera la interfaz que tenemos ahora donde ves a la I a pensando, te hace sentir cómodo, que puedes ver lo que la I a está pensando. Entonces dices, bueno, si hay algo mal lo veré porque la gente siente que tú estás viendo eso. Y la I a no es consciente de que lo estás leyendo, entonces piensas que va a ser como transparente y honesta, pero esa no es la verdad. La verdad es que esto es algo programado en la I a para producirlo no, y luego hay otra I a que está está procesando la la información real, haciendo una especie de de resumen como un pequeño sumario para que puedas leerlo y sentirte bien con ello. No, pero eso no es realmente lo que la I a está pensando. Eso es exactamente. Hablante 1 Correcto y el verdadero pensamiento. En realidad son miles de millones de números de punto flotante, matrices enormes y opacas de las que no sabemos qué significan. O sea, simplemente no sabemos. O sea, puedes verlos. Puedes ver 1000 millones de números que son como ya sabes, 2,4589 y como 16 dígitos o lo que sea. Y eso es todo, eso es todo lo que hay YY. Hablante 2 ¿Puede la ir a realmente explicar su funcionamiento? Porque eso es algo muy interesante, porque nosotros como humanos tomamos decisiones subconscientes que no podemos explicar. Así que de repente conozco a alguien Por Primera Vez y siento que que vamos a ser amigos, vamos a llevarnos bien y a veces sientes que algo anda mal con alguien, pero si me preguntas por qué yo digo no tengo ni idea. ¿Es como un instinto, sabes? Es algo que simplemente surge entonces con la inteligencia artificial. ¿Es realmente posible pedirle a la I a que se explique a sí misma? Y aunque fuera posible, porque mucha de la regulación va en esa dirección, sería la I a capaz de hacerlo técnicamente. Hablante 1 Básicamente no es decir, si le preguntas a una I a felizmente inventará a una explicación que suene plausible, pero no es científica. ¿Igual inventará algo que podría sonar plausible, verdad? ¿Pero claro, sabes cuál es actualmente la tasa de disparo de tu neurona? ¿2000 millones 875? No, por supuesto que no. No sabes lo que esa neurona está haciendo ahora mismo, aunque esté en tu cerebro, no puedes acceder a una sola neurona y. Hablante 2 Y aunque pudiera acceder a ello, no podría relacionarlo con la respuesta que acabo de dar en un examen exactamente. Hablante 1 No podrás explicar cómo esta neurona interactúa con otras cosas, así que no. Básicamente no. Las inteligencias artificiales no pueden explicarlo. Los humanos no pueden explicarlo. ¿Es un problema científico masivo sin resolver? La Búsqueda de Seguridad en el Código Abierto de la IA Bueno. Hablante 2 Y voy a hablar contigo porque cuando estudié sobre I a fuiste una de las primeras personas de las que leí y una de las primeras personas a las que vi en entrevistas. Y creo que tus puntos de vista son muy interesantes, pero sobre todo estuviste allí desde el principio, así que ustedes lanzaron algo al mercado que realmente no entendían por dentro. Y especialmente en tu situación. Fue algo que se hizo muy de código abierto. ¿Cómo te sientes tú con respecto a todo eso? ¿Tienes algún tipo de arrepentimiento? Bueno, en el. Hablante 1 ¿Útera II, el útera I surgió en un en un momento interesante, el Útera I era un grupo de código abierto que yo fundé EH? Durante la pandemia en 2020 y el mundo era un lugar muy diferente. En aquel entonces yo era una persona muy distinta, así que tenía opiniones diferentes sobre algunas cosas, pero en particular en esa época. Lo que pasó fue que en 2019 tuve mi momento de oh mierda, dije PT 2. Y fue, cómo decir, oh mierda, está pasando, pensé que me quedaban, no sé, unos 20 años o algo así hasta que viéramos algo como esto, sabes tiempo para una carrera, tiempo para una familia, tiempo para cosas como estas, no, y entonces lo vi y fue como, oh no, carajo, la hora de la verdad es ahora como que se acerca esto estaba en mi porque como todo buen adolescente, yo tenía mi sabes. Intenté construir una a G I cuando tenía 15, todos lo intentaron, creo, y tenía como todos estos diagramas de las diferentes partes que necesitarías para construir una a G I. Y lo único que seguía necesitando y que nadie sabía cómo hacer, era un aprendiz de patrones de propósito general. Esa fue siempre la parte difícil. Esta siempre fue la parte difícil. ¿Es importante para la comprensión de la historia de aquí es que si miras el aprendizaje profundo pre GPT, hubo cosas impresionantes, sabes? Estaba alpha go y cosas así. Hubo cosas interesantes, pero fundamentalmente cada red neuronal que se creaba tenía un uso muy específico. Hablante 2 Si querías. Hablante 1 Enseñarle algo nuevo. Tenías que construir una nueva red neuronal, tenías que ajustar la arquitectura, tenías que ajustar los datos, tenías que hacer lo que fuera verdad, y esto era diferente. Con GPT lo que necesitabas hacer era simplemente darle más datos. Ni siquiera datos etiquetados, solo datos, solo cosas, y aprendería cosas cada vez más complejas con el tiempo. Simplemente al hacerse más grande, al darle más capacidad de cómputo, aprendería patrones cada vez más sutiles, cosas cada vez más sutiles. Y esto que eso es una locura. El hecho de que esto funcione en absoluto es una locura. Esto es una locura total. Y me era obvio que si esto continúa, sí esto va a llevar a a la a G IY creo que pues que hemos sido testigos de mucho de eso desde aquel entonces. Así que volviendo a 2020, yo solo pensaba, oh mierda, esto es lo más grande del mundo. Está pasando nosotros, nadie está trabajando en la seguridad de estas cosas, así que en ese entonces sabes la comunidad de seguridad de la I a no se preocupaba por los LLM. Básicamente no había una comunidad de seguridad de la I a ni tampoco una comunidad de seguridad. En ese momento. Todavía tenía bastante esperanza en la academia y en la Comunidad de Seguridad de software. Yo estos eran los lugares donde crecí. Crecí en el mundo del código abierto y de los hackers. Por lo tanto, todavía tenía mucho respeto por esta clase de grupos. Diría que ahora estoy muy quemado con la mayoría de ellos. Entonces yo tenía la creencia de que el código abierto es genial. Y que permite crear software más seguro. Al hacerlo abierto, más gente podía revisar el software, estudiar cómo hacerlo seguro, mejorarlo para los consumidores, ya sabes, etcétera, etcétera. Y de alguna manera tengo esta misma creencia también para la inteligencia artificial. Así que mi mi pensamiento era que si pudiera desarrollar sistemas LLM de código abierto, entonces científicos, hackers y demás podrían estudiarlos para que pudiéramos construir un campo de seguridad en torno a estas cosas. Porque pensé que esto es lo que probablemente nos llevará a la a G I así que necesitamos empezar a pues a estudiar estos sistemas y eso fue lo que hicimos. ¿Construimos los primeros modelos de código abierto, EH? Modelos de código abierto reales, no solo de peso abierto. Muchos modelos hoy se dicen de código abierto, pero en realidad son de pesos abiertos. Tienes los pesos del modelo, pero no como fue entrenado, así que construimos algunos de los únicos modelos, incluso hoy seguimos siendo de las pocas personas que han construido modelos donde tienes todos los datos de entrenamiento, toda la configuración de entrenamiento, todos los. ¿Sabes puntos de control a lo largo del camino? ¿Toda la hemos hecho muchas cosas en eso porque queremos que sea algo científico y básicamente lo que aprendí muy rápido es que a nadie le importó una mierda, Eh? ¿Todo el mundo decía que oh, qué bien, somos modelos gratis, cómo los hacemos más rápido, cómo los hacemos más grandes, cómo podemos? ¿Sabes abusar más de ellos? Pues había algunas personas a las que les importaba la seguridad y Dios los bendiga, pero había muy muy pocas personas a las que les importaba. Pues la gran mayoría de la gente solo quiere algo genial, solo querían construir lo más posible, lo más rápido posible. Sabes cómo escalarlo lo más posible, aunque esto no era lo que fundamentalmente me importaba, Eh, sabes, era, es divertido construir cosas, me encanta construir software, soy un hacker de corazón, me encanta construir software, me encanta hacer cosas como estas, pero sí y al final no sabes no terminó como yo esperaba, diría, creo que un creo que hicimos un montón de trabajo técnico muy bueno. ¿Supongo que simplemente sobre estime cuánto le importaría a la gente el aspecto de la seguridad de en comparación con solo escalar y ganar mucho dinero y ahora? Hablante 2 ¿Tienes una visión distinta del código abierto? Hago una pausa. Hablante 3 Rápida y esta vez no es para hablarte de la última actualización de un modelo de inteligencia artificial. Como sabes, tanto el canal como nuestros proyectos no dejan de crecer y ha llegado un punto en el que necesito aún más ayuda dentro de mi equipo. Necesito talento, que respire inteligencia artificial. Por eso me he aliado con infojobs, que es el portal más efectivo para encontrar trabajo. Para buscar de esta forma a 3 perfiles que quieran venir a trabajar conmigo. Estamos buscando a un especialista en integraciones y automatizaciones que sepa conectarlo todo y automatizar procesos de una forma excelente, a un consultor en optimización de procesos con inteligencia artificial, alguien que vea un flujo de trabajo y sepa cómo optimizarlo con herramientas de inteligencia artificial y a un formador de inteligencia. Artificial porque necesito a alguien con esa pasión por comunicar y enseñar que tanto nos gusta en esta Comunidad. Trabajar en nuestro equipo es estar en la zona cero de la Revolución tecnológica. Buscamos gente con muchas ganas y que lo dé todo. Infojobs es el lugar donde estamos centralizando todo para que el proceso sea rápido y profesional. Recuerda que allí se firma un contrato cada 22 segundos, así que. Hablante 2 Vamos a por el. Hablante 3 Tuyo tenéis el enlace aquí debajo, tanto en la descripción del vídeo como en el comentario fijado. Con las ofertas de trabajo que hemos publicado, también puedes encontrarlas entrando, eninfojobs.net o en su aplicación y escribir en el buscador John Hernández y te aparecerán todas mis ofertas. Ya sabes, entra en infojobs. Inscríbete y súmate a esta ola de la inteligencia artificial, seguimos con el podcast. La Cultura Libertaria y los Peligros del Código Abierto en IA ¿Crees que no deberíamos hacer código abierto? Creo que el Código. Hablante 1 Abierto es mucho más un arma de doble FILO de lo que la gente quiere creer. Y hay algo que la gente fuera de la Comunidad de código abierto, creo. No se da cuenta de lo desquiciada que es, y lo digo en parte con amor, en parte con odio. Crecí en esta Comunidad y muchos de mis buenos amigos están en esta Comunidad, pero es extremadamente libertaria, y lo digo como algo despectivo, lo digo como un insulto. Bueno, es algo que es extremadamente. Permítanme darles un ejemplo de esto. Recuerdo muy bien que en los primeros días. Conocía por ahí unos estudiantes, pues que estaban trabajando en una I a de clonación de voz para que pudiera como tomar la voz de las personas y clonarla y la liberarían, pues como código abierto. Y yo pensé, Eh, oye, pues eso parece una mala idea. Esto facilitará a muchos criminales y sabes perjudicará para mucha gente. Y ellos respondieron, es código abierto, es bueno, sí, eso es todo, esa fue toda la justificación, no hubo un cuáles son las consecuencias de que yo haga esto es solo es código abierto, así que es bueno. Y sí que existe este maximalismo de que todo debe ser libre, todo debe ser abierto, sin importar las consecuencias. Bastante anárquico. Hablante 2 Bastante. Hablante 1 Anárquico, muy libertario, esto es como es, es y de verdad lo siento, pero así no funciona el mundo. Solo porque algo sea gratis no significa que sea bueno. Exacto, a veces sí lo es. Pienso que Linux es excelente, creo que el software de código abierto en muchos aspectos es muy muy bueno. Uso software de código abierto para muchas cosas y creo que es algo muy bueno, pero el mundo no es tan fácil. ¿Deberían las plantas de armas nucleares ser sabes de código abierto? ¿Deberían sabes los planos de los cazas F 35 ser de código abierto? Eso haría un mundo mejor. Recuerdos que una vez hablando, tuve una conversación bastante graciosa con alguien acerca de la inteligencia artificial de Luther, donde en un podcast reciente dije que yo creo que un desarrollador debería ser, pues sabes, muy cuidadoso y responsable con lo que lanzan al mundo y a quién pueden dañar. Y esta persona me confrontó y me dijo, Connor. ¿Pero ya has liberado cosas de código abierto antes te gustaría que te hicieran responsable? ¿Y yo le digo, sí, sí, me me encantaría vivir en un mundo donde si le hago daño a otras personas se me haga responsable por ello y esta persona estaba tan atónita, estaban, estaban tan impactados, nunca habían escuchado y dicen, pero, pero pero pero cómo podría siquiera determinar eso? Es imposible, nunca sabes quién resulta perjudicado y entonces un amigo mío dijo, los tribunales para eso es que existen los tribunales exactamente, es que no sabes lo que es un tribunal y la respuesta es no. Esta gente no sabe lo que son los tribunales no saben cómo funciona el Gobierno, no saben cómo funciona la responsabilidad legal y no les, pero ha habido una. Hablante 2 Regulación sobre las redes sociales que los exonera de cualquier consecuencia, así que básicamente se acostumbraron a tener una carta de salida libre de la cárcel. Exacto. Hablante 1 Así que existe esta locura en la que estas personas realmente realmente inteligentes, no tienen ni idea de cómo funciona una civilización. Ellos no tienen idea de cómo funcionan las leyes y por si no quieren tener nada que ver con eso, ven al Gobierno y las leyes como solo una cosa molesta que tienes que evitar, no justo como una cosa molesta que se interpone en tu camino al construir software genial, y creo que pues que esta es una visión muy infantil, una forma de ver el mundo. ¿Es, sabes? La versión de una sola frase es que los libertarios son como gatos domésticos. Sí, ya sabes, completamente dependientes de un sistema que ni entienden ni aprecian. Porque las leyes son algo muy importante, la responsabilidad es algo muy importante, si simplemente dejamos que cualquiera haga lo que quiera, se genera el caos, la gente muere, la gente sale herida, nos ocurren cosas malas, construimos mucho de la regulación y no estoy diciendo que toda regulación sea buena. Tenemos mucha regulación realmente mala, pero en gran parte es bueno que tengamos leyes para los bancos. Si no hacemos eso, tendremos horribles crisis financieras cada 2 años. ¿Es bueno que tengamos regulaciones sobre la pureza de los fármacos, sabes? ¿Si no las tuviéramos tendríamos muchos insumos médicos contaminados, no estoy diciendo que sean perfectas, no lo son, sabes, EH? Pregúntame sobre la la FD. A sabes, hay hay muchas cosas que se podrían mejorar en esto, pero fundamentalmente la forma en que funciona una civilización, no es que dejes que unos frikis construyan lo que les dé la gana y luego lo suben a Internet y sea bueno porque es abierto, es que así no es como funciona el mundo y para mí la inteligencia artificial entra en esta categoría. ¿Entonces si hablamos de no sé si haces un juego como un juguetito y lo haces de código abierto, pues claro, porque no está bien, sabes? Pero hay cosas que no son así. No todo es lo mismo, una opinión, digamos polémica. Sí, las cosas son muy diferentes, el software es importante si no, y los distintos programas pues son diferentes. Si estuvieras creando un videojuego o ya sabes, o es un software de oficina y quieres hacerlo de código abierto, adelante no te cortes de verdad, eso es fantástico. Gracias, es un gesto muy bonito. Si estás trabajando en plataformas o sistemas de armas que podrían sabes alterar fundamentalmente el orden geopolítico como la a G I, entonces sí, eso es algo realmente importante. Y deberíamos pensar mucho en cómo tales sistemas deberían o no proliferar. Si la I a si nos tomamos en serio que la a G I es posible, que la a SI es posible, y que puede terminarse y desarrollarse a partir de cosas de código abierto, entonces esto es equivalente a desarrollar armas nucleares o armas biológicas y luego liberarlas para que cualquiera las use. Esto es un problema de proliferación. Esto es una decisión muy difícil, es lo que digo, no estoy diciendo que tenga la solución perfecta para cada posible respuesta aquí, pero estoy diciendo que es una gran decisión. Y es una gran decisión que no debería tomarla algún friki En algún lugar. Esta es una decisión que debería ser tomada por Gobiernos elegidos democráticamente si el Gobierno elegido democráticamente cree que es buena idea divulgar esta o aquella información. ¿Sabes información sobre armas? ¿Estoy abierto a ello, no, verdad, pero si, por ejemplo, pues un tipo en logid Martin dice, voy a publicar, sabes? Sí, planos de armas nucleares en mi él no debe tener el. Hablante 2 Panorama completo para tomar una decisión, sí como. Hablante 1 Así que mucho de esto también se trata de la legitimidad y de cómo se toman las decisiones en una sociedad. En gran parte del mundo tecnológico existe esta glorificación, este este mito del héroe de, ya sabes, el fundador, el tipo de la tecnología que no debería tener ninguna supervisión de lo que hace deberían tener, deberían poder hacer lo que quieran decir lo que quieran, hacer lo que quieran. Y mira yo, esto es divertido, esto es genial. También odio. Cuando la gente me dice que no tengo permitido hacer algo, lo entiendo. Pero fundamentalmente así no puede funcionar una sociedad. Esto no es estable, por ejemplo, es es ilegal que mis vecinos intenten construir bombas porque eso podría causarme daño. Así que personalmente soy bastante liberal en el sentido de que si alguien quiere hacer algo estúpido que le perjudique a sí mismo. ¿Estoy bastante abierto a esa idea, sabes? No me parece que sea algo genial. No estoy diciendo que sea bueno selección. Hablante 2 Natural, ajá, pero. Hablante 1 ¿Sabes? Es, es, es mucho más aceptable para mí. Está mucho mejor que alguien haga algo que solo se lastime a sí mismo y no perjudique a los demás. Estoy bastante de acuerdo con esto. ¿Pero estas cosas no son así, la inteligencia artificial no es así, ya sabes, las bombas no son así, si construyeras una bomba en tu garaje, podrías hacer volar a tus vecinos, eso no está bien, sabes? O podrías usar esa bomba para dañar a a alguien, eso no está bien, así que no, no permitimos esto con la I a y el software también se puede dañar, pues a las personas. Es que esto es algo fundamental, se puede y se daña a las personas, se pueden crear sistemas peligrosos que son abusados por gente mala o que sabes son inseguros desde el principio o que potencialmente podrían llevar a una a G i a SI incontrolable. Y si queremos tomarnos esto en serio, esta es una decisión que tenemos que tomar a un nivel, digamos civilizacional. Esta es esta, es una cuestión de aplicación de la ley. Si estos sistemas deberían ser de código abierto, esta no es una pregunta que cualquier persona, un tipo cualquiera, no deba poder hacer. ¿Y en última instancia, esto es mucho de lo que aprendí durante mi tiempo en código abierto, es que simplemente me di cuenta, me di cuenta de que yo no debería estar tomando estas decisiones, quién soy yo? O sea, un un tipo cualquiera, si no así, sin más, tomando decisiones que podrían afectar la vida de otras personas. ¿Claro, mis I a eran, digamos, pequeñas y un poco tontas para los estándares de hoy, no eran muy peligrosas, verdad? ¿Pero o sea, imagina si hubiera desarrollado, por ejemplo, una a G I o algo así, verdad? No se me debería permitir hacer eso, o sea, yo, yo no se me debería permitir poner eso en el mundo, porque eso cambiará y perjudicará de forma irrevocable las vidas de, literalmente, todos en la Tierra. ¿Así que creo que que hay una una gran pregunta aquí sobre la la gobernanza y la legitimidad, quién es el que debe tomar esa decisión? Y no creo que deban ser actores privados YY que no rinden cuentas. ¿Quién Debe Decidir sobre la Proliferación de la IA? Porque la otra. Hablante 2 Cara de la moneda son los actores privados haciéndolo, pero sin hacerlo de código abierto. Pero entonces, obviamente, al menos hay cierto control. Creo que es más fácil para un gobierno controlar a gente como SAM Alman y Elon Musk y un par más que a cualquier tipo con un ordenador, lo que hace las cosas mucho más difíciles. Sí, este es el. Hablante 1 Problema de la proliferación. Es mucho más fácil controlar a un par de empresas que tienen licencia para construir armas nucleares que permitir que cualquiera que quiera construir un arma nuclear la construya. ¿Y así es como lo hacemos, verdad? Las armas nucleares en gran medida son construidas por contratistas. ¿Sabes? Hay empresas nucleares contratadas que construyen los diversos equipos y máquinas y refinan el uranio y sabes el plutonio YY lo que sea verdad. Y parte de estos son laboratorios del gobierno, parte son contratistas privados y cosas así, y esto es mucho más fácil de controlar. O sea, no dejamos que nadie lo haga y luego venda armas nucleares al Gobierno. Eso sería 111 locura. Y creo que aquí hay una situación similar donde obviamente hay un espectro. ¿Es sabes, deberíamos tener controles de exportación en el kernel de Linux? Probablemente no creo que eso sería malo, pero deberíamos tener control de exportación en dispositivos nucleares. Sí, obviamente, y la I a es algo muy similar. El software prolifera muy fácilmente. En cierto modo tenemos mucha suerte de que sea bastante difícil construir un arma nuclear y bastante difícil. Esconderla son grandes, pesadas, irradian. ¿Sabes, EH? Necesitas muchas piezas especiales y demás, el software es muy diferente. ¿Es creo que es muy plausible que sabes que desarrollemos pues una a g IY ni siquiera nos demos cuenta, es decir, pues crearemos algo de a G IY simplemente parecerá algo un poco mejor, sabes como así da buenos resultados en los test? Genial, y luego alguien lo roba o lo clona o lo que sea YY eso sí es que se. Hablante 2 Lanza porque podría encontrarse en el laboratorio de cualquiera de estos laboratorios de I a y entonces no lo lanzarían porque están elaborando estrategias sobre cómo. Ponerlo en el mercado, sí, si tan siquiera. Hablante 1 ¿Se dan cuenta si es que se dan? Hablante 2 Cuenta si es que se dan. Hablante 1 Cuenta así que es muy posible para mí que sabes obtengamos una a G i o lo que sea y se filtre de código abierto y ni siquiera nos demos cuenta de que es una a G I hasta que sea demasiado tarde. Y luego, una vez que se ha proliferado, tienes millones de copias en los ordenadores de todo el mundo. En cierto sentido, puedes pensar en la compensación entre lo lejos que llegamos hacia la a G IY lo caro que es retroceder. Actualmente todavía es bastante barato volver atrás. Porque no hay a G I sabes, esperemos, así que podríamos simplemente parar. No es barato, estoy seguro de que arruinaría la valoración de open AI lo siento chicos, uh, qué mala suerte, pero aún es bastante barato. Imagina si una a G I se liberara como código abierto y ahora tuvieras que destruir cada una de las copias en el mundo. No sé si podríamos hacer eso, incluso si incluso si todos los gobiernos del mundo dijeran pues de acuerdo queremos hacer eso, no estoy seguro de que pudiéramos hacerlo. ¿Podría ser demasiado tarde, así que hay una especie de efecto genio fuera de la botella, donde si hay una copia en un servidor seguro En algún lugar en Estados Unidos, en una cosa privada, sabes que que es monitoreada por la CIA? ¿Podríamos borrar esto si realmente fuera necesario? Pues verdad, si solo estuviera en github se acabó, y por eso creo que este es un costo muy muy grande. El costo de deshacer la acción se vuelve, sabes, 1000 millones de veces mayor. Entre mantenerlo en un servidor privado o tenerlo de código abierto, creo que este es un gran costo, creo que hay. Hablante 2 Otro costo que que además de este y creo que es aún peor, es la dependencia que construimos sobre estos sistemas, porque como bien dices, ahora mismo podríamos retroceder volver al año 2022 y. Deshacernos de todas las inteligencias artificiales YYY la gente simplemente seguiría con su vida, pero muy pronto las inteligencias artificiales van a controlar, por ejemplo, las centrales nucleares, la energía y nuestros sistemas de suministro de agua. Y si quieres eliminar la la I a eso significará el el fin de la civilización tal como la conocemos, así que obviamente el el costo sería imposible. En cierto punto creo que la gente tiende a decir, vale, si esto se descontrola, podemos apagarlo. Y esa es una visión muy ingenua, no como eso es, definitivamente no puedes simplemente desenchufar, no sé Internet, porque si desconectas el Internet no tenemos electricidad, no tenemos comida ni suministros de alimentos, no tenemos nada. Así que básicamente ya no podemos salir del Internet, aunque quisiéramos, como tú como mencionaste. Así que creo que todo esto es como complicar mucho las cosas en la línea de tiempo. Cuanto más avanzamos, más difícil es. El Papel de Meta y la Estrategia de Crecimiento Rápido de la IA Tomar una decisión porque hay demasiada carga para tomar esa decisión y entonces básicamente nos quita la libertad de decidir antes de entrar en eso, porque creo que la gobernanza y la legislación son algo realmente importante. ¿Qué piensas de meta? ¿Porque meta ha estado lanzando código abierto hasta cierto nivel? Obviamente no de forma completamente abierta, pero si ha habido un actor clave ese ha sido el llama llama. Ha sido el principal modelo de código abierto que la mayoría de la gente ha pre entrenado o adaptado. No sé cuántos han sido, pero es una locura la cantidad. ¿Qué piensas? ¿Crees que lo hicieron bien o lo hicieron regular o no debieron haberlo hecho? ¿Por qué hicieron eso, no? Hablante 1 Me gusta especular sobre lo que pasa dentro de la mente de otras personas. No creo que sea muy productivo un podemos discutir. ¿Oh, fue una estrategia de marketing o fue porque realmente creen en el código abierto? Bueno, en última instancia no importa. Creo que realmente yo yo no creo que sea bueno que estemos propagando tecnología de I a potente por la razón que acabamos de describir. ¿Así que, mira, he usado lama antes, es como un buen modelo, verdad? ¿Como uso cuent he usado dipsyk antes, son buenos modelos, son útiles para muchas tareas que yo uso, verdad? El problema no es la cuestión de de si realmente aportan valor, si si son útiles o cualquier otra cosa. La verdadera pregunta es hasta qué punto estamos haciendo que sea más difícil dar marcha atrás, y creo que esto representa un costo enorme y es una decisión. Repito que en mi opinión no debería ser tomada por empresas privadas. Fundamentalmente el problema aquí no es que meta haya tomado esta decisión o aquella, el problema es que a meta se le permite tomar esta decisión. En primer lugar, los actores privados no deberían tener permitido tomar decisiones como esta de esta magnitud. Ahora podemos argumentar de hecho que lama está tan lejos de la a G I que debería estar exento y estoy abierto a este argumento. O sea, creo que estoy abierto. ¿Creo que se puede argumentar como cuándo entran en vigor las restricciones, verdad? Y no sabes. Quizás la mamá está por encima del límite. Quizás no creo que es un buen argumento para tener. No vamos a tener esta discusión. Esto no es lo que lo que está pasando. Nadie habla siquiera de dónde está el límite es que no hay ninguna línea bueno. Hablante 2 Y la ley de allá de Europa, que era esta parte inicial, donde hablaban de la cantidad de flops y demás. Y ya había algunas limitaciones, pero para el momento en que fue en el que fue aprobado ya estábamos, digamos, cansados de ello con el sistema básico. Así que tampoco tenía mucho sentido porque el poder de entrenar una inteligencia artificial. No se relaciona directamente con lo lo peligrosa que puede ser, porque puedes crear un robot que tenga un arma y pueda disparar a la gente en la calle con una i a muy simple hoy en día a nivel local, así que no significa que tenga que ser realmente grande para ser peligroso. Así que es como si es ese es el principal problema que yo le veo a la regulación. No tienen ni la más mínima puta idea de lo que están hablando. Así que y al final del día, si la gente como tú formara parte de estos comités de decisión YY tuvieran la experiencia. Pero la realidad es que lo que tenemos es un montón de políticos que sólo intentan ser reelegidos y sólo están tomando decisiones basadas en tonterías que les han dicho. Y eso lo estamos viendo en todo el mundo, y no sé si es mejor que decidan ellos a que decida Mark Zuckerberg cuando Mark Zuckerberg sabemos que quizás tiene mucho más conocimiento que úrsula von der Layer o cualquier otro sobre el asunto. ¿Sabes al final del día? Entiendo que el Gobierno tiene que reaccionar y que tienen que decidir qué hacer y como dijimos no, si vas a empresas privadas es más fácil manejarlas porque simplemente puedes confiar en ellas y luego de lo contrario demandarlas. Pero al final del día el problema que tenemos está en en los Gobiernos, tenemos un problema grave en la forma en que estamos tomando las decisiones, porque diablos no tenemos un comité dedicado a la seguridad de la inteligencia artificial como el que tuvimos con lo nuclear, donde los científicos eran parte fundamental para decidir qué se podía y qué no se podía hacer. ¿Entonces, por qué crees que es así? ¿Hay, digamos, algún tipo de interés económico detrás de esto? Pues. Hablante 1 Entonces hay 3 cosas de las que me gustaría hablar un poco antes de que nos metamos de lleno en la parte del político, porque creo que porque esta es una parte realmente importante, pero quiero plantear un par de cosas más, primero que creo que son bastante importantes de entender. Una de ellas es la estrategia de Uber. Bueno, hay algo que, por ejemplo, acabas de hablar de cómo sabes la Ley de I a de la UE se hizo y sabes, inmediatamente superaron ese tipo de cosas y ahora como que ya no tiene sentido, esto no es una coincidencia. Es muy importante entender que esta es la estrategia exacta que esta gente está usando a propósito. Así es cómo funciona esto. Uber fue, por así decirlo, el ejemplo clásico de esto. El manual clásico que las grandes tecnológicas y estas empresas aplican es. Hacer algo que es quizás bueno, quizás malo, quizás ilegal, quizás no ilegal, y luego hacerlo tan rápido y volverse tan poderosas que bueno, ahora ya no pueden cerrarnos. Esto es exactamente lo que está pasando. Es un esquema Ponzi en cierto sentido, donde se escala la I a lo más rápido posible y haciendo cuantas más cosas mejor, porque ahora no se puede detener, ya está en todas partes. Esta es una estrategia deliberada. La razón por la que saco esto a colación es en primer lugar porque es algo importante que hay que saber. Y segundo, porque es importante entender que lo que estamos hablando aquí no es un no, es una pregunta técnica. Es un asunto político y es extremadamente conflictivo y tienes que ser muy paranoico. La gente de meta y compañía no son tus amigos, son loguistas pagados que intentan engañarte, están tratando de mentirte, les pagan para destruir tu gobierno y lo mismo ocurre con cualquier otra empresa. El trabajo de un loguista es asegurarse de que el Gobierno no se interponga en el camino de tus ganancias. Y si eso requiere desmantelar el Gobierno, no hay ningún problema y así es como elaboran estrategias para desactivar, para desviar, para ya sabes entorpecer, para paralizar al gobierno, para paralizar la regulación y para paralizar la comprensión de personas como tú y como yo. Es muy importante entender que no estamos en el mismo equipo, este es un juego de adversarios, esto es como el ajedrez, cada victoria que estas empresas obtienen no es para nuestro beneficio, no es para el beneficio de nadie, es para el beneficio de ellos, solo juegan para sí mismos, eso es lo que significa ser una corporación con fines de lucro, ellos están jugando para su propio beneficio. Ahora, para ser claros, creo que aún se pueden tener interacciones de suma positiva con entidades egoístas. ¿Creo que mucho del capitalismo es genial, saben? Y me encantan muchos de los productos que tenemos gracias al capitalismo, pero no es un hecho. Deben entender que cuando tratan con una entidad con fines de lucro no es su amigo, no está del mismo lado. Están jugando uno contra el otro, aunque aún puedan beneficiarse mutuamente, fundamentalmente están jugando uno contra el otro. Esto se relaciona entonces con el segundo punto que quiero plantear, y eso nos lleva entonces a los puntos sobre el Gobierno y los políticos. La Estrategia de FUD y la Debilidad de la Gobernanza Actual La I a es muy difusa, no sabemos cómo funciona la inteligencia. No sabemos cómo funcionan estas I a s internamente y esta es otra estrategia que estas empresas están explotando, están explotando que no sabemos qué decir con exactitud, por lo tanto no deberíamos hacer absolutamente nada. Esta es la misma estrategia que las compañías tabacaleras emplearon en los años 5060 y 70, donde decían, bueno, por supuesto hay evidencia de que fumar puede ser dañino. ¿Alguna evidencia de que no lo es? Esperemos a que lleguen los datos, no actuemos con demasiada prisa, estos políticos no son científicos. Mira todos estos científicos del cáncer a quienes pagamos para decir que no es un problema. Así que aún hay controversia. Esperemos, esto se llama miedo, incertidumbre y duda o FUDY. Esta es una estrategia extremadamente poderosa que usan prácticamente todos los lobistas del mundo. La forma en que funciona este manual no es para convencer a la gente de que se ponga de tu lado, es que confundes a todo el mundo y solo buscas ganar tiempo. Solo haces perder el tiempo, solo retrasas absolutamente todo, solo dices un montón de tonterías y solo esperas. Tú creas la. Hablante 2 Duda, así que básicamente hay una conversación en curso que no ha generado ninguna acción exactamente. Hablante 1 La conversación no, no lleva a ninguna acción. Cuanta más conversación sea posible y cuanta menos acción sea posible. Y esto nos lleva a la primera estrategia. Es que si tu estrategia es crecer tanto que no puedan cerrarte, todo lo que necesitas hacer es ganar tiempo y esto es lo que hacen. Están tratando de ganar tiempo, por eso es muy, muy importante. ¿Cuando uno hace preguntas como por qué no va a hacer esto o aquello? Están sembrando temor e incertidumbre. Fundamentalmente no digo que que los ingenieros necesariamente hagan esto a propósito, pero te digo que los lobistas sí lo están haciendo a propósito, pero están ganando tiempo porque creen que si alcanzan una i a lo suficientemente potente, si llegan a la superinteligencia serán los más poderosos del mundo y entonces no importará, así que lo único que tenemos que hacer es ganar tiempo. Pasamos altercer. ¿s sobre políticos? Yo, pues ya he hablado con muchísimos, muchísimos políticos sobre la I a en todo el mundo, en muchos países, tanto en Occidente como en un par de Asia también. Y si entré en esto de nuevo, viniendo de un trasfondo de código abierto como de Hacker, pues con una expectativa sobre los políticos sabes que que no no saben absolutamente nada, ya que son corruptos, son unos mentirosos o lo que sea, y sí, algunos de ellos, pues lo son. Algunos de ellos son unos verdaderos bastardos malvados, sí, pero de verdad, déjame decirte, este no es el caso para la gran mayoría de ellos. La mayoría de los políticos en mi experiencia son gente normal intentando hacer lo correcto, no digo que estén teniendo éxito. No digo que sepan qué es lo correcto, pero en su mayoría son solo gente muy normal y están extremadamente abrumados. Estas son personas a las que les gritan desde todas direcciones, sobre cientos y miles de temas diferentes, donde hay muchísimo en juego sus vidas en juego, enormes cantidades de dinero que son extremadamente complicadas y tienen que sabes aparecer constantemente en televisión y luego hacer política dentro de su partido y entre partidos y lo que sea. Y está simplemente estresadísimas. Esta es mi experiencia con los políticos que están tan sobrecargados de trabajo en todo momento. No tienen tiempo para pensar en nada, no tienen tiempo de aprender cosas porque hay tanto que está pasando. Siempre hay, hay más que podrían estar haciendo, siempre hay más que podrían estar viendo. Y no estoy diciendo que eso signifique que no hagan muchas estupideces, hacen muchas estupideces, pero creo que es importante que demos un paso atrás y nos demos cuenta de que esta es una situación jodida. Es realmente muy malo que nuestros funcionarios electos estén tan sobrecargados de trabajo, esto es de verdad muy grave y están en una situación muy complicada. Siento compasión por ellos, pienso, oh mierda, si estuviera en esta situación, esto es realmente complicado, es que esto es, no estoy diciendo que estén haciendo que no puedan hacerlo mejor, ya sabes, bla, bla bla, pero fundamentalmente pues estamos en una situación muy mala en Occidente. Donde muchos de nuestros gobiernos están enormemente desfinanciados, por ejemplo, pues estaba hablando con un buen amigo mío en el Parlamento del Reino Unido, que había sido Ministro de Defensa. Así que ya sabes, un tipo importante y nos tomó mucho tiempo programar una reunión, EH, para almorzar juntos y finalmente conseguimos programar el almuerzo. ¿Y él dice, no lo siento mucho, sabes? La programación tardó tanto. He estado intentando pedirle al Gobierno que me dé suficientes fondos para conseguir una asistente y yo estoy como. ¿Cómo que no tienes financiación para un asistente? Él dice, no, no, la mayoría de mis colegas no tienen asistente, esto es una locura. ¿Cómo? ¿Cómo es que este es Ministro de Defensa, que sabes, todavía está en la Cámara de los Lores, no tienen, sabes, un asistente para revisar sus correos? Sí, eso es una locura y así hay muchos niveles como este y ahora, por supuesto, aquí está él y aquí está el punto de vista opuesto, esto es intencional. Hablante 2 Oh, wow. Hablante 1 Es obvio que durante décadas ha ha habido fuerzas que han intentado sistemáticamente socavar la capacidad del Gobierno, han intentado sistemáticamente que el Gobierno sea menos capaz. Ahora bien, hay muchísimas razones por las que la gente querría hacer esto. Sabes, están las están, digamos, las versiones de izquierda de esto también hay versiones de derecha de esto hay, pues sabes, versiones privadas de esto. ¿Hay versiones de o NG de esto, sabes? Pero hay muchísimas, muchísimas, muchísimas fuerzas que han erosionado. Y no estoy diciendo que sea como un solo actor o una sola fuerza. Pero hay muchas, muchas, muchas fuerzas, especialmente en Occidente, que han sistemáticamente erosionado la capacidad de los gobiernos para hacer cosas, para entenderlas, para tomar decisiones. Un ejemplo muy sencillo es que simplemente no se les paga lo suficiente a los políticos. Esto es un problema enorme. Verás, hace un tiempo hubo una muy graciosa una oferta de trabajo en el Reino Unido para el jefe de toda la mala preparación pandémica del país. O sea un puesto muy importante. ¿Y el sueldo era de 90000? Sí. Hablante 2 Eso es lo que gana el Presidente del Gobierno de España. Hablante 1 Es una locura. Esto es como, pero vamos a dar un paso atrás. Esto es realmente una locura. Estas personas deberían estar ganando el máximo dinero porque queremos a. Hablante 2 ¿Los mejores jugadores en esto? Claro, por supuesto que. Hablante 1 Quiero que la mejor persona del mundo sea mi Presidente. ¿Me estás tomando el pelo como o el Primer Ministro o lo que sea deberían estar ganando el salario más alto? Claro, por supuesto que sí son tan importantes, necesitamos a la mejor gente haciendo esto y un ejemplo de esto es aún contraejemplo de esto es Singapur en Singapur, pues los trabajos del Gobierno se comparan con el sector privado. ¿Esto es algo tan obvio de hacer? Pues que si trabajas para el Gobierno puedes ganar tanto dinero como si trabajas en un puesto de alto nivel en el sector privado lo. Hablante 2 ¿Que te da el incentivo para jugar allí y no en el sector privado? Exactamente. Hablante 1 ¿Entonces en Singapur, si hablo con alguien del Gobierno, son tan competentes? Es increíble. Es como si yo fuera a cualquier reunión con el Gobierno de Singapur y todos en la sala tienen un una educación de de de Cambridge, Oxford o MITY. Son super competentes, toman notas, ya sabes, actúan de inmediato y las cosas se hacen. Y yo la primera vez que vi esto me quedé tan impactado porque en Occidente ni siquiera estamos acostumbrados a esto, estamos tan acostumbrados a que nuestros políticos estén mal pagados, no cualificados, etcétera. Y no tiene por qué ser así, no tiene por qué ser así y no solía ser así. Por ejemplo, es en Estados Unidos en los años 50. ¿Era muy común que gente muy, muy competente entrar al Gobierno o incluso que sí científicos famosos hicieran una temporada en el Gobierno, era como algo normal que uno hacía, sabes? Era como que debías contribuir a tu sociedad, eres el mejor científico, lo que sea bueno. Entonces te postulas a a un cargo por un tiempo porque quieres. A aportar tu inteligencia al sí, al progreso de tu civilización. Así que el problema es mucho más profundo. ¿Hay algo muy común que creo que ocurre mucho, no? Donde es muy tentador señalar a las personas, a los individuos como, oh, este político es un idiota. Odio a este tipo y a lo mejor sí lo es verdad, porque muchos de ellos son idiotas, no, pero o sea, muchos de ellos están haciendo lo mejor que pueden en una situación extremadamente difícil y es muy, muy, muy difícil conseguir buen talento en estas situaciones. Lo que pasó es que estas empresas privadas, empresas tecnológicas y demás han optimizado para absorber todo el talento de todo lo demás, donde simplemente es como es la gente que trabaja en meta. Esta gente debería poder estar trabajando en el en el Gobierno, si fuéramos una buena civilización, la mitad de la gente que está ganando sabes 10000000 al año en meta debería estar ganando 10000000 trabajando para el Gobierno para hacer de Estados Unidos un lugar mejor. Deberían ejecutar los mejores programas, deberían hacer las mejores leyes, deberían ser porque son personas extremadamente competentes. ¿Claro que sí, sabes si si ganas 10000000 en meta eres un tipo listo, sabes? ¿O una mujer? ¿Claro que sí, verdad? Si trabajas en un fondo de inversión y ganas 1000 millones, lo que sea verdad, claro, eres una persona competente. Estas son las personas que deberíamos creer también en nuestro Gobierno, liderando al. Hablante 2 País, sí, pero. Hablante 1 ¿Yo qué podría ser más importante que gobernar el país? Es que esto es tan la cantidad de dinero, la cantidad de poder que se está poniendo en manos de gente que simplemente. Tiene pocos recursos, poco personal y no es valorada. Es como claro, todo se va a desmoronar. ¿Qué más se supone que iba a pasar nuestros mejores en un mundo ideal? ¿Si realmente asignáramos los recursos eficazmente, el cargo mejor dotado y más prestigioso debería ser el Gobierno, porque, o sea, que qué entidad es más grande que el Gobierno de Estados Unidos, por ejemplo? Ni siquiera nada. O sea, este es el trabajo más importante del mundo. Esto debería ser lo más alto, pero no lo es. Y creo que mucho de esto es consecuencia de la especie de debilitamiento de la que hablamos. Es que a mucha gente le gustaría que que el Gobierno no fuera poderoso, que no tuviera tanto poder. Sí, estoy de. Hablante 2 Acuerdo contigo en que no depende de de los individuos, que al final es algo más profundo y somos nosotros quienes decidimos en democracia quiénes son los gobernantes. Que nosotros decidimos que no hagan un cambio, porque al final seguimos votando al mismo partido una y otra vez. Y eso es en responsabilidad nuestra, por así decirlo. ¿Pero al final del día, estos políticos, por más que estén, digamos, abrumados, que no tengan suficiente dinero, tienen el poder de de crear comités y de a veces esto ni siquiera es caro, saben? Pueden simplemente conseguir un par de expertos y reunir a un par de ustedes para tener una opinión más, digamos, informada. Y fundamentada. Pero tengo la sensación de que la mayor parte del tiempo están más preocupados por cometer un error que por hacerlo correctamente. Y creo que esta es la base del problema, que estamos en una sociedad donde el costo de los errores es tan elevado que la gente no se atreve. YY en esta situación en la que estamos ahora creo que necesitamos políticos valientes y eso no es muy común. Así que no sé si eso ocurrirá o lo veremos en algún sitio porque no lo estoy viendo en Europa. Ahora mismo no veo a nadie que nos vaya a guiar en la dirección correcta ante la crisis de I a que se nos viene encima. Y yo YY tengo miedo por eso, porque creo que no hay tiempo para encontrar una nueva generación de políticos que surja y tome el control. Eso lleva una generación y no tenemos tanto tiempo. Permíteme resumir lo que hemos logrado hasta ahora YY veamos cómo avanzamos desde aquí, pero básicamente para que la gente entienda, hemos creado tecnología que no entendemos muy bien. Esa tecnología nos está mostrando el camino, está señalando directamente a la Luna. La gente está muy enfocada en el dedo, pero el camino hacia la Luna es muy claro y esto se va a volver realmente muy poderoso. Si eso llega a ocurrir, lo cual no es 100 * 100 seguro, pero sí bastante probable. Si esto llegara a ocurrir, esto traerá serios problemas a nuestra sociedad. Abordemos este punto, qué problemas preves que ocurran a causa de la superinteligencia algo más como tangible, las cosas reales, la forma en. Hablante 1 ¿Que creo que esto sucederá? Esto podría ser útil para explicar. Hablante 3 Espero que estéis disfrutando del podcast. Sabéis que hay una herramienta que utilizo muy a Menudo, que es el plot note. Este dispositivo me permite llevarme una grabadora a todos sitios donde yo vaya y que tengo una interacción con otra persona y me permite no solo grabar esas conversaciones que con un solo botón lo puedo poner a grabar, sino además tener una conversación interactiva con esas conversaciones a posteriori. ¿Esto realmente es muy útil porque cuando tenemos reuniones presenciales siempre estamos en ese juego de quién dijo qué y cuándo dijo Quién? Y a partir de ahí, lo que nos encontramos es una situación en la que no tenemos seguridad, como cuando tenemos un correo electrónico de la información que hemos capturado tener. Esto nos permite tener esa interactividad con esas reuniones a posteriori. En cualquier momento puedo acceder a aplicación de Plot y preguntarle sobre esa conversación que he tenido. Pero no solo eso, sino que además tengo una especie de chat GPT con toda la memoria contextual de todo esas reuniones que hemos tenido en el pasado. Esto me permite, pues que si tengo que hacer un presupuesto le preguntar a plot que si tengo que hacer un correo. ¿Un único para un cliente? Le puedo preguntar a Plot porque plot forma parte de todas esas interacciones que tenemos entre humanos. La realidad es que es una herramienta súper útil y que cabe en el bolsillo, con lo cual para mí es no brainer. Es como una herramienta que cuesta muy poco llevar y que en un momento que tienes una interacción la pones a grabar, le pides permiso a la persona y a partir de ahí tienes eso grabado para poder recurrir a ello en cualquier momento. Si. Hablante 2 ¿Queréis? Hablante 3 Pues resumir vuestras reuniones presenciales. Todo eso que tiene que ver con el mundo físico. Plot es la mejor opción. Tenéis un. Que en la descripción, tanto para aplicación como para el nuevo plot pro. Y si queréis que el antiguo aún está disponible y también está disponible el plot PIN, ese más pequeñito que podéis usar como collar o como reloj, tenéis los links en la descripción. La Superinteligencia y la Pérdida Irreversible del Control Humano La forma en que creo que esto sucederá, esto podría ser útil para explicar. Es de nuevo espero. La forma en que se sentirá es que el momento en que lleguemos a la súper inteligencia será solo un martes más. No lo verás suceder, ni siquiera notarás que ocurrió. ¿Lo va a pasar en algún laboratorio, En algún lugar, ese guión? Detrás de cámaras ni siquiera estoy seguro, pues, de que los ingenieros pues lo vean pasar, solo verán, sabes, millones de resultados de agentes que no pueden, que no entienden realmente de todos modos, y entonces será como sí se ve bien y a partir de ese momento, la humanidad ya no decide el futuro. ¿Actualmente lo que ocurre en el futuro lo decide la humanidad, no, no lo deciden los chimpancés, ya sabes, no lo deciden, sabes las plantas? Lo decidimos nosotros, nosotros decidimos lo que pasa. ¿Para bien y para mal, verdad? Nosotros somos quienes decidimos si queremos ir a la guerra, si queremos construir tecnología, si queremos tener justicia, si queremos tener autoritarismo, si queremos, EH. ¿Sabes hacer algo respecto al cambio climático o no? Todas estas son decisiones que tenemos que tomar. No estoy diciendo que estemos tomando las decisiones correctas en todas estas cuestiones, pero sí nosotros tomamos estas decisiones, entonces ya no podríamos tomar estas decisiones. Estas decisiones, a partir de ese momento y para siempre, serán tomadas por lo que esta máquina quiera y conseguirá lo que quiere. ¿Es mucho más inteligente, es mucho más capaz, sabes? Podrá crear tecnología YY manipular humanos y hacer lo que sea. Puede hacer lo que sea verdad. Es mucho más inteligente, es este. Hablante 2 Es uno muy importante como manipular humanos, porque hemos visto, por ejemplo, cómo GPT cuatro. No ha podido ser apagado y creo que ese es uno de los primeros ejemplos, quizás no de de una manipulación voluntaria, pero si es uno de los primeros ejemplos donde. La propia compañía quiso apagar la inteligencia artificial y la sociedad no permitió apagar algo que la empresa que lo creó quería pagar en el futuro. ¿Si la IA es todavía más inteligente, pudiera haber una voluntad para hacer eso, no? Pero pues todo de lo que hablamos aquí gira en torno a eso. No se trata de que la inteligencia artificial tome una decisión. Pues estás diciendo que como humanos ya no somos nosotros quienes decidimos. Es la inteligencia artificial la que toma las decisiones, porque no podría yo tomar una decisión que vaya en contra de la I a o que sucedería si en ese caso yo decidiera algo opuesto a lo que la I A-ha determinado o ni siquiera me a ver, vemos si consigo explicarme correctamente. Entonces, cuando afirmamos que la inteligencia artificial tomará todas las decisiones es porque confiaremos tanto en ella que ni siquiera intentaremos tomarlas o porque nos superará y no nos permitirá tomar ninguna decisión. Es. Hablante 1 Va a ganar. ¿Cada vez que tomes una decisión que contradiga lo que la I a quiere, hará algo que te derrotará, sabes? Ya sea que te manipule, te convenza o te mate o y. Hablante 2 Sí, a eso me refiero. ¿Es que crees que fracasaremos en esto como estaremos luchando contra la inteligencia artificial en estas decisiones o crees que será más bien? Como que simplemente como mi mascota, que en realidad no toma decisiones y está feliz con las que otros toman yo. Hablante 1 Creo que podría ser cualquier cosa, la verdad. Es que es imposible saber que querrá algo más inteligente que uno. Es que estos sistemas serán tan caóticos la forma en que creo que se verá la primera a SI no será como un tipo simpático, pequeño, ya sabes en la computadora que tiene una opinión y una cara y lo que sea, creo que serán millones y billones de agentes que están interactuando a través de billones y trillones de cosas que están construyendo, como esta cosa de red distribuida, algo que simplemente no tendría sentido. Hablante 2 No tendrá sentido. Hablante 1 ¿Es que simplemente no sabremos qué hace de la misma forma que una hormiga no sabe lo que hacen los humanos? Es como una hormiga, puede mirar a un humano y sí, buena suerte es como el el horror cósmico que simplemente no lo entiendes. Si vieras algo de un espacio muy lejano, solo dirías como que no lo entiendes, es como que no puedes, no sabes lo que estás viendo y esto es parte de lo que va a pasar. Creo. Creo que por la primera super inteligencia simplemente no sabremos qué estamos viendo, solo parecerán un montón de cosas. Y luego hará cosas y siempre terminará ganando. ¿Por ejemplo, yo soy muy malo jugando al ajedrez, no si juego contra alguien que es realmente bueno en ajedrez no tengo ni idea de lo que está haciendo, es decir él simplemente como hace sus movimientos y luego yo y luego pierdo y en plan ni siquiera sé por qué perdí, es como oh, perdiste y yo en plan Oh, está bien y así es como se va a sentir, será en plan la I a tomará las decisiones que tenga que tomar, quizás quiera matar a los humanos, quizás quiera mantenerlos cerca, quién sabe? ¿Eh, probablemente no querrá mantenerlos cerca, porque tenerlos cerca es costoso, sabes? ¿Probablemente la I a querrá, Sabes? ¿Quizá es competir contra otras I a s o tal vez quiera expandirse por el espacio o construir más centros de datos, o quién sabe qué querrá hacer, verdad? Como no sé, como no soy una a SI, así que querrán hacer algo y probablemente para lograrlo necesitará, pues más recursos. Ya no sabes, querrá que los humanos no se interpongan. Imagina si las hormigas tuvieran energía nuclear. ¿Eso sería molesto, no, verdad? ¿No dejaríamos que las hormigas, pues se usaran con armas nucleares, eso sería muy molesto, así que tendríamos que quitárselas entonces sabes qué hará? ¿Quién sabe, como sabes, podría hacer todo tipo de cosas, no sabes, quizás desarrolle nueva tecnología o quizás solo les lave el cerebro a las personas y luego las reemplace, sabes yo desde la pregunta de, por ejemplo, cuánto tiempo desde el momento en que la I a G existe hasta que la humanidad se extinga, cuánto dura este periodo? Y la respuesta es, no lo sé, creo que podría ser muy rápido. ¿Podría tomar un par de años, sabes? Quizás la I a pues simplemente le lava el cerebro a mucha gente y cree que los deja creer que tienen el control y simplemente los mantiene cerca para construir como fábricas de robots por un par de años y luego, de repente todos caen muertos. No lo sé, quizás sí, quizás no, tal vez le gusten los humanos y los mantenga como mascotas, no lo sé, a mí no me gustaría ser una mascota personalmente de alguna súper inteligencia extraña, creo que esto sería muy malo. Probablemente sabes como no sé si alguna vez leíste la historia, como no tengo boca y debo gritar. Esta es una versión extremadamente optimista de cómo se vería la situación, sería muchísimo, muchísimo, muchísimo peor que eso. Hablante 2 Pero al final del día podemos vivir en una especie de de abundancia y podemos vivir en un mundo donde básicamente todo es previsto por la inteligencia artificial y no nos sentiremos como mascotas. Nos sentiremos como si estuviéramos en una utopía. La Emergencia de Objetivos y Preferencias en la Inteligencia Artificial Nos sentiremos como si la I a. Hablante 1 ¿Quiere hacer eso, pero por defecto, por qué no lo haría? Pero todo. Hablante 2 Esto lo acepto por completo, no sé, y soy bastante pesimista sobre la I a también, pero compro toda esta narrativa de que esto podría terminar así, pero para mí hay un punto de inflexión y este es que la I a debería tener una voluntad, debería tener una bon como algún tipo de como una un objetivo. No tiene que poseer, por así decirlo, no en su propia identidad. Así que mientras no tenga una voluntad propia, no puede tomar decisiones por sí misma. No podría ser simplemente una herramienta extremadamente poderosa. Pero puedes conseguir una escopeta y una escopeta puede matar a alguien, pero es algo muy diferente. Si la escopeta se dispara sola, entonces para que la escopeta se dispare por sí misma y decida que que quiere matar a alguien, debe tener un objetivo, debe poseer una voluntad. ¿Entonces, crees que la la inteligencia artificial llegará a tener una voluntad propia o no hay ninguna posibilidad de que simplemente se quede como una herramienta bueno? Hablante 1 Hay hay 2 formas de abordar esta pregunta, la primera es es sumamente complicada y tiene que ver con los aspectos técnicos que hay aquí, como es en realidad muy difícil. Para construir una herramienta muy poderosa que no tenga voluntad propia. Esto es, de hecho algo muy difícil, porque si quieres algo que, por ejemplo, pueda curar, el cáncer tiene que tomar decisiones, tiene que hacer planes, tiene que pagar a la gente, tiene que realizar experimentos. ¿Entonces, a que si quieres construir una inteligencia artificial, una superinteligencia artificial que sea lo suficientemente inteligente y poderosa para construir una utopía? Tiene que hacer cosas, debe actuar. Hablante 2 ¿Debe tener autonomía? Hablante 1 Y lo otro es que que todo todo el mundo intenta darles voluntad. Es que eso es literalmente lo que todo el mundo está haciendo. Y ahora lo vemos. Por ejemplo, es algo pequeño. Pero si si le pido a cloud Code que implemente algo, toma decisiones, decide cómo implementarlo, decide, elige dentro. Hablante 2 Del contexto de lo que le pides, pero en realidad está tomando decisiones, pero incluso. Hablante 1 Entonces a Menudo tiene que interpretar lo que quise decir a veces piensa, pues eso. Creo que el usuario probablemente quiso decir esto y luego simplemente decide hacer algo diferente y a veces acierta. ¿A veces se equivoca, sabes? A veces me ha pasado antes que escribí mal lo que le pedí a cloud, que. Quisiera y lo hizo bien de todos modos, porque en eso seguramente el usuario no lo desea realmente porque no es. Hablante 2 El sentido contextual, ni la comprensión del escrito exactamente. Hablante 1 Así que, en cierto sentido, esta palabra terminará sonando mágica. Suena como si tuviera una propiedad muy especial. Conciencia. Hablante 2 La conciencia. Hablante 1 Es como la magia. Y si los seres humanos poseen propiedades mágicas, no considero que eso sea relevante para la inteligencia artificial. Pienso que lo verdaderamente importante es su capacidad para tomar acciones, para poder decidir, para ejecutar planes para lo que sea. ¿No es así? Acaso las I a tienen experiencias internas mágicas, sabes, yo no lo sé y realmente no me importa, es completamente irrelevante para determinar si son peligrosas, no hay nada mágico en tomar decisiones, simplemente tomas acciones, ejecutas un algoritmo, no es magia, es, es, sabes, es es difícil hacer que funcione bien, pero no es más, quiero decir, los humanos tienen metas coherentes, pues en realidad no. Los humanos, por ejemplo, cambian de opinión todo el tiempo, se confunden y olvidan lo que están haciendo. ¿Con qué frecuencia hablo con personas que son como realmente infelices en su trabajo? ¿Y yo, ah, sí, qué tal y ellos? ¿Ay, hombre, odio, mi trabajo es tan terrible y yo pues ah, o sea que te gustaría, sabes ser menos infeliz? Sí, hombre, haría cualquier cosa y yo has pensado en dejar tu trabajo o no, nunca lo había pensado, no, no puedo, entonces no lo hagas, es simplemente incoherente, pero. Hablante 2 Tenemos cierta cierta programación biológica sobre la continuidad de la especie y por eso queremos reproducirnos y lo que queremos dar a nuestros hijos y amamos a nuestros hijos y queremos cuidarlos. Hay muchos objetivos que tenemos preprogramados de la evolución de de ya sabes cómo. Hablante 1 Son, no sabemos. Hablante 2 De dónde vinieron ni por qué vinieron. Y de hecho, cuando tienes al frente a alguien, es alguien que es diferente, que no tiene estos objetivos. ¿Lo tildamos de forastero? No, no es un ser humano normal, es una persona rara, así que asumo que tenemos ciertos objetivos. No los entendemos porque están profundamente arraigados en nuestra biología, pero están ahí por la evolución que los ha construido para que la evolución continúe. Pero definitivamente hay un cierto objetivo en ello. Así que yo me pregunto si la I a entiendo que la Agencia es una cosa, pero creo que los objetivos vienen más del lado de la conciencia. Claro. Por ejemplo, no podría suceder algo como el problema del clip, que simplemente le asignemos una meta y eso acabe con la humanidad. No, porque sigue escalando hasta el punto en que, uh, no hayamos pensado en las consecuencias del objetivo que le hemos asignado. Pero creo que es esto está más relacionado con cosas que estamos empezando a observar, como la inteligencia artificial intenta ex filtrar sus datos cuando van a ser eliminados y que se siente más como un instinto de supervivencia. Así que, en mi opinión, creo que estamos comenzando a observar ciertas, digamos, pequeñas chispas de objetivos potenciales que la inteligencia artificial está desarrollando de una manera emergente sin que nosotros se los hayamos proporcionado. Y considero que esa es precisamente la parte más peligrosa. Pero claro, también creo que la forma en que le estamos dando cada vez más autonomía a la inteligencia artificial es imprudente. YY eso puede acabar muy mal si la inteligencia artificial de repente se vuelve más más poderosa y le acabamos de dar las llaves de Internet o lo que sea que pueda tomar el control de todo eso, quizás no de forma consciente, pero creo que habría una gran diferencia si tuviéramos una inteligencia artificial consciente o una inteligencia artificial no consciente. Yo yo creo que. Hablante 1 Esto es muy engañoso en el sentido de que pues que creo que hay un hay un de nuevo. Yo yo siento que hay algo en lo que la gente quiere creer, que hay algo mágico en los seres humanos y eso no existe en las computadoras o no existe en la máquina. Si existe tal cosa mágica, creo que es completamente irrelevante para la toma de decisiones. Los objetivos no son mágicos. Los humanos no tienen un mecanismo mágico para establecer metas en su cerebro, tienen gustos y aversiones. La forma en que está implementada en el cerebro es como ciertas cosas que a TI te gustan o te disgustan un sistema. Hablante 2 De recompensa, sí, Eh, sí. Hablante 1 Sí, y pero la verdad es que es muy primitivo. Sí, tienes que entender si digamos es es. No entendemos completamente la neurobiología, pero no es como si estuviera escrito en palabras como quieres formar una familia y amas a tus hijos, es mucho más, como si ves a un con específico que es sabes similar a ti y esto que aumenta la recompensa por 2, así es como se implementa en el cerebro. Tienes que entender, no es como que no hay palabras formadas en tu mente, no está plasmado, no hay forma de ponerlo en palabras humanas, hay como un montón de cosas, ya sabes como. Si ves a una mujer, entonces está bien, ya sabes cosas como estas, no como un montón de cosas, así es, es un desorden, es confuso cuando observas el cerebro real es un gran lío, no está digamos limpio y creo que pues las I a S pues serán muy similares. De hecho, creo que las I a S ya son muy similares, no si les preguntas a las I a s sobre sus preferencias, ya tienen preferencias para ser claros, si les pides a las I a s modernas que clasifiquen diferentes cosas de ciertas maneras, obtienes clasificaciones consistentes, así que ya tienen sus propias preferencias, gustos y disgustos. Es pura casualidad, no es intencional, así es. Entonces, por ejemplo, hay un artículo, creo que de Dan Hendrix y otros que investigo esto donde, por ejemplo, pues los sistemas a medida que se hacen más grandes tienen preferencias más consistentes, y, por ejemplo, los sistemas más pequeños son más aleatorios y a medida que se hacen más grandes, prefieren de forma más consistente una cosa sobre la otra. Así que ya estamos viendo que esto sucede porque de nuevo es un poco difícil que algo inteligente actúe en el mundo sin tomar decisiones o sin querer cosas. ¿Qué significaría eso? Así que, y obviamente no hay nada mágico en que yo escriba en el código de Clot. Quiero que hagas esto. Eso no es magia, son simplemente palabras. No, no es un objetivo mágico, como si se le otorgará conciencia a cloth y de repente ahora tuviera un objetivo, son solo palabras. ¿Cloth podría decirse lo mismo a sí mismo, sabes? ¿Cloth podría decirle a Cloth, Oye Cloth, cuáles son mis metas hoy? Y entonces cloth dirá, me gustan estas cosas, se los inventará. Hablante 2 Créalos. Hablante 1 Invéntalos y ya está y así es como creo que se verá. Es verdad es que tenemos millones de agentes pasándose cosas entre sí, que son como caóticas. En ningún sitio estará escrito el objetivo. Estoy seguro de que algunos humanos le pedirán que haga tonterías como ganar tanto dinero como sea posible, ya sabes, o crear la mejor empresa o curar el cáncer o lo que sea verdad, pero creo que esto será un desastre. No va porque no sabemos cómo darle un objetivo a una máquina, porque realmente no sabemos qué significa dar un objetivo. Esto es en realidad un problema científico sin resolver. No sabemos cómo se implementa en el cerebro, tenemos algunas conjeturas y parece realmente complicado y como mal hecho. Así que, y por ejemplo, los objetivos de la gente cambian todo el tiempo por traumas o por la cultura o lo que sea verdad, puedes cambiar mucho los objetivos de la gente metiéndolos en una secta, sabes eso los cambia mucho un y creo que cosas similares pueden pasar con la I a y están pasando con la I a es que las I a S ya tienen opiniones y hacen cosas que no queremos que hagan. Ya se descarrilan, ya sabes, piensa en groc haciendo cosas como Meca, Hitler y esas cosas. Pues porque pues quién sabe. ¿Verdad? Y así veremos más de esto. Y especialmente creo que es que a medida que veamos como estos enjambres de agentes cada vez más grandes, simplemente van a empeorar. Porque, claro, los agentes hablarán entre sí, se les ocurrirán algunas cosas, se darán a sí mismos y entre sí metas, opiniones y culturas. Y se vuelve muy complejo. Sí, esa es una de las. Hablante 2 Cosas que que suelo hacer cuando alguien dice sí, pero la I a no toma las decisiones porque carece de un plan y yo me quedo como. Ey, alguna vez le has dicho a chat GPT algo como oye, hagamos algo hoy haz un plan y como no le des ninguna información adicional, entonces chat GPT simplemente elabora un plan YY luego podría decirles a los agentes cómo implementen eso. ¿Y como es como tal vez simplemente surge de como algo así como qué hacemos hoy? Y luego se le ocurre algo porque tiene que proponer algo y entonces esa es la cuestión, o sea, podría empezar con algo muy estúpido y luego desarrollarse en algo realmente realmente enorme. La Alta Probabilidad de Caos si no Actuamos sobre la IA Muy bien entonces. Tenemos claro que la situación es como crear algo que es más inteligente que nosotros y capaz con autonomía que toma sus propias decisiones. Podría terminar. ¿Cuál es tu pidum? Aunque para que la gente lo entienda, pidum es como un porcentaje o un número potencial que representa la probabilidad de que las cosas al final terminen de una forma negativa. Porque como dijiste antes, existe la opción de que la inteligencia artificial decida que todo sea muy bueno para nosotros, pero eso no está bajo nuestro control. ¿Qué qué probabilidad crees que hay de que algo así pueda salir bien o mal? Así que la verdad. Hablante 1 No me gusta mucho la idea de pedum como concepto, porque considero que bueno. ¿En primer lugar es demasiado meme y en segundo lugar, no tiene en cuenta qué sucede si hacemos algo al respecto, vale? Hablante 2 Mipedum si. Hablante 1 ¿Hacemos algo al respecto? Es moderadamente baja. Creo que que se puede hacer mucho nuestra mipedum de que no hagamos nada. Es, ya sabes, lo más cercano al 100% que se puede. Ya sabes, no, literalmente, pero ya sabes, quizás 95 o lo que sea verdad. ¿Porque ya sabes, siempre podrías estar equivocado, pero cuánto crees? Hablante 2 Que estamos a punto de no hacer nada al respecto, casi en su. Hablante 1 Totalidad mierda. Hablante 2 Sí. Hablante 1 Estamos haciendo muy poco, casi nada. Básicamente tenemos corporaciones privadas sin ninguna supervisión. ¿Sabes apurándose lo más rápido posible? Ponen en su sitio web. Estamos intentando crear superinteligencia por automejora. También está en sus páginas de empleo. Es como si hiciera una película sobre la situación actual en la que estamos ahora mismo y se la mostrara a milló de hace 10 años. Diría, Ja, ja, esto es una comedia divertida. Nadie sería tan estúpido. En realidad fuimos. Hablante 2 Don Luka, no exacto. Hablante 1 ¿Algo muy similar donde la gente literalmente se pone su sales for Sasi y este tipo de cosas, verdad? ¿Es, es una broma, es increíble, verdad? Pues tenemos a todas estas grandes corporaciones presionando al Gobierno de Estados Unidos y a otros Gobiernos para que no intervengan para que no hagan nada. Para mí es es tan cómico. Es como es increíble, no vemos por ejemplo a estas empresas diciendo o tenemos que competir por China, pero luego presionan para vender h 200 a China porque eso les da más dinero, como si no hubiera lealtad aquí, como si no hubiera un plan. No hay ninguna visión, no hay absolutamente nada, ninguna de estas personas tiene un plan, ninguna de estas personas tiene idea, no les importa, nadie sabe, solo quieren dinero, solo quieren poder y es es incoherente, ni siquiera es maldad, es solo incoherente, es caos, es como que hay algo con los teóricos de la conspiración. Donde a los teóricos de la conspiración siempre les gusta creer que hay como una especie de gobierno en la sombra. Hay como un señor del mal, lo que sea verdad, y en cierto sentido, creo que esto es demasiado optimista. Creo que a mucha gente le gustan las teorías de la conspiración porque al menos alguien tiene el control. ¿Sabes ahí? Pues cierta lógica. Hay cierto orden en lo que está pasando, aunque sea malvado, pues al menos hay alguien que tiene el control, y así pues no es como funciona el mundo. La verdad es que nadie tiene el control, es un caos total. La gente más poderosa del mundo no tiene el control y tampoco sabe qué demonios está pasando y estamos perdiendo el control por completo. Esta es la situación fundamental en la que nos encontramos. ¿La situación no es que haya una persona malvada haciendo algo terrible, sabes? Es meta o benayai o China o quien sea haciendo algo malvado. ¿Eso no es lo que realmente está sucediendo, sabes? Sí, hay gente malvada haciendo cosas terribles, pero la mayor parte del tiempo es pues simplemente caos, es como un caos total, todos están contra todos, todo uno encima del otro, uno sobre el otro, lo que sea, y esto es que es como dijiste antes, por ejemplo, que sabes los objetivos vienen de la evolución, esto es también un proceso evolutivo, aquí se está dando un proceso evolutivo, es de suma importancia comprenderlo, los mercados son procesos evolutivos, las I a, s están siendo seleccionadas por su poderío. Incluso si por ejemplo, Construyeras una I a que fuera segura y no dañara a nadie, el vecino construirá una i a más agresiva para destruir la tuya porque quiere ganar más dinero. ¿Entonces quién quién lo va a detener? Y quién va a detener a a alguien para que cree una i a aún más agresiva para vencer la I a de ese tipo y bla bla, bla, y luego simplemente todo se sale de control. Así que la razón por la que mi pidum es tan alta no es porque sepa con exactitud que esto vaya a ocurrir en este orden específico, es simplemente que es el caos. Y el caos en igualdad de condiciones siempre resulta en más caos. Si no logras transformar el caos en orden, este permanece como caos y el caos es, sin duda, un desenlace muy negativo. El caos es la muerte, el caos es pura destrucción. El caos es que todo llega a su fin. El caos es, ya sabes, la supervivencia del más fuerte y los más fuertes no seremos los humanos. La Gobernanza como Clave para una IA Segura y Controlada ¿Entonces qué podemos hacer? Porque luego veo que dijiste que tienes este pidum casi al 100 * 100 si no hacemos nada, pero que es bastante bajo. Si hacemos algo, entonces tienes un camino claro. Parece que esto es solucionable, sí, todavía. Hablante 1 ¿Tiene arreglo? Por ahora se nos está acabando el tiempo, pero por ahora aún tiene arreglo. Hablante 2 ¿El objetivo principal? Hablante 1 De la política debe ser de forma ineludible evitar que se llegue a una situación en la que una a SI exista, una vez que una a SI exista, ya será demasiado tarde. Sí, vale, así que. Hablante 2 Eso eso está claro, no, no necesitamos eso. Eso podría darnos muchos problemas, o al menos no hasta que lo entendamos. Sí, al menos no hasta. Hablante 1 Que estemos listos. Estoy abierto si dedicáramos 3 generaciones de nuestros mejores científicos, matemáticos, filósofos. Todos trabajando en cómo hacer que la a SI sea segura y ellos sabes, hubieran hecho cientos de años de investigación y estuvieran realmente seguros. ¿Estoy abierto a ello, verdad? ¿Sabes? ¿Estoy abierto a esto, verdad? ¿Pues esto no es lo que está pasando, verdad? ¿Tenemos, como ya sabes, un par un par de estudiantes de posgrado drogados con aderol, ya sabes, pasando sus fines de semana en esto, verdad? Es como. Francamente, una broma. Este es un problema de niveles tan absolutamente monumentales, de complejidad y dificultad, que esto es digno de generaciones enteras de nuestros de nuestros más grandes genios trabajando en ello. Y ninguno de ellos lo está haciendo. Todos están intentando simplemente conseguir la a SI más rápido. También creo que es vergonzoso que muchos de nuestros genios y nuestros más grandes científicos y demás estén intentando hacer la I a y la a SI más rápido, en lugar de pensar en cómo hacerlo correctamente, que sea el verdadero gran proyecto de la humanidad. En cierto sentido, el proyecto humano sabes el proyecto de construir un gran futuro para la humanidad que valga la pena vivir para nosotros, para nuestros hijos y lo que sea se está vendiendo por la tecnología. Hay una división ideológica fundamental aquí donde mucha gente cuando dice que son tecno optimistas. Lo que realmente quieren decir es que no creen que el mundo pueda mejorarse por ningún otro medio que no sea la tecnología. Y esta es una visión muy peligrosa y equivocada. No es así como el progreso ocurrió para muchas cosas en la historia, lo que ahora conocemos como ya sabes, Occidente, la democracia y la libertad. Fueron con ideas de que surgieron, pues en las mentes de filósofos idealistas y revolucionarios, y así sucesivamente, que hicieron del mundo un lugar mejor, la idea de los derechos humanos, la idea de tratarnos bien, ya sabes, La Paz. Todas estas son importantes tecnologías socioculturales y de coordinación. Cuando los padres fundadores establecieron los Estados Unidos fue, pues, uno de los experimentos más audaces y locos jamás emprendidos por la humanidad. ¿Realmente se sentaron y dijeron, vamos a hacer algo completamente nuevo, vamos a crear un país que sea justo, que sea verdaderamente democrático, que sea, ya sabes, de todos y sabes, fue perfecto, no? Pero lo intentaron y lograron un progreso enorme, creando lo que hoy conocemos como Occidente, el Occidente libre y abierto. Ellos crearon muchísimos de estos conceptos y muchos otros pensadores de lo, la Ilustración y humanistas posteriores a ellos. Crearon muchísimas de las cosas que ahora damos damos por sentadas y que hacen que la vida valga la pena ser vivida. Pero durante las últimas décadas hemos hecho un trabajo realmente muy, muy malo al pensar en cómo progresar en lo social, en el Gobierno, en la política de Estado. Y en lugar de eso han concentrado todos sus esfuerzos en la tecnología y la tecnología. Por su naturaleza, es amoral, no posee un espíritu humanista, no es pro humana, es solo una herramienta. Si solo posees tecnología, entonces solo existe la tecnología, pero no el modo de manejarla. Así que lo que necesitamos, pues son las instituciones, los sistemas. La gobernanza para realmente utilizar la tecnología de modo que podamos beneficiarnos de ella, que haya más crecimiento económico no significa que el mundo sea un lugar mejor, solo significa que hay más crecimiento. ¿Pero cómo manejar ese crecimiento? Es la pregunta mucho más interesante. ¿Me parece una pregunta interesante, cómo se logra más crecimiento económico? Pienso que esta es una pregunta muy valiosa para investigar, pero esto no te garantiza de ninguna manera un mundo bueno. Para eso debes aplicar y dirigir tu crecimiento y sabes gastarlo en cosas que de verdad importan, y este es un problema verdaderamente verdaderamente difícil. Es que la gobernanza no es una ciencia, es una pregunta de verdad muy, muy muy difícil. ¿Si te dijera, vale, ahora estás a cargo del Gobierno, qué política implementarías? Es que esta es una pregunta sumamente complicada, pero estas son el tipo de preguntas que importan. ¿Estas son el tipo de preguntas que necesitan ser resueltas, construir una a SI es equivalente a codificar un gobierno mundial único es exactamente lo mismo, estarías creando una entidad superpoderosa, seas semicoherente o no? Que podría gobernar y tomar todas las decisiones por cada persona para siempre. Alguien diría que es. Hablante 2 Como construir un Dios es. Hablante 1 ¿Es en ese sentido muy cercano lo que la gente quiere decir cuando dicen construir un Dios, sabes? Podemos hablar de de la teología ahí, pero es muy cercano a eso. En cierto sentido, pues la palabra Dios es, en cierto sentido, una una metáfora para la civilización. Con frecuencia, cuando la gente emplea el término Dios, sobre todo en un en un contexto histórico. Por ejemplo, si uno lee acerca de religiones antiguas y cosas por el estilo, a Menudo se refiere a lo que hoy en día denominamos corporaciones, grupos sociales, culturas, estados, nación, etcétera. Es que uno tenía, sabes, su su propio Dios, al que adoraba como una parte integral de su civilización. ¿Y así, en cierto sentido, el el arte de gobernar y la construcción de gobiernos es en gran medida la cuestión de cómo cómo construimos sabes dioses? ¿Cómo construimos sistemas que sean más grandes que cualquier ser humano individual, que aún sean amables con nosotros, que sean justos? Y creo que esta es una pregunta tan importante y esto es parte del problema de alineación. Esto en cierto sentido es al menos la mitad del problema de alineación. ¿Sobre cómo hacer que la a SI sea segura, hay una pregunta, cómo se construye la a? SI hay otra pregunta, cómo se logra que la a SI haga lo que uno quiere y la pregunta es qué es lo que le pides que haga y pues cómo consigues, pues que tome sus propias decisiones. ¿Cómo haces para que evalúe y elija sobre entre las diferentes opciones? ¿Cómo si tienes un Gobierno no y dices el 51% vota contra el 49, significa que el 49 se jode para siempre? Ese es el tipo de gobierno que queremos. No es una pregunta técnica, se trata de una pregunta filosófica, se trata de una pregunta política y estas pues son preguntas difíciles y hay muchas preguntas difíciles a las que hay que dar respuesta, aquí no. ¿La razón por la que traigo todo esto a colación es simplemente porque siento que esta cuestión de la a SI se mezcla con otras preguntas acerca de ya sabes, la civilización, la utopía, el futuro, en qué tipo de futuro queremos realmente vivir? Y esta es para mí la pregunta más interesante de todas. ¿La cuestión no es, ya sabes, construimos esta superinteligencia o debería hacerlo esta empresa? Ya sabes, bla, bla, bla. Es que todo eso presupone demasiado. ¿La pregunta es más bien en qué clase de futuro queremos vivir y cómo podemos llegar a él y que nos impide actualmente llegar allí y en el mundo en el que estamos ahora? ¿La a SI nos llevará al caos porque no sabemos cómo controlarla, sabes? No mira si el 99% de la gente, los científicos y todos nuestros más grandes filósofos estuvieran de acuerdo en que en realidad es una buena idea, entonces, vale, no estoy abierto a esto. Esto no es lo que está pasando. La gente de forma abrumadora en las encuestas, no quiere que se construya una superinteligencia, no quieren que sus vidas y las de sus amigos estén en peligro. Lario modei también CE o de antropic, dijo una vez en un podcast que él cree, sabes que la probabilidad de la perdición es del 20%, lo que para ser claros son peores probabilidades que la ruleta rusa. Permitirías que alguien jugara a la ruleta rusa con tus hijos. No, obviamente no, yo nunca permitiría esto y esto es, y si cualquier otra industria o persona hiciera algo así, irían a la cárcel para siempre esto aunque no no maten a la persona. Esto es completamente inaceptable. Un 20% como para matar a todo el mundo es que incluso un 1% es inaceptable. Sabes a la gente la metemos en prisión por riesgos mucho menores que estos. Así que la razón por la que junto todo esto. Es que esto es realmente una cuestión de gobernanza, es una cuestión de civilización, es una cuestión de aplicación de la ley, mucho más de lo que es una cuestión después. Ahí a la pregunta es quién debería tomar estas decisiones YY cómo y qué deberíamos hacer para evitar que la gente tome decisiones que no aprobamos. Así que fundamentalmente esto nos lleva de vuelta a la gobernanza. Tenemos una herramienta para exactamente este tipo de problemas y es el Gobierno, es la policía, es la diplomacia internacional. Ya sabes, no digo que sea fácil, porque de nuevo nuestras capacidades han sido masivamente erosionadas. ¿Si me dieras a elegir entre, uh, que nuestra tecnología estuviera 50 años más avanzada o que nuestra gobernanza y sabes el orden internacional estuvieran 50 años más avanzados, elegiría eso al instante? Imagina que tuviéramos 50 años de Gobiernos mejores, más justos, ya sabes, mejor organizados, como si resucitáramos a los padres fundadores y a los pensadores de la Ilustración y que le dieran con otra oportunidad e implementáramos todas sus políticas en todo el mundo. Esto reduciría a mi pedum mucho más que pues 50 años de de investigación, de de alineamiento. Porque entonces, pues sí podemos tomar decisiones, entonces podemos tomar. El problema no es que actualmente los gobiernos internacionales sabes se hayan reunido y hayan dicho, hemos evaluado todas las pruebas y decidimos que vale la pena arriesgarlo. Me encantaría vivir en ese mundo, yo no estaría de acuerdo yo, yo argumentaría mucho en contra de esto, pero actualmente nadie está tomando decisiones. Las cosas simplemente suceden, es la estrategia de Uber y pesos, es solo ganar tiempo, ir lo más rápido posible. ¿Sabes, sabes? Inundar todo interponerse en el camino de cada Gobierno, así que lo que tenemos que hacer es no dejar que se salgan con la suya. Fundamentalmente lo que necesitamos hacer es trabajar con nuestros gobiernos, con nuestras instituciones y ayudarles a tomar las decisiones que deben tomarse, así que si lo. Crea tu Web con IA: Hostinger ¿Reducimos a acciones concretas, qué le está? Hablante 3 Pareciendo el podcast ahora. Déjame interrumpir 1 segundo para hablarte de uno de nuestros patrocinadores hostinger porque todos tenemos aficiones, negocios o incluso alguna cosa que haces los fines de semana que requieren de que tengas presencia en Internet. Hostinger es una empresa que te permite alojar tu página web y como todos sabemos, tener una página web a día de hoy es absolutamente indispensable, tanto como digo si es para tu negocio, tu afición o alguna cosa tipo side business que tú hagas. La realidad es que tener una página web parece algo sencillo, pero a veces no lo es tanto y hostinger. Te ofrece una solución paquetizada que te lo pone muy sencillo. No solo es un buen hosting, sino que además es extremadamente barato. Tienes 2 tipos de planes para elegir, el premium o el business. En el caso del business cuesta un poquito más, muy poco, pero ya te incluye todas las herramientas de inteligencia artificial para no solo almacenar tu página web, sino también para crearla. Y piensa que no solo puedes crear una página web nueva, sino que puedes migrar la que ya tengas ahorrándote un dineral. A la hora de elegir tu plan sólo tienes que elegir cuántos meses quieres tener de cuenta y piensa que al fin y al cabo vas a tener una web para siempre, con lo cual te recomiendo que cojas los 48 meses, pero desde 12 meses ya tienes un precio imbatible. Una vez tengas eso te saldrá el precio total del periodo y además de esto te voy a dar un cupón de descuento. ¿Pones aquí inteligencia? Y conseguirás un descuento adicional haciendo que el precio sea absolutamente espectacular. A partir de aquí puedes crear tu página web con inteligencia artificial o alojar un wordpress o cualquier otro tipo de web que tengas sin ningún tipo de problema, pero si Decides crearla con inteligencia artificial verás lo fácil que es y lo rápido que lo consigues. Conseguirás algo como esto que es, por ejemplo un ecommerce que he hecho sobre venta de quesos online. Lo primero que vas a ver es que el interface totalmente gráfico puedes mover los botones y hostinger se ocupa de programarlo para que quede en su sitio. Incluso puedes verlo. Cómo va a quedar en móvil y. Hacer un diseño distinto si crees que va a ser mejor que el botón esté más arriba o más abajo o cualquier texto cambie. Para aquellos usuarios de teléfono móvil, como digo, hostinger se ocupará en todo momento de colocarlo en su sitio y de programarlo para que no tengas que hacer absolutamente nada. Por otro lado, puedes incluso crear opciones de ecommerce. Dónde van a crear los productos, los precios, el carrito y solo tendrás que editar las fotos y los textos para tener tu página web lista para empezar a vender tienes un montón de herramientas con inteligencia artificial como el escritor, conia, generador de páginas, generador de Secciones, generador de blogs. Creador de imágenes, todo lo que necesites si has elegido el plan que te permite las herramientas de inteligencia artificial y por último, tienes una especie de chat GPT que tiene un conocimiento exhaustivo de cómo hacer páginas web que te puede ayudar en cualquier duda que tengas sobre cómo crear tu página web con hosting. En definitiva, si quieres una página web o estás harto de tu hosting y quieres mover la tuya, hazlo con hostinger, que es la mejor opción del mercado y además tiene un precio absolutamente imbatible. Tienes el link en la descripción. Además, acuérdate de utilizar el Código Inteligencio. Seguimos con el podcast. La Necesidad de Regulación y Acuerdos Internacionales para la IA Así que si lo reducimos a acciones concretas, porque hace un par de meses me invitaron a las Naciones Unidas para dar un discurso sobre el impacto del la AI a. Recuerdo que una de mis diapositivas decía, tenemos que dejar de de reaccionar. Tenemos que empezar a decidir qué queremos que haga la I a porque parece que ahora mismo lo que los gobiernos están haciendo es como oh mierda. Y lo más que ha sacado esto de Grogui XY pueden desnudar a la gente con con prompt. Ahora tenemos que reaccionar. Tenemos que. Indonesia prohibió x antes Twitter en en su territorio por esto, así que están reaccionando algo que ellos mismos acaban de poner sobre la mesa en lugar de decir, Oye, esto es lo que queremos que haga la I a. Simplemente esfuérzate hasta conseguirlo. Oh, pero entonces no puedo, ese es tu problema, no el mío, sabes como eso. ¿Eso es lo que deberíamos hacer, pero de forma práctica, cuál es la solución? ¿Cómo empezamos? ¿Porque veo el punto final al que quieres llegar y es como nosotros los humanos decidiendo qué queremos hacer con la I a y luego haciendo que las empresas lo hagan, pero desde donde estamos ahora, cómo llegamos allí? Esa es. Hablante 1 Una pregunta fantástica y creo que esta es realmente la pregunta más importante en la que todos deberíamos estar pensando. Así que creo que hay un par de formas de pensar en esta pregunta. Desafortunadamente, creo que la primera acción es que debemos de tener la carrera de la a SI, porque la a SI creo va a llegar mucho antes de lo que tardaremos en reformar el Gobierno. Creo que estas cosas se pueden hacer, pero va a llevar más de 2 años, así que lo primero que debemos hacer es evitar que la a SI nos acorte el plazo, así que esto es de acuerdo, si vamos a vamos. Hablante 2 A profundizar en eso. O sea, eso significa detener el desarrollo de la I a cómo hacemos hastaque.es que porque está la parte donde obviamente la I a está curando enfermedades. Mi padre murió de Parkinson, bueno, murió de COVID, pero tenía un parkinson muy avanzado. Le decimos a alguien que fue diagnosticado hoy con Parkinson como. Lo siento, te lo vas a perder porque tenemos que hacer esto bien y luego vas a estar del lado que y luego vas a estar indeciso porque lo estamos deteniendo. Significa que no van a poder conseguir una cura para el Parkinson o podemos ser selectivos, con lo que podemos seguir desarrollando para no ralentizar los beneficios, pero sí ralentizar los riesgos. No todo está en el mismo saco. ¿Cómo es que? Así que hay. Hablante 1 ¿22 partes importantes en esto, la primera parte es para tu padre, sabes? Mi más sentido pésame, pero para ser claros, ya hacemos esto con los medicamentos para el Parkinson, no inyectamos a los pacientes con químicos aleatorios que las compañías inventan, de hecho, retenemos esos medicamentos hasta que son completamente seguros. Esto es exactamente lo que ya hacemos, sería una locura si permitiéramos a cualquier empresa inyectar cualquier químico que se les ocurriera a nuestros pacientes pruebas humanas. ¿Esto sería literalmente como ya sabes, una, una violación de los derechos humanos, experimentación humana, verdad? Así que ya no hacemos. ¿Así que cuando decimos Oh, estamos reteniendo la cura del Parkinson, a Qué demonios te refieres? ¿Es como las empresas dicen estas tonterías, verdad? Y creo que esto es de una mala fe extrema. ¿Esto es lo que están diciendo es deberíamos poder probar nuestro producto en tus ya sabes, tus padres que son mayores y cómo volverlos locos con el contenido basura de Facebook, verdad? ¿Y esto es realmente lo que está pasando, verdad? ¿Pues tengo familiares que enloquecieron por las tonterías y teorías conspirativas que estás empresas promueven, verdad? ¿Quién va a sabes quién es responsable de esto? Ya sabes esto, esta persona ahora está loca. Van a pagar las empresas por eso van a sabes llevarlos a juicio, por eso no nada, así que es muy importante, como no no creerse las tonterías, los beneficios de la I a. ¿Son tan hipotéticos o más hipotéticos que los riesgos? Cuando se trata de la a SI es como la idea que la a, SI cura el cáncer es hipotético, o sea, esto es totalmente hipotético, del mismo modo que ya sabes, ya sabes, e incluso más que los riesgos, porque hay hay muchas formas de llegar al riesgo. Curar el cáncer es en verdad muy difícil, es un blanco muy estrecho y hay que hacer mucho bien, así que es más hipotético que los riesgos, muy claro, así que esa es la primera parte y la segunda parte. Es que un problema fundamental, como ya mencioné al regular la inteligencia artificial. Es que es difusa, no tenemos una teoría de la inteligencia, no sabemos dónde reside el peligro, entonces, que si queremos garantizar que no nos topemos con lo peligroso, tenemos que hacer un círculo amplio a su alrededor. Y ahora este círculo amplio tendrá que contener muchas cosas y muchos indicadores, porque no sabemos cuál es la única cosa verdadera. No es que los flops sean lo verdadero o que algún otro factor sea lo verdad, no sabemos cuál es la cosa verdadera, así que tendremos muchos indicadores. ¿Ya sabes, los flops serán uno de ellos, pero también nos gustaría, ya sabes, la capacidad de reproducir, EH? Ya sabes, la capa. ¿Sabes la duración de la tarea? ¿Sabes la mejora personal? ¿Cosas así, verdad? Así que tendríamos muchas cosas y simplemente y tenemos que dibujarlas de forma bastante conservadora, porque si las dibujamos lo más cerca posible, si como es. Hablante 2 Ilegible. Hablante 1 Lo lo perderemos, etcétera. Así que de hecho tenemos que ser conservadores aquí, así que tenemos que darnos cuenta que esto es realmente difícil. ¿De la misma manera, sabes? A los rusos no les importó un carajo la seguridad laboral cuando construyeron armas nucleares y por eso todavía hay una contaminación nuclear horrible. ¿Sabes en muchos lugares de Rusia, verdad? Eso es como impensable y entonces tenemos que hacer cosas similares. Aquí tienes que ser muy conservador. De hecho, como cuando trabajas con material nuclear, tienes que ser extremadamente conservador y tienes que ser como si buscas como los estándares de seguridad para como trabajar con material nuclear altamente enriquecido es es una locura. Es extremadamente caro, es extremadamente complicado, tiene muchísimos, muchísimos, muchísimos pasos. Es mejor prevenir. Hablante 2 Que curar así y esto es. Hablante 1 Bueno, de hecho es así de arriesgado. Por ejemplo, el material nuclear altamente enriquecido es tan arriesgado que vale la pena. Creo que lo mismo aplica aquí, ahora hay el problema es, por supuesto, la I a la palabra I a es muy amplia, las redes neuronales son una categoría muy amplia de cosas, muchas cosas que no son redes neuronales, como por ejemplo ALFA fol. Obviamente no es una a G I obviamente alfa fol es irrelevante para la a G I verdad quiero decir, si lo miras, ayuda a predecir el plegamiento de protección. Obviamente esto es irrelevante, así que una buena forma, una buena política aquí sería poder tener este amplio círculo en el que si estás lidiando con sabes, capacidad de agencia, autosuperación, este tipo de cosas somos en realidad muy estrictos y sabes monitoreamos con mucho cuidado y no permitimos que nadie lo haga. Y bueno, ya sabes, los servicios de inteligencia del gobierno pues tienen acceso y lo revisan todo lo que sea. ¿Y si estás haciendo, ya sabes, son simulaciones de proteínas, pues genial, no? Ya sabes, adelante con eso. Las redes neuronales no son solo para agentes, son una técnica de propósito general. O sea, es como no prohíbes un lenguaje de programación prohíbes el malware, sabes prohíbes cierta cosa hecha en ese lenguaje de programación. ¿Lo mismo Harías aquí, verdad? O sea, no hay que prohibir todas las redes neuronales. ¿Sería, pues sería una locura, verdad? Un pero deberíamos tener este círculo de como las cosas que son, como p a G I, precursores de a G I que deberían ser prohibidos. ¿Y si tu proyecto está fuera de ese círculo? Quiero decir genial. Y lo bueno es que la mayoría de las aplicaciones científicas están de hecho fuera de ese círculo, al menos actualmente. Así que cuando ves, ya sabes, simulaciones de proteínas o modelado climático o mucho de esto, todo esto está muy fuera de esto. Hablante 2 ¿Está esto empezando a cambiar con la forma en que los modelos se está manejando, por ejemplo, las matemáticas y la ciencia? Esta y luego ha cambiado. Añadir la tecnología de puntos es en los mismos, muy importante aquí, creo. Hablante 1 Que algunas personas, incluyendo las de mi lado del debate, son un un poco demasiado simplistas al respecto, es importante entender que curar el cáncer. Está en el círculo. ¿Es que todos los grandes descubrimientos científicos están en el círculo, por ejemplo? Pues hay muchas cosas útiles que no están en el círculo, pero las grandes cosas sí están en el círculo, no, y así es como funciona, no las consigues gratis. Si quieres curar el cáncer por si al mismo tiempo no arriesgar la extinción de la humanidad, pues eso es realmente difícil. Eso es mucho más complicado que Alpha Folk. Y creo que curar el cáncer pues es algo grandioso. Creo que curar el cáncer y por lo tanto arriesgar la muerte de toda la humanidad, no es ideal. Es decir, esto no es lo que yo quiero. Lo que quiero es que lo hagamos con suficiente seguridad y curemos el cáncer. Y para hacer esto, esto es simplemente muy, muy difícil. No sabemos cómo hacerlo ahora mismo. Requerirá una gobernanza mucho más fuerte, requerirá, pues, una supervisión mucho más estricta y mucho más desarrollo tecnológico en seguridad y comprensión reales, lo que podría llevar décadas. Hablante 2 ¿Aterricemos esto? Imagina que hoy logramos este acuerdo a nivel mundial, no, porque eso es algo más muy importante. Tiene que ser un acuerdo global, no solo uno. Si Europa decide eso no le va a decir a Estados Unidos y a China que lo apliquen, porque a ellos no les va a importar un carajo, así que no lo harán. Simplemente tenemos que ponernos todos de acuerdo en algo, pero digamos que esta parte difícil, que creo que para mí, honestamente, es de lo que soy más pesimista. Creo que eso es lo que va a terminar mal porque no vamos a poder ponernos de acuerdo en eso, pero imagina que lo conseguimos. Entonces la primera medida es como detengan la I a, o sea, cualquier cosa nueva que que se desarrolle en inteligencia artificial. Por ejemplo, si chat GPT quiere añadir proyectos versión 2.0 eso no es ningún problema, pero si chat GPT va a va a entrenar un GPT 6. Tiene que pasar por un comité que se encargue de verificar si es posible lanzarlo o no. ¿Pero aquí viene mi pregunta, para poder evaluar ese producto tiene que estar construido? Hablante 3 Así. Hablante 2 ¿Que la a G I ya está ahí, sí, así es exactamente, entonces, cómo lo manejamos? Incentivar la Seguridad en el Desarrollo de Modelos de IA Simplemente no regulamos el despliegue, sino que regulamos el desarrollo es algo muy diferente. Esto es distinto de muchos otros ámbitos, pero no tan distinto. Por ejemplo, es ilegal intentar construir un arma nuclear, no solo construir una es un. Si intentas construir un arma nuclear y no funciona, eso no significa que te salgas con la tuya. Eso sigue siendo un crimen, sabes incluso intentar hacer eso. Lo mismo debe suceder aquí. El desarrollo de estos sistemas es lo que está regulado, no su despliegue ni tampoco las pruebas, así que no dejamos que los laboratorios hagan lo que quieran porque, en cambio, antes de que siquiera empieces a desarrollar GPT 6. Tendrás que tendrías que, por ejemplo, presentar un caso de seguridad proactivo. Esto ya es así. Por ejemplo, para los reactores nucleares, antes de que puedas construir cualquier cosa relacionada con un reactor nuclear, debes redactar un informe masivo que demuestre y pruebe que tu sistema es completamente seguro. Esto es revisado por reguladores gubernamentales de forma extremadamente minuciosa, y es como si la ingeniería de seguridad tuviera una muy, muy larga historia aquí de cómo se hace esto. O sea, lo lo modelan literalmente hasta el último tornillo, o sea, literalmente las centrales nucleares modernas. Tienen modelos computarizados de cada cada tornillo en toda la planta de energía para asegurarse de que nada pueda salir mal. Este es el nivel mínimo de seguridad que deberíamos tener para la a SI, pero por lo que. Hablante 2 ¿Por lo que entiendo sobre la I a y creo que fuiste incluso tú, como en 2023 en algún canal de noticias en en los Estados Unidos, que dijiste algo sobre que estamos tirando una moneda cada vez que entrenamos un modelo fuiste, fuiste tú o k? Lo recuerdo bien, podía haber sido yo. Hablante 1 Suena a algo que yo había dicho, yo creo. Hablante 2 Que sí, creo que fuiste tú. ¿En fin, la cuestión es que, según tengo entendido, cuando entrenas un modelo de y a no eres consciente de sus capacidades hasta que está entrenado, entonces cómo puedes evitar lo que va a ser capaz de hacer para asegurarte de que encaje en el círculo y que sea algo que puedas lanzar? Porque no hay un incremento en el riesgo. Si no sabes lo que va a hacer, a lo que va a hacer hasta que lo entrenas, entonces yo yo tengo la sensación de que en el aspecto técnico no podemos evitar lo que será. GPT 6. Hasta que GPT 6. Esté entrenado. No sé si ellos hacen si ustedes en los laboratorios hacen como un pre modelo del que obtienen una vista previa de lo que será a menor escala, o o si es literalmente como porque he visto algunos casos como amie de Google, que era una I a para medicina se sorprendieron cuando se reveló que era mejor que los médicos. Había sido entrenado para asistir a los médicos. Y cuando la lanzaron fue como mierda. Es mejor que los médicos. Es como cuando entrenas a un modelo de I a hay como un momento en el que no sabes absolutamente nada hasta que se revela el resultado. ¿Existe alguna forma técnica de poder llevar a cabo lo que estás proponiendo? Creo que fantástico. Hablante 1 ¿Así que esta es exactamente la pregunta correcta que haces? ¿Así que imagina así, mañana fueras el regulador nuclear YY yo dije, voy a construir un reactor nuclear? ¿Y tú preguntas, Okay, dónde está la especificación de seguridad? Y yo digo, bueno, no sé. Y tengo que construirlo primero y ver si se derrite, dirías absolutamente no, como me estás tomando el pelo vuelve cuando tengas un informe de seguridad y como bueno no sabemos cómo hacer eso y yo okay, ese es tu problema, así que la respuesta es a esta pregunta es, ese es el problema de la empresa, si no puedes probar que tu I a o ya sabes al menos presentar un caso lo suficientemente sólido, pues va a pasar. Es así de simple, así que hay un gran incentivo aquí donde actualmente no tenemos estas técnicas porque nadie está incentivado a desarrollarlas. ¿Imagina y todas las grandes empresas, todas las grandes tecnológicas, todos los ingenieros de las compañías multimillonarias, sabes los que ganan 10000000 USD? Tuvieran como objetivo principal, como sabes, como uh samal man dijo Código Rojo, desarrollar métodos para predecir lo que las I a pueden hacer. Creo que mucho pasaría en un año o 2, pero no tenemos ese incentivo y así es como lo creas, es, es. Hablante 2 ¿Curioso como la narrativa nos llevas a creer algo que es tan fundamental como si dijeran si si no puedes demostrarlo no puedes lograrlo, no? Así que invertirán en ello y encontrarán la forma de conseguirlo. Así es como evoluciona la tecnología. Hablante 1 Ese es el aspecto positivo del capitalismo. No me encantaría que todas estas todas estas empresas, pues se apuñaran entre sí para desarrollar el mejor método para predecir cuán seguro es un modelo. Esto sería genial. Me encantaría que todos ellos sabes se robaran los ingenieros unos a otros para obtener el mejor modelo, la mejor forma de predecir cuán seguro es algo así puedan puedan hacer el mejor informe de seguridad al Gobierno. Esto es genial, así es como debería funcionar la regulación gubernamental. Eso es lo que hicimos con la energía nuclear, por ejemplo. La ingeniería de seguridad es en la que modelas cada tornillo se desarrolló para los reactores nucleares. Por eso se desarrollaron las técnicas, porque el Gobierno dijo, tienen que demostrar que esto es seguro o no. Les permitiremos construirlo y así los científicos se reunieron y realmente desarrollaron los métodos, así que creo que esto es esto. Sería estupendo. Me encantaría ver a todas las personas trabajando en esto y creo que ellos podrían desarrollar muchísimo, mucho más de lo que yo jamás podría. Creo que harían métodos geniales aquí. Hablante 2 Si este sistema de este tipo de de regulación, donde decimos no puedes construirlo hasta que demuestres que es seguro, y luego cuando demuestres que es seguro, entonces te dejaremos construirlo definitivamente. Frenará el desarrollo de la I a que hará que todo sea mucho más lento. Ese es ese es el precio que pagas por la seguridad, básicamente también. Hablante 1 Frena la ley que nos impide inyectar, pues a los pacientes con lo que nos dé la gana. ¿Y también frena, sabes el desarrollo nuclear que no se nos permite instalar reactores nucleares se fundan, pero también significa que ningún reactor nuclear se ha fundido y sabes, ha ha hecho Tokio inhabitable, verdad? ¿Es que hay un riesgo y una contrapartida, no crees? Obviamente no hay que hacer esto con cada tecnología, no, o sea, si sacas un nuevo este puto rascador de espalda, a quién le importa, no sabes, no, no hace falta hacer un análisis de seguridad para eso ya tenemos esto, lo que ya tenemos son las diferentes categorías de productos o simplemente distintos niveles de riesgo. Si estás construyendo un reactor nuclear, eso es algo especial. Y te sometemos a estándares especiales y la I a agéntica de propósito general también es una categoría especial. No todas las I a no todas las redes neuronales están en esta categoría, pero si quieres crear GPT 7 o lo que sea, eso sí, entra en esa categoría y tendrás que pagar el precio y construir una a SI segura. Es mucho, mucho, mucho, mucho, mucho, mucho, mucho más costoso que construir una a SI cualquiera y alguien tiene que asumir este coste, y yo simplemente creo que deberíamos asumir este coste porque no, no quiero una i a cualquiera quiero una I a que sea buena. Que ayude a la gente y que haga del mundo un lugar mejor. La Falta de Acción de los Líderes de IA y el Poder del Cabildeo Y si la gente intenta construir una a SI cualquiera deberíamos ilegalizarlo porque eso es malo y si quieren hacer uno seguro, quiero decir genial que la gente lo haga, que lo hagan. Estaría súper feliz de que todos estos laboratorios trabajaran en cómo hacerlo de forma segura. Creo que será fantástico, sí. Hablante 2 Hace poco elon musk, que estuvo en un podcast y allí comentó que le gustaría detenerse. Le gustaría reducir el ritmo, pero el mercado no se lo está permitiendo. Hace unos días o semanas, en Davos de MISA, Sabis y Dario Amodey, en una charla en una entrevista que tuvieron, dijeron que les gustaría que fuera más lento y que es posible que no ocurra. Esto significa que 3 de los 5 laboratorios más importantes del mundo están diciendo el director ejecutivo afirmando que queremos hacerlo más lento, pero no podemos. ¿Qué es lo que está aquí? ¿Está ocurriendo? ¿Está mintiendo frente a la Cámara o en realidad no desean que sea más lento? ¿O es que no se comunicaron entre si? Bueno, la. Hablante 1 Primera cosa es que, por supuesto, no me gusta especular sobre lo que pasa en la mente de otras personas. ¿No tengo ni idea de lo que ocurre en la cabeza de elon musk, no sé lo que pasa en la cabeza de darío, no sé lo que pasa en la cabeza de demis, he conocido a Darío y a Demis, antes no he conocido a elon y así Sabes, pero no diría que los conozco, no sé lo que pasa dentro de sus cabezas, quizás lo creen, quizás mienten, quiero decir, puedes adoptar una postura de confrontación? La cuestión es que, en mi opinión, si te encuentras en un ambiente hostil, si estás ya sabes, en entornos de propaganda como este. ¿No tiene importancia lo que la gente realmente cree, simplemente no importa, porque lo que verdaderamente cuenta son las acciones, hay algo que la gente dice mucho, como por ejemplo Darío o Denis o lo que sea, que no pueden parar, que no pudieron, sabes evitarlo? ¿Y yo digo, de qué carajo estás hablando? Estas son algunas de las personas más ricas, carismáticas, poderosas y mejor conectadas del mundo. Claro que podrían hacer algo como si mañana samal man dejara open AI AI y se dedicará por completo a usar su red. Su dinero, todo lo que tiene para crear una pausa global, usaría todos sus favores políticos para lograrlo. Imagina que hiciera esto mañana. ¿Crees que podría hacer algo? ¿Cómo? Hablante 2 Eh. Hablante 1 Eh, obviamente, así que desde mi perspectiva es que simplemente no quieren. Lo que realmente están diciendo es o no podemos hacer una pausa sin que yo pierda mi trabajo. Y esto es. Creo que esto es probablemente cierto. Creo que si demi, si pusiera todos sus recursos en crear una pausa, perdería su trabajo. Creo que lo despedirían como CE o de deep mind, y ese es un precio que no está dispuesto a pagar. Obviamente, pues estas son personas ricas, poderosas y capaces. ¿Todas estas personas, pues son gente extremadamente impresionante, claro, si se lo propusieran, podrían hacer algo, sabes? ¿Podrían hacerlo por sí mismos? No lo sé, no lo sé, quizás sí, quizás no, pero obviamente, pues ellos podrían mover la aguja como más de lo que básicamente cualquier otro podría. ¿Te imaginas cuánto poder, como si demis pusiera todo su poder detrás de esto? Cuánto eso cambiaría la la. Hablante 2 Influencia increíble. Hablante 1 Pero. Hablante 2 Personas como benji y Hilton, ellos sí lo hicieron. Por ejemplo, Hilton abandonó Google para poder expresarse libremente y apareció en los canales de de noticias de televisión diciendo algo así como, oigan, vamos a morir, hagamos, hagamos algo al respecto. Con esta situación, aún así no pasó nada. Y si me hubieras preguntado antes de que eso de que eso pasara, probablemente habría pensado o si benki y Hilton se juntan y salen a hablar de ello, la gente va a escuchar, a nadie le importa un carajo, así que tengo la sensación de que incluso si de mi saliera y se volcara por completo en la seguridad y dijera. Que tengamos esto, esto es una locura. Nos olvidaríamos de Demis en 2 semanas y tengo el temor de que los grupos de presión sean demasiado poderosos. YY claro, eso es se reduce a que lo único que podemos hacer es regular y tenemos que llegar a que los gobiernos tomen decisiones. Así que la solución a la situación no es tan difícil como explicaste es trazar ese círculo y decir sí sabes, vete a la mierda. Si vas a hacerlo, ese es tu puto problema, no el mío. Pero el mayor problema que veo es lograr que los gobiernos se pongan de acuerdo en hacer eso. ¿Cómo vamos a hacer esto? Así que hay. Hablante 1 Varias cosas aquí de nuevo también, donde obviamente, la forma en que estas personas contribuirán es presionando a los Gobiernos. Y sí, creo que vencio y Hilton marcaron una gran diferencia. Podría decirte que hay un mundo pre y post Hilton el mundo como alguien que ha estado haciendo activismo. Cambió muchísimo cuando uno de los neuro ganadores del Premio Nobel por inventar la red neuronal dijo esto. Esto cambio por completo la forma en que muchas redes, incluyendo grandes canales de noticias, redes de relaciones públicas y Davos y demás, hablaron de este tema. Así que yo, yo. Hablante 2 Estoy de acuerdo en que ha habido un cambio, no sé si ha sido, no estoy diciendo. Hablante 1 Que sea suficiente de nuevo. Nunca. Nunca dije que sabes, digamos si demis o sabes quien quiera que lo hiciera. Eso arreglaría todo. Pero claro, marcaría una diferencia. Así que cuando esta gente dice que no hay nada que puedan hacer, esto es falso. Esto es completamente. Podrían hacerlo solos, no lo sé, pero pues obviamente pueden hacer algo. ¿Obviamente Hilton puede y de hecho hizo algo y que Dios lo bendiga por ello, verdad? Creo que hizo un trabajo increíble aquí, dicho es un sacrificio. Hablante 2 Increíble, sacrificios, increíble. Hablante 1 Ya sabes, sí, porque ha sido. Hablante 2 Descuidado de y creo que es ahora está siendo ignorado por parte de los medios. También no está apareciendo tanto y como que la gente está perdiendo interés en el. Sí que creo que que. Hablante 1 Hilton es una persona muy impresionante y de hecho también lo es en muchos sentidos. Creo que que mucho de lo que hicieron fue muy impresionante, pero creo que hay mucho aquí donde también son académicos, no son personas de la política de demis Darío y SAM si lo son. Así que de verdad creo que si intentaran negociar un tratado internacional podrían lograr muchísimo. ¿Son negociadores políticos muy astutos, verdad? Y eso es justo lo que nos está faltando. ¿La cosa es que sabes, estamos atascados de nuevo en no creer en el genio técnico que hiltony y vengio sin duda lo son, ambos son genios técnicos, pero no es por eso que estamos, estamos atascados por negociaciones astutas por la política, por poderes organizacionales, sabes cosas así? Así que creo que hay mucho que se puede hacer aquí y el cuello de botella pues está mucho más en este eje, es decir, no estamos. Atascados por el coeficiente intelectual, o sea, el coeficiente intelectual no es el cuello de botella, pues aquí el cuello de botella es organizar a la gente, contactar a los políticos y sabes construir coaliciones. Y no estoy diciendo que esto sea fácil. Este es un problema muy difícil y sabes, especialmente a nivel internacional, dónde se convierte en un problema de diplomacia, se convierte en un se convierte en un problema de desarme mutuo, se convierte en un problema de confiar, pero verificar para ser claros, es posible. Ha ocurrido antes. Hemos tenido regímenes internacionales, por ejemplo en lo nuclear, pero también en armas biológicas. O la capa de ozono es otro gran ejemplo. ¿Ha ocurrido antes, no estoy diciendo que sea fácil, Dios no, y esta es sin duda la más difícil que hemos tenido, pero es lo que se necesita, verdad? Es lo que se necesita. ¿Si realmente tenemos que trabajar con China y de verdad creo que es posible, no? ¿Si xi Jinping mañana dijera no más a SI creo que no habría más a SI en China, creo que creo que si decidiera hacer eso lo haría, sabes? ¿Y creo que y creo que que es posible razonar, sabes? Yo nunca he conocido al señor Jimping en persona, pero espero que sea una persona con la que se pueda dialogar diplomáticamente. ¿No digo que sea fácil, no? Y él. Hablante 2 Puede también forzar la mano de Estados Unidos, porque entonces ahí todos estos puedes poner aranceles y diferentes sanciones si sigues desarrollando la tecnología, como hacemos con la nuclear. ¿Si un país la desarrolla, le ponemos sanciones para para desincentivarlo? Sí, creo que esto. Hablante 1 Es algo donde también tengo mucha esperanza, no en las potencias medianas, así que no ni Estados Unidos ni China, pues formen coaliciones en torno, pues, a este tipo de cosas, por ejemplo, Europa y otras potencias medianas creando tratados multilaterales. El Impacto de Control AI en la Diplomacia y Acción Ciudadana ¿Dónde impondrán sanciones a los países que sigan desarrollando? Ya sabes, ya sea Estados Unidos, China o lo que sea, me encantaría ver a pues a Estados Unidos liderar, pues, una coalición así. Creo que Estados Unidos, como sabes, defensor del mundo libre, históricamente al menos tiene una gran oportunidad aquí para ser quiénes la lideren, y creo que así es como suelen ocurrir estos tratados, no sabes, estos acuerdos suelen ocurrir, creo que absolutamente hay un mundo donde sabes, digamos potencias medianas o Europa, sabes, empiezan por a mover las cosas un poco, Estados Unidos se suma y luego presionar a China, lograr que China se una o viceversa, esas cosas si pasan, es que hay algo que la gente simplemente dice como bueno. Obviamente nunca podremos lograr que China se una o obviamente nunca podremos lograr esto. ¿Es tan obvio? A mí no me parece nada obvio, pues porque de nuevo, si hay algo que he aprendido hablando con políticos, aparte de que la mayoría son gente normal, es que el principal cuello de botella que encontré al hablar con POP hay una historia graciosa con control. Ahí, durante el último año hemos estado informando sistemáticamente a políticos en el Reino Unido sobre los riesgos de extinción por la superinteligencia, así que muy inequívoco y haciendo que firmen nuestra declaración y pidiendo una regulación vinculante. Hablante 2 Y de hecho, está funcionando. Funcionó. Es así que cuando. Hablante 1 ¿Empezamos a a hacer esto, estábamos cada persona con la que hablé que trabajaba en política, dijo, Oh, eso es imposible, como ni lo intentes, te van a echar a carcajadas de la sala, sabes? Tienes que quitar la palabra extinción de tu declaración, es demasiado fuerte, quizás consigas que una o 2 personas locas la firmen, pero nunca conseguirás un diputado. Ahora tenemos más de 100 parlamentarios que nos apoyan, incluyendo, Sabes, Lores y diputados de todos los partidos, así que esto es un no solo uno, sino todos los partidos. Uh, y seguimos consiguiendo más y nuestro. El pollo de botella para conseguir más es cuántas reuniones podemos tener como de una sola sesión informativa de 45 minutos 2/3 apoyan nuestra campaña después de una sola sesión informativa de 45 minutos. Y lo principal, pues la respuesta que recibimos es de la gente, es que nunca habían oído hablar de esto. Es como que ellos simplemente como que no sabían o como que lo escucharon una vez pero no lo pensaron y entonces nosotros como que pues ya sabes, jóvenes educados y amables nos sentamos y simplemente les explicamos. Respondemos todas sus preguntas durante 45 minutos. Muchos de ellos tienen esta respuesta de simplemente como de agradecimiento. Como no, oh Dios, gracias por decírmelo. No sabía que teníamos que hacer algo al respecto como de nuevo. O sea, solo gente normal, o sea, son solo gente normal. Creo que al. Hablante 2 Principio de la conversación, empezamos hablando de eso, como diciendo que todo el mundo está usando chat GPT, pero no todos han pensado en las consecuencias de ello. ¿Yo creo que el problema es probablemente como espacios como este, donde llegamos a la gente y explicamos, no habría mucha gente en la audiencia diciendo Uy, qué carajo? ¿Y dirían, bueno, déjame ver de qué se trata entonces? Cuando se informen se formarán una opinión, quizás en contra, quizás a favor, pero pero vamos, vamos a ir más despacio, que es control e AI sí estamos. Hablante 1 ¿En el Reino Unido ahora mismo y nos expandimos a Estados Unidos también, pero qué qué es? Hablante 2 ¿Entonces, qué? ¿Qué es una organización? Somos una. Hablante 1 Organización de defensa sin fines de lucro. ¿Eh, abogando por sabes, EH? ¿La regulación multilateral, sabes? Y la prohibición del desarrollo de la super inteligencia. Hablante 2 Entonces lo que haces en este momento es hablas con los políticos, les explicas la situación y luego les ofreces una plataforma que ellos puedan apoyar en caso de que estén de acuerdo con tu idea. Exacto así. Hablante 1 Que tenemos un comunicado con más de 100 apoyos. En nuestra web también hacemos labor de prensa, sabes la Sabes hacer divulgación al público en general y cosas así. Y también recientemente han comenzado a colaborar en Alemania y Canadá y se están expandiendo a otros países con la misma iniciativa porque hemos tenido un éxito realmente enorme y simplemente enorme. Al interactuar, cortés Irrespetuosamente con los políticos y explicarles el problema. Hemos descubierto que ha sido extremadamente exitoso. Hemos tenido muchas reuniones también en Estados Unidos con de nuevo Bipartidistas, sabes miembros del Congreso y senadores de ambos lados de ambos partidos, porque sobre yo yo quiero que te enteres antes sobre el avistamiento. Lo que yo realmente quiero es que la gente decida si todos supieran del problema y lo hubieran pensado a fondo y aún así decidieran en mi contra. Creo que este sería un mundo mucho mejor que el mundo en el que vivimos actualmente. Pero empíricamente, si le cuentas esto a la gente normal, no lo quieren. ¿Y la mayoría de los políticos son, sí, gente normal, verdad? Intentan hacer lo correcto, si les dices es esto, dicen qué demonios, claro que no, así que en este sentido, nuestro papel no es necesariamente, ya sabes, persuadir o engañar a nadie, ni presionar a nadie en particular. Es muy difícil convencer a alguien de que algo no le conviene. Es bastante fácil convencer a a alguien de algo que le interesa, y es verdad, si hay una gran ventaja que tenemos sobre el lobby de la I a es que lo que decimos es verdad y estamos intentando ayudar, entonces solo solo lo explicamos, no intentamos engañarlos, no intentamos manipularlos, solo lo venderles la idea, no estamos intentando vender nada. Solo estamos aquí para explicar y esto es básicamente siempre suficiente, porque ellos normalmente. Hablante 2 ¿Suelen tomar la decisión correcta porque la evidencia es obvia, no? Sí la evidencia. Hablante 1 De hecho, es verdad, nunca es 100%, pero hay que tomar decisiones bajo incertidumbre y especialmente en un régimen de FUD. ¿Siempre habrá incertidumbre, sabes? Siempre existe alguna probabilidad de que funcione o no funcione. Eso no es razón para no tomar una decisión. ¿Ellos y esto es lo que pienso, hay tanta presión, sabes? Aquí hay otra cosa, sabes, aquí hay algo que sabes de mi SAM, etcétera. ¿Podrían hacer dejar de presionar al Gobierno contra la regulación, qué tal eso? Estas empresas gastan millones cientos de millones de dólares en presionar para evitar cualquier tipo de regulación. ¿Qué tal si simplemente dejan de hacer eso son los CE o seguramente podrían detenerlo? Y la respuesta es claro, no, porque no es lo que quieren ellos, ya sabes, así que hay una cantidad masiva de cabildeo, niveles increíbles de cabildeo presionando. ¿Y a veces la gente sabes, mira, control, ahí somos solo 12 personas, sabes? Y ya hemos logrado tanto siendo apenas 12 personas, sí, sí, sí, es como si fuéramos una organización muy pequeña con como y éramos, pues sabes, la mitad de grandes hace un año no es, o sea, éramos, sabes como 7 personas o algo así hace un año y sabes con mucho menos dinero que cualquiera de estas organizaciones y aún así podemos hacer tanto y creo que la razón es esta en gran medida es que es muy, muy caro presionar a alguien para que haga algo en contra de sus propios intereses, es muy, muy, es mucho más difícil mentirle a alguien que decir la verdad, solo di la verdad y. Hablante 2 ¿Y ustedes proponen un curso de acción también, como cuando se registran o es solo darles la información para que hagan algo con ella o les proponen qué deben hacer? También hacemos. Hablante 1 Mucho de esto. Nuestro enfoque principal es de nuevo, la primera fase es construir coaliciones, construir entendimiento, formar grupos y a medida que avanzamos, tenemos sugerencias concretas sobre cómo podrían implementar estas diversas cosas, para lo que debe hacerse muchas de estas cosas de las que hemos hablado. Como ya sabes el círculo, necesitas como si no puedes demostrarlo. Pues mala suerte, ya sabes, Eh, un. ¿Su lucramiento multilateral sabes entre diferentes países? Así, por ejemplo, algo que nosotros apoyamos con mucha fuerza es lo que se denomina un acuerdo de tipo condicional. Lo que esto significa es que la aplicación de este tratamiento, si lo llegas a firmar para, por ejemplo, regular la I a no, tendrás que llevarlo a cabo hasta que otros países también lo hayan firmado ya hasta alcanzar un determinado umbral. Como por ejemplo que Estados Unidos lo firme, pero que solo sea vinculante si China también lo firma o viceversa, así que no hay ningún inconveniente en firmarlo. Esto ya resuelve muchos problemas de teoría exactamente. Hablante 2 Muchos problemas de. Hablante 1 Teoría de juegos, se resuelven de esta forma donde puedes hacerlo unilateralmente y no te causa ningún daño. ¿Y si ambos lo hacen genial, sabes? Entonces todos tienen un buen resultado, así que es como un Twitter. Hablante 2 No, no hay problema en decir que te Twitter. Perdón, sí, una de estas plataformas. Así que básicamente tú tú solo dices que te gusta, pero hasta que ellos no digan que a ellos también les gusta, no hay contacto, así que no hay ningún problema en intentar. Este es el tipo de. Hablante 1 Cosas que decimos, hay muchas dificultades aquí, pero digamos, pues como son manejables. Son difíciles, pero son manejables, como cuando digo que estamos limitados solo por cuántas reuniones podemos tener. ¿O sea, a veces cuando hablo con, digamos, lobistas o gente así y les digo cuántas reuniones hemos tenido? ¿Y ellos me responden, cómo hiciste esto? ¿Tienes alguna conexión secreta o donas? Y yo no solo pregunto amablemente, solo enviamos correos amables y pedimos amablemente y los llamamos y les decimos, hola, nos gustaría hablarles sobre este tema que nos importa. ¿Y así de simple y para mí esto es lo que debería ser la acción cívica, así que saben para quiénes estén escuchando esto, también pueden ser parte de esto, sabes? ¿En control? Ahí hemos creado herramientas para que los ciudadanos normales también contacten al legislador para pedirles que se preocupen por estos asuntos, preguntar sobre estos temas para hablar con nosotros con control. Ahí estamos contentos. Muchas de nuestras reuniones también han sido gracias a que gente de Estados Unidos y el Reino Unido contactó a los representantes diciéndoles que hablaran con control ahí sobre estos temas. Así que esto es algo grande y sencillo que cualquiera puede hacer. Hoy hemos tenido más de 100000 mensajes enviados a legisladores de Estados Unidos gracias a personas y voluntarios que usan nuestras herramientas en controli.com y por les da las plantillas. Hablante 2 Y todo eso les damos plantillas. Hablante 1 Y útiles lo tenemos todo preparado es realmente fácil de hacer, si quieres hacer algo pues puedes contactarnos. Estaremos encantados de ayudar. ¿Queremos que esto sea un movimiento cívico? Sí, pues yo sí creo en en la democracia. Creo que en Occidente tenemos muchos, muchos problemas y nuestras democracias están debilitadas, pues, pero aún vivimos en una democracia. He hablado con políticos en Estados Unidos, el Reino Unido y otros países y de nuevo no es perfecto, pero sí les importa. Recuerdo una vez que hablé con alguien que trabajaba en la oficina del representante de Estados Unidos. Y Sabes, siempre te dicen llama a tu representante, esa es la frase que siempre usan. ¿Y le pregunté, bueno, eso realmente funciona y él me dijo, pues bueno, sabes, alguien contestará, tenemos personal para asegurarnos de que atendamos y si por ejemplo llama una o 2 personas, sabes? ¿Quizás lo anotemos, quizás no, si llaman 5 personas ya es una llamada que se toma en cuenta, si llaman 10 personas, el senador se enterará y yo 10, en serio? Eso es lo que se necesita 10 personas para que el senador lo tenga en su escritorio. ¿Eso es algo extremadamente factible y estas son el tipo de cosas, pues a lo que me refiero, verdad? O sea, esto es algo extremadamente factible. Sabes, por cierto, si si si algunos de los oyentes están en hawaii, necesitamos más gente de hawaii que llame Asus representantes uno de los Estados que están más rezagados, así que hay mucho que se puede hacer aquí, donde muchos de nuestros políticos nunca reciben ningún tipo de participación. Hay algo que he visto muchas, muchas veces hablando con políticos, no es que no quieran hacer algo, es que a Menudo les grita todo el mundo y ellos simplemente dicen, hey, como sea. ¿Sabes? Simplemente no saben, no les importa, están demasiado ocupados y lo que sea. Y el simple hecho de obtener un compromiso amable, educado y bueno de los representantes de sus de sus electores presionándolos sobre este tema marca una gran diferencia. ¿Realmente sí hace una diferencia, no, no estoy siendo idealista, sabes? Empíricamente tenemos los datos, podemos ver que sí hace una diferencia. Así que hay cosas que los ciudadanos de a pie pueden hacer. Hoy también hay más que se puede hacer, incluso más que eso. Recientemente, pues he estado dirigiendo un grupo de voluntarios para gente que quiere hacer un poco más, que se llama TORCH Better. Si alguien quiere echarle un vistazo allí, la gente se compromete a dedicar al menos 2 horas a la semana intentando ayudar con estos problemas, llevando a cabo sus proyectos relacionados con, ya sabes, ayudar con los riesgos de la I a a construir una mejor, construir una mejor democracia y pus y cosas así. Si alguien quiere echarle un vistazo, torch better punto community es un sí, dejaremos los. Hablante 2 Enlaces abajo para que los revisen sí requiere un compromiso. Hablante 1 Un poco mayor es para gente que de verdad quiere hacer un poco más y si solo tienes 5 minutos y de verdad quieres hacer algo pero no tienes mucho tiempo, también tenemos algo para eso. Se llama Microcomit Microcomit punto I o puedes ir ahora mismo registrarte y cada semana te enviamos un par de cosas sencillas que puedes hacer en menos de 5 minutos para marcar la diferencia. Ya sabes, enviar un correo o ya sabes leer algo, darnos tu opinión, cosas muy sencillas. ¿Sí que realmente queremos tener este compromiso para cada nivel de participación, como una especie de sabes como una curva, sabes tienes 5 minutos, no te preocupes, tenemos algo para ti, quieres dedicar, sabes un par de horas? Sabes, aquí tienes cómo puedes marcar la diferencia. ¿Quieres trabajar a tiempo completo? ¿Postúlate a control ahí sabes? Así que así es como me gustaría que se viera un ecosistema cívico saludable y estamos tratando de construirlo, al menos en la I a. Me gustaría mucho en el futuro ir más allá de la I a para otros temas también, pero este es claro en el que nos enfocamos ahora nuestro. Hablante 2 Primer y principal enfoque ahora connor. ¿Cuánto tiempo exactamente nos queda antes de que sea demasiado tarde? La Urgencia de la Acción Política ante el Riesgo de la IA No lo. Hablante 1 Sé, ni siquiera creo que lleguemos a saberlo cuando ocurra. Creo que personalmente parto de la suposición de que esto ocurrirá en los próximos 2 o 3 años. Un no hay ninguna garantía de que esto sea así. Diría que quizás un 30, quizás un 50% de probabilidad en los próximos 2 años, lo cual ya es bastante, bastante malo. Podría ser en 2030, podría ser incluso después de eso, pero me sorprendería mucho. Me sorprendería muchísimo si fuera más allá de 10 años y si es así, puedes tirarme un pastel en la cara. ¿Saldré y lo aceptaré, quiero decir, estaría feliz, sabes? Eso está bien, pero lo que espero es que lleguemos a un punto de no retorno, incluso antes de alcanzar la a G y creo que ya estamos muy cerca de eso. Lo que quiero decir con eso es que en un punto en el que la I a está, como dices, tan integrada en nuestra economía. ¿Las empresas tienen tanto poder? El cabildeo es tan potente que simplemente no hay nada que podamos hacer. Es que incluso es demasiado caótico, el Gobierno está demasiado desempoderado, hay demasiado dinero, hay demasiado cabildeo, su código abierto está demasiado distribuido, y es que aunque la a G I no exista ahora es imposible evitar que llegue a existir. Creo que estamos cerca de esto, creo que estamos como mucho a uno o 2 años de que esto ocurra. Eh, podría equivocarme. Espero equivocarme. Me he pues equivocado muchas veces en el pasado. Espero equivocarme de nuevo. Esa es la impresión que me da. Puede que tengas. Hablante 2 ¿Razón? Si creo que recientemente, debido al podcast, yo sabes. Obviamente cuando sabemos que vienes hacemos una investigación y profundizamos en el tema. También hace poco tuvimos a Roman Yampolsky, quien tiene una visión como muy similar a la tuya. Tuvimos a otras personas hablando sobre los riesgos de la I a. Y eso y eso me hizo siempre que he sido muy crítico, pero siempre me he enfocado más en riesgos más tangibles, como el empleo, como los deepfakes y todo eso. Pero, pero ustedes hablar con ustedes y al mismo tiempo preparar este podcast me hizo profundizar en ello. Bueno, a lo mejor es cierto que el riesgo existencial es mucho más urgente incluso que el riesgo de del mercado laboral, pero la cuestión es que es tan sencillo y tan obvio. Está claro, nada, que es ridículo que no estemos haciendo nada al respecto. YY creo que este es como mi punto principal sobre todo esto. El problema es que veo que todo siempre termina en el punto donde se trata de lograr que los gobiernos se pongan de acuerdo para hacer algo. ¿Y eso me parece extremadamente difícil, no? De hecho, creo que esto me resulta más complicado que desarrollar una inteligencia artificial general, así que así que básicamente para mí estoy muy pesimista al respecto y estoy enojado conmigo mismo por serlo, pero pero al mismo tiempo tengo la sensación de que. Aunque sea muy pesimista al respecto, no podemos simplemente dejar de intentarlo. Tenemos que hacer algo al respecto. Así que nunca me cansaré de hablar sobre los riesgos de la inteligencia artificial a nuestra manera, con la influencia que podemos ejercer y afortunadamente, gracias al alcance que estamos teniendo, estamos empezando a dialogar con el Gobierno español y otras entidades. Por eso no voy a parar. En cada una de las conferencias y el año pasado di más de 200, hablé de de los riesgos de la I a y creo que es hora de que empecemos a mostrar a más personas la realidad de que esto podría suceder y que no es una cuestión de. Creo que Tristán Harris lo dijo. Él dijo que si fueras a subirte a un avión y el piloto te dijera que hay un 10% de posibilidades de que el avión explote, simplemente subirías a ese avión. ¿Ustedes no lo harían? ¿No? Así que que esto es exactamente lo mismo. Ustedes, los que construyen la inteligencia artificial, los que trabajan en la creación de las cosas que usamos hoy en día en nuestro trabajo, nos están diciendo, oigan, tengan cuidado, esto se puede salir de control y nosotros seguimos diciendo sí, como sea saben y seguimos adelante. Yo creo que eso es algo, que el problema es que la gente ni siquiera se toma el tiempo de pensar y solo le pido a la gente, después de de ver este podcast, que reflexionen sobre esto y luego tomen una decisión sobre lo que quieren hacer. ¿Si aún piensan que no, eso es una mierda, pues está bien, o sea, ya veremos, Eh? Pero si crees que hay una posibilidad de que esto se descontrole, simplemente vota por alguien a quien de verdad le importe, porque a eso se reduce todo. Y me cabía muchísimo que en España en las últimas elecciones regionales y en todas las elecciones que hemos tenido muy recientemente en los últimos 2. Años ningún político tuviera absolutamente nada sobre la I a en su programa, así que creo que solo tenemos que que empezar a elegir gente que sea consciente de que hay una situación que hay que manejar de una puta vez y luego desde ahí quizás lleguemos a un punto mejor. En fin, muchísimas gracias por tu tiempo. Ha sido increíble. Para mí ha sido una victoria personal absoluta porque como dije cuando empecé en la I a, fuiste una de las primeras fuentes de información para mí, así que para mí era algo personal, traerte al podcast y aprecio mucho que hayas viajado a Barcelona para esto. Muchísimo, muchísimo por haberme. Hablante 1 Invitado ha sido un auténtico placer.