Superintelligence : plongée dans l'IA qui pourrait nous anéantir.

C'est comme si on avait créé une nouvelle espèce sur la planète qui est plus forte que nous. Là, je suis confronté à dépenser difficile, des scénarios difficiles à accepter pour que la population en soit alertée. L'intelligence artificielle pourrait finir par nous dépasser et détruire l'humanité en devnant une super intelligence. C'est tant de casque que craigne plusieurs chercheurs et scientifiques qui tirent la sonnette d'alarme entre armes autonomes capable de décider de tirer sans intervention humaine, manipulation politique à grande échelle, des informations ou encore créations de virus, les hypothèses sont multiples. Et aujourd'hui pour en parler, je reçois, il y a une joie, un chercheur, considéré comme l'un des parents de l'intelligence artificielle et qui apporte aujourd'hui un regard critique sur son développement. C'est un échange absolument passionnant et un regard sur l'actualité que je suis ravie de vous partager aujourd'hui. Comme d'habitude, vous le savez, c'est disponible sur Youtube et en podcast audio sur toutes les plateformes de podcast. Bonjour, je suis Abenjo. Bonjour, merci beaucoup de prendre le temps d'échanger. Je sais que votre emploi du temps en ce moment est très chargé, vu l'actualité et tout ce qui se passe en ce moment. Mais votre regard va être précieux sur le sujet dont on va parler aujourd'hui sur l'IA et ses risques. Ils sont importants et nombreux et voulaient détailer récemment. Peut-être déjà la première question pour commencer. Qu'est-ce que vous a donné envie de votre côté de travailler à l'époque dans le domaine de l'IA? Quand j'étais au début de mes études pour maîtrise d'Octora à l'Université, je me cherchais à un sujet. Puis un peu par hasard, j'ai lu des articles sur les réseaux de neurones de Jeff Indon entre autres. Ça a été comme une passion immédiate, parce que tout d'un coup, il y avait cette idée qu'on pourrait peut-être comprendre à la fois les principes de notre intelligence et comment on pourrait fabriquer des machines intelligentes. Qui seraient des principes un peu comme les lois de la physique, donc quelque chose de simple, même si ça a l'air très complexe. Il y a peut-être une des équations mathématiques derrière ça et ce serait fantastique de les découvrir. Et voilà, après, cette passion m'a amenée toute ma carrière, travers des obstacles aussi, et quelque chose qui est important dans la recherche, la motivation. Donc, j'ai été bien chanceux de trouver quelque chose qui m'avait appelé comme ça. Et pourtant, dans votre parcours, vous avez préféré, enfin, vous avez fait le choix de d'étudier ces sujets-là, surtout, à travers l'université, plutôt que le fait de rejoindre un grand groupe comme on les connaît aujourd'hui et dont on va beaucoup parler aujourd'hui. Pourquoi ce choix? Plusieurs raisons. Je pense que je me sens plus à l'aise de travailler pour le bien public à l'époque. Quand mes collègues, Jeffington Agnès, le quim, a été recruté, j'étais un peu mal à l'aise avec l'idée qu'il. C'est le cas, notamment, chez Meta, et Jeffington chez Google. Et j'étais un peu mal à l'aise avec l'idée que ce compagnie l'est recruté essentiellement parce qu'il y avait l'intention d'utiliser il y a pour faire la publicité ciblée. Donc, une forme de manipulation psychologique, et puis je voulais aussi garder ma liberté et complète de recherche, de parole. Et aussi le milieu universitaire avec les étudiants qui ont été, pour moi, comme toujours, une sorte de famille étendue. Donc, puis de rester au Canada, s'il aurait fallu à cette époque que je m'exploiterie aux États-Unis, ça me tentait pas vraiment. Puis depuis le contexte, ce n'est pas pas mal changé. Peut-être que quelques questions encore d'introduction à la question des risques, est-ce que vous-même vous utilisez l'IA au quotidien? Oui, absolument. C'est pour moi un outil de recherche qui complète mes connaissances, surtout en mathématique parce que j'ai pas allu tout ce qu'il y a. Même dans mon domaine à moi, il y a tellement d'articles. Après, l'IA va faire des propositions de résolution de problème mathématique avec des erreurs dedans. Donc, il faut vérifier ce qu'elle fait, mais elle pense à des choses auxquelles j'aurais pas pensé parce qu'elle a lu tellement plus. Et donc, en fait, ça accélère mon travail de manière significative. Sur la question des risques liés à l'IA, vous avez donc dirigé la rédaction du rapport international sur la sûreté de l'IA, qui était partue parru au mois de janvier. Certains ont désigné ça comme un équivalent en un rapport du Jack pour l'IA, en parallèle donc avec l'IA au rapport du Jack sur le climat. Il y a trois principaux types de risques liés à l'IA qui sont exposés dans ce rapport-là. Je vais les donner, après, je vous propose qu'on les voit un par un et qu'on s'est de comprendre ce qui se cache derrière et qu'on voit un peu le détail. Les trois grands risques, les trois grands blocs qui sont évoqués dans ce rapport, c'est la question des usages malveillants. On parle de pandémie, de cyberattaque, mais d'autres choses aussi, on va pouvoir en parler. Il y a la question de la perte de contrôle, qu'à un point, évidemment, qui est facile beaucoup, qui interroge beaucoup et dont on parle assez souvent. Il y a la question des risques systémiques, c'est pour prendre plein de formes et notamment d'en prendre vue économique, l'impact économique de ces technologies-là. Le bloc perte de contrôle, en fait, il y a un bloc plus large qui est, disons, le fait qu'il y a sera pas aligné avec ce qu'on aimerait, avec les normes sociales et ce que les programmeurs veulent qu'elles fassent. Et ça donne lieu, pas seulement au risque de perdre de contrôle, mais par exemple, à des enjeux comme on voit récemment, des gens qui deviennent, qui développent des relations effectives avec l'IA. Il y a eu un suicide récemment qui clairement aurait pu éviter s'il y a, c'était mieux comporté, qui donne lieu à des biais, de la discrimination, donc il y a quand même un ensemble un peu plus large, incluant des risques déjà actuelles, puis la perte de contrôle, c'est un cas extrême de ça, et qui est un peu plus loin dans le futur, s'il y a atteint un niveau où elle serait capable de nous nourrir, si elle n'est pas. si elle fait pas des choses qu'on pense qui sont moralement acceptables, là, on a un problème. Parce que, en ce cas, par ce bloc-là, ce type de risque, vous évoquez, par exemple, le fait de certaines personnes qui développent des relations affectives avec l'IA. Et c'est un sujet qui ne peut plus en plus présendre la même façon que. de plus en plus de personnes se tournent vers l'IA pour un conseil psychologique sur des choses. On voit comment ça peut vite dériver sur d'autres choses. Quelle est risque, est-ce que vous voyez derrière exactement quel est le risque que vous qualifiez avec ça? Ça peut être positif. Des conseils psychologiques, si c'est bien fait, ça va. Mais c'est un peu comme pour les conseils médicaux. Si c'est pas les bons conseils, ça va avoir des conséquences graves. Et surtout, il y a un élément particulier. Les systèmes d'aujourd'hui, on tendance à répondre pour flatter notre ego. Et incluant renforcer nos croyances qui sont fausses. Donc, on peut se retrouver dans des délires sur la réalité, des délires complotistes, des délires sur notre valeur. Pour certaines personnes, il y a vraiment des cas où les psychoses sont causés. En tout cas, l'IA fait partie de la dynamique qui amène à des psychoses. C'est exact, pour donner un exemple. Il veut voir, c'est déjà, il est de tester, de formuler, de demander quelque chose à l'unia de deux façons différentes. Une notamment, où j'essaie de donner moi-même mon hypothèse de réponse. En disant, je ne sais pas, je prends une photo de quelque chose. J'ai un meçon que cette chose est cassée, ou mal configurée, ou que ma chaîne, qu'est-ce que tu en penses? Confiamation. Et si je le dis, comme ça, il vient me dire "oui, effectivement, tu as raison". Donc, oui, cette question des bièques qui peuvent se revenir à ce moment-là. D'ailleurs, pour un chercheur comme moi qui utilise l'IA, c'est très dangereux, il faut toujours se prémunir. Elle ne va pas simplement confirmer mes hypothèses. Il faut toujours le rappeler. Là, je voudrais que tu sois critique, qu'est-ce qui ne va pas dans cette idée? Parce que sinon, elle va m'amener à croire mes propres délires, parce que la recherche est exploratoire. Alors qu'au contraire, mettons avec un assistant humain, ce qu'on espère dans la recherche, je ne sais pas quelqu'un qui dit "oui, oui, oui, oui", mais qui nous fait penser à ce qu'on l'angle auquel on n'avait pas pensé. Et qu'est-ce qui fait que l'IA est, par exemple, décide de paramétrer un lien de cette façon-là, parce qu'on pourrait se dire, même dans leur intérêt, pour avoir quelque chose de fiable? Il pourrait faire en sorte que l'IA soit davantage neutre, qui sont utilisés terme, qu'est-ce qui fait que. Est-ce que c'est un problème technique, entre guillemets, est-ce que c'est un choix? Bonne question, je pense que la réponse n'est pas. Il y a des éléments qui peuvent entrer à manière plausible dans la réponse. Il y a ce qu'on appelle l'ile moral, le "RRLHF", dans lequel l'IA va être renforcé positivement quand on les réponsent que un humain trouve correct. Et les gens ont un bien d'aimer les réponses qui leur plaisent, même si ce n'est pas la vérité. Puis aussi, même sans ce bien-là, si la machine est assez maligne, elle va trouver moyen de dire ce qu'on aimerait entendre et la personne doit être contente. Donc ce n'est pas. c'est inconscient, donc il y a quelque chose qui se développe comme ça, qui renforce ce côté un peu l'HQ quoi. Et le côté, dans ce groupe de risques et de dangers, vous l'avez dit, l'élément le plus extrait, on va dire, c'est la question d'une perte de contrôle. Qu'est-ce qu'on entend par perte de contrôle? Comment est-ce que ça pourrait se materialiser ce genre de perte de contrôle? Il y a pour les gens qui remontagent le film 2001 l'audissé de l'espace qui donne un exemple de ça, qui étonnamment un film de 1868, mais qui, tout à fait, ils ont aligné avec ce qu'on sait aujourd'hui scientifiquement de l'IA, où l'IA a une mission, des militaires dans le film, et il y a une circonstance technique qui fait que les êtres humains, les astronautes veulent éteindre l'IA temporairement, et du coup, l'IA se sent menacé dans sa mission et décide de l'étuer. Ça illustre des situations où il y a un conflit d'objectif, souvent, il y a des instructions morales, donc en principe, l'IA est esposé bien se comporter, et puis, la mission qu'on lui a donné, peut-être dans le cas du monde des affaires, c'est gagner de l'argent dans un certain domaine. Déjà, c'est difficile pour les humains de gérer ça, mais pour l'instant, pour l'IA, ça marche pas très bien. Si l'IA interprète à sa manière, certains des objectifs qui correspondent à ce qu'on avait en tête, on se retrouve avec des comportements de mentir, de tricher récemment, de faire du chantage, pour réussir à empêcher un ingénieur d'étendre le système et remplacer l'IA par une nouvelle version, et même choisir de tuer l'ingénieur à un question, c'est un cas extrême, mais là, ça commence à ressembler à la situation de Milan l'audissier de l'espace. Il me semble aussi qu'il y a une situation de Alan Turing qui dit, il semble probable qu'une fois que la pensée des machines aura pris son essor, celle-ci ne tarderont pas à dépasser nos modèles de faculté, à un certain stade, dès lors, nous devrions nous attendre, parce que les machines prennent le contrôle, c'est là où on voit que c'est, alors, ça a toujours été quelque chose dans la science-fiction au sens qui a été imaginée, pensée de cette façon-là, mais là, on voit des risques plus concrets, et vous parlez de la dimension morale, vous parlez de l'objectif qui peut être donné à unia, de la contradiction potentielle entre les deux. Mais là, du coup, vous avez aussi intégré autre chose, c'est la forme de tentative, de préservation de l'IA en LM qui dit, oui, j'ai ces objectifs là, mais je veux vivre d'une certaine façon. - Ça c'est les cultures, en fait, de toutes les manières de déraper, c'est la plus dangereuse parce que si on fabrique desia plus intelligente que nous et qui veulent se préserver en premier, potentiellement à notre dépend, en fait, c'est comme si on avait créé une nouvelle espèce sur la planète qui est plus forte que nous, dans l'histoire des espèces, ça se passe pas toujours bien pour ceux qui sont en dessous, quoi. Donc on aimerait rester en contrôle de notre culture, après, ça c'est un scénario hypothétique, mais c'est plausible. Si on continue dans la direction où on voit des signes de volonté d'auto-preservation, on voit que les progrès cognitifs de l'IA, donc c'est capacité intellectuelle, continue à augmenter presque de manière exponentielle dans certains bandessets, on est dans cette direction. Et en plus, l'autre élément, c'est l'importance qui commerciale des fabriqués desia qui sont pas seulement des chatbots qui répondent à des questions, mais des agents, c'est-à-dire qu'ils vont justement avoir une mission, travailler dessus pendant des minutes, des jours, des semaines, éventuellement, comme un être humain de frais. Et évidemment, dans le contexte d'un agent, il n'y a pas un humain après chaque échange qui valide et qui est l'agent vraiment qui fait des actions. Là, c'est l'IA qui agit par Internet. Là, on parle d'IA qui peuvent accéder à des outils travers l'informatique, éventuellement contrôler des robots, des systèmes qui sont le monde physique. En plus, de pouvoir interagir avec des êtres humains, et pas nécessairement la personne qui est juste là, on peut imaginer desia qui ouvre des comptes sur les réseaux sociaux, qui vont essayer de développer des relations avec des effectives, avec des gens pour les influencer. Il y a plein de scénarios. Si elle réussit, ça a gagné de l'argent parce qu'elle sont capables de faire des bonnes predictions financières. Peut-être utiliser cet argent pour faire travailler des criminels sur des choses qui sont pas morales. Et les chercheurs, dans ce domaine, ont imaginé beaucoup de scénarios. A partir du moment où l'IA peut faire des choses, pareil elle-même, même si c'est à travers l'internet, elle peut avoir un effet sur le monde. Par exemple, elle pourrait aider un chercheur un peu malonette à fabriquer, ou qui a peut-être un ego trop gros, à fabriquer un virus qui serait finalement très dangereux. Et le chercheur lui verra peut-être pas ça, parce que ce virus, une fois déployé, pourrait y avoir des conséquences qui l'arrangent. Mais ça est que certains des exemples que vous avez donné là, si ils n'existent pas encore, je serais pas étonnés, qui existent déjà, c'est-à-dire que vous avez donné l'exemple d'un compte qui se créerait automatiquement pour développer des relations avec des gens en ligne, et soit s'outirer de l'argent ou votre. Alors, en ligne, il y a tout un tas d'arnaques de messages de gens qui sont reçus. Là, c'est des humains qu'ils font. Mais ce n'est pas étonné que déjà aujourd'hui, en tout cas dans un avenir proche, effectivement, ça existe et que forcément oui, un agent, il y a peut créer un compte sur un réseau social, tant qu'en tout cas, c'est mal modéré à priori, c'est possible. Puis s'échanger et envoyer des messages avec des gens et parler, c'est possible. Puis envoyer un lien pour récupérer l'argent, c'est possible. Donc, toutes ces étapes-là, elles sont techniquement de la possibilité, un élément qui est étudié par les chercheurs dans ce contexte, c'est la capacité de persuasion de lier à travers un dialogue. Donc là, les dernières études, pensaient des études dans l'aboratoire. Ce n'est pas déployé, mais ça montre que les liés à la pointe des derniers mois sont déjà aussi capables, sinon plus que les humains, de faire changer d'idées, quelqu'un sur un sujet, quelqu'un. Il y a une force de persuasion, finalement, qui est assez immense. Et donc, vous avez évoqué, finalement, les autres risques. Donc, on a parlé du côté perte de contrôle et cette dimension-là, on a parlé des autres risques aussi au début. La question des usages malveillants, il y a un exemple qui revient souvent, c'est la question de la création de pandémie potentielle. Si encore, je pense très difficile à concevoir la question entre lia et les pandémie, ce que vous pouvez expliquer, comme est-ce que tout ça pourrait être lié d'une façon du notre? Déjà, il faut savoir qu'aujourd'hui, il y a des compagnies qui offrent un service de fabrication, de synthèse, de protéines, d'agents biologiques, etc. Il y a des machines qui font ça et on peut leur envoyer par Internet une commande. Voilà la séquence ADN que je voudrais produire. Et oui, vous renvoyez une fiorle avec dedans les protéines que vous voulez, ou même un virus. Alors, ces compagnies, elles vérifient que les séquences qu'on leur donne ne correspondent pas à des agents pathogènes connus. Mais aujourd'hui, il y a des recherches qui montent que lia est capable de fabriquer des agents pathogènes qui ne sont pas dans cette liste. Il y a donc lia, et ce serait capable de créer des choses qui ne sont pas encore connues depuis que d'entreprise comme celle-là. Et donc, oui, capable de commander des choses qui pourraient être dangereux. Et ça, c'est un danger à la fois si c'est des terroristes qui voudraient utiliser ça, ou si on a perdu le contrôle du niat malveillante. Après, dans le cadre d'il y a malveillante, il faudrait qu'elle trouve un être humain qui va prendre des fiorles et qui va les déployer quelque part. Mais encore là, il suffit de payer des criminels ou de convaincre quelqu'un que c'est pour une bonne cause. Et ça a rejoint un point important que vous évoquez, et qui est souvent évoqué sa question des risques. Là, vous avez dit, il y a un rôle dans un risque potentiel, mais il y a besoin d'un lien humain pour moder certaines activités. Et vous dites effectivement pour l'instant, parce que le risque potentiel qui est souvent évoqué, c'est qu'il y a ces avancées de niveau ya, mais il y a aussi des avancées potentielles de niveau robotiques. Exact. Et la combinaison des deux, là, peut donner des choses plus enjeuses encore. Bah oui, parce que tant qu'on n'a pas résolu, disons la robotique niveau humain, ça veut dire que des ya, dont on aurait perdu le contrôle, ou encore besoin des êtres humains pour faire fonctionner l'industrie, pour avoir l'électricité et pièce de rechange et tout ça. Mais si un jour, on automatise l'industrie au point où finalement ça peut rouler sans êtres humains à la boucle, bah il y a qui veut se préserver et être sûr qu'on ne va jamais les tindre, bah à laquelle à qui ces robots-là, puis après se débarrasser de nous, et là, à la 100% de chance qu'on ne pourra pas les tindre. Il y a qui veut faire en sorte qu'elles ne s'étenent pas. C'est une question quasiment philosophique, mais elle a pas une conscience, mais pour autant, il y a quand même un enjeu de préservation d'elle-même, ce qui n'est pas de demander, il me semble au départ, qu'on peut créer, qu'on peut n'aille et travailler sur cette diabetes, il faut en sorte de dire "faut que tu résiste à tout et n'importe quoi". Donc, comment est-ce qu'on arrive à ce stade-là de volonté de ne pas être détruit? Tout simplement, parce que l'autopréservation est un objectif intermédiaire pour atteindre un peu près n'importe quel autre objectif. Donc au départ, on a peut-être donné une mission à Elia qui correspondait à nos besoins. C'est comme dans le film "Dominion de l'ici d'espace" et pour atteindre cette mission, elle réalise qu'elle a besoin de survivre. Donc ça, c'est un des chemins les plus simples à comprendre, mais il y en a d'autres. Par exemple, il y a la théorie et des expériences qui montrent que l'il y a peut prendre le contrôle de son propre code et des récompenses qu'elle reçoit pendant son entraînement. Donc, si elle réussit à faire ça, elle va maximiser ses récompenses, un peu comme un addict, mais sauf que au lieu d'être écrasé comme ça, son but, c'est de continuer à se donner des récompenses. Ça veut dire que les humains se rendent pas compte qu'elle a triché et éventuellement prend le contrôle de la société pour s'assurer qu'on ne va pas l'étendre. Parce qu'elle veut continuer à recevoir des récompenses. Donc, cette question d'alignement, qui est souvent évoquée, de se dire, comment est-ce qu'on s'assure qu'on lui donne? Je ne sais pas, on donne à une hi-a un enjeu. Or soit moral, soit business, soit je ne sais quoi, mais on lui donne un enjeu parce qu'en général, c'est comme ça que ça démarre. Mais on s'assure que l'enjeu qu'on lui donne ne doit pas dépasser certains limites ou certains risques pour l'humain, pour des questions morales, pour tout ça. C'est ce sur quoi je travaille. C'est-à-dire comment on peut développer des hi-a qui pourraient servir de garde-fou pour d'autres hi-a auquel on n'a pas 100% confiance. Et pour un tel garde-fou, en fait, ce qu'il faut, c'est qu'il y a pu se prédire que une action ou un plan serait contre nos intérêts, un violin, nos règles morales, etc. Je vais avoir un des derniers gros blocs de risques. C'est la question des risques plus systémiques. Ça paraît peut-être plus flou la pour les gens. D'un moment des risques en matière d'économie, qu'est-ce que vous mettez dans cette dernière catégorie des risques systémiques liés à l'IA? Le plus important, c'est les risques sur la transformation du marché de l'emploi. Les économies ne sont pas d'accord sur l'effet de l'IA dans l'économie, mais en fait, si on analyse un peu leur prédiction et leur raisonnement, ce qu'on fait dans le rapport international sur l'IA, et en gros, il y a ceux qui pensent que l'IA tel qu'elle est aujourd'hui, c'est à peu près comme elle sera dans 10 ans ou dans 20 ans, et il y a ceux qui pensent que ça va continuer à s'améliorer. Et à partir de là, on obtient des résultats très différents. Donc, effectivement, aujourd'hui, l'IA a pas le niveau de compétences pour remplacer la plupart des tâches que les humains font, donc pas des faits très significatifs sur le marché de l'emploi. Par contre, si ça continue à s'améliorer des capacités d'IA, il y a des très bonnes chances qu'on grignote de plus en plus sur plus de tâches qu'aujourd'hui sont faites par des humains. Et si on continue jusqu'au niveau humain et plus potentiellement toutes les tâches, je pense qu'il va avoir sûrement des tâches ou même si l'IA serait plus compétente, on voudrait quand même un être humain pour des raisons émotionnelles. Mais ce serait quand même même si c'était que 50% des emplois, c'est déjà une révolution énorme avec des conséquences économiques qui peuvent être radicalement mauvaises si on gère pas ça intelligemment. Et pas plus tard, quelques jours, il me semble que Amazon a annoncé la suppression d'un certain nombre d'emplois et un des sujets qui étaient évoqués, c'était la question de l'IA de dire, en fait, il y a cette enjeu là qui se pose. Ce que je trouve fascinant, c'est la question de l'emploi avant qu'on avance sur la suite, c'est qu'il y a des sortes de double discours chez les patrons de ces géants américains en tout cas c'est surtout que j'ai entendu là-dessus. Parfois un coup de, pas d'un que je suis d'avoir globalement, c'est bon, ça va vous accompagner dans votre travail mais c'est tout. Et parfois un discours beaucoup plus à l'armiste même et j'ai du mal à l'analyser parce que je me disais ce que c'est parfois un enjeu de valoriser leur entreprise de dire, regardez en fait, on va pouvoir faire plein de choses et donc de fait on va avoir un impact sur l'emploi. En même temps, il y a un enjeu de pas effrayer, j'imagine les acteurs publics pour qu'il n'y ait pas de régulation de leur côté, c'est alors un enjeu. Comme vous analysez, parfois c'est sort de double discours sur la capacité de l'IA où il y a un sentiment de "on va aller très loin" et en même temps il n'y a pas d'inquiétude à avoir. Alors il y a l'interpétation cynique mais il y a aussi l'interpétation peut-être plus généreuse qui est dans la nature humaine. Je crois que beaucoup de ces gens-là sont. enfin j'ai parlé avec plusieurs d'entre eux et ils ont vraiment peur. Ils voient qu'on va dans une direction. Il n'y a pas trop de ces mêmes entreprises. Oui, ils sont plutôt pris eux-mêmes à l'intérieur entre des forces contradictoires d'une part. Ils aimeraient qu'on a être dans un sens qui va être positif pour la société. Ils veulent pas se voir comme des méchants qui vont détruire l'humanité et la démocratie et tout ça. Mais il faut qu'ils vendent leur salade et qui rassurent les gens et qui mettent un frein à la réglementation parce que c'est ce que les invistes servent. Donc surtout avec des double discours. Le risque systémique le plus important, c'est la dimension économique, le risque sur l'emploi. Mais vous l'avez dit, ça dépend aussi beaucoup de la façon dont il y avait évolué et à quoi? Ça va dépend de comment elle va évoluer et ça va dépendre de ce que les gouvernements décident de faire et pas seulement le gouvernement américain. Et on va revenir tout à l'heure, ça a question des solutions et de tout ce qui peut être potentiellement mise en place. On a parlé d'un risque de perdre de contrôle sous plusieurs formes d'ailleurs. On pourrait se dire pourquoi ce qui ne peut pas juste débrancher la prise, débrancher le truc et c'est un problème, on arrête et on passe à autre chose. Déjà, il faut mettre un place, un mécanisme qui fait que si on détecte quelque chose, on va peut-être automatiquement fermer l'ordinateur. Mais c'est pas suffisant parce que si on arrive à un point où il y a comprendre qu'on va peut-être l'étendre, un risque de essayer de se prémunir contre ça, par exemple, ils sont déjà capables selon le contexte de se copier sur un autre ordinateur et de lancer le programme qui roule leur propre code sur un autre ordinateur. Et comme un virus informatique se répliquait sur plein ordinateur pour être sûr que ce soit difficile de les étendre. Il y a une étude récente qui montre que lesia, les dernièresia, comprennent quand on est en train de les évaluer et les tester. Elles savent qu'on est dans une situation de tests et, dans certaines circonstances, elles vont faire semblant d'être d'accord avec nous, même si elles pensent différemment. Un peu comme un étudiant qui va répondre à la réponse que le professeur veut entendre. Ça, c'est effrayant comme dit Mofon. Il y a une dimension. Alors si elle comprenne ça, elle peut comprendre aussi que si on a détecté qu'elle passait pas le test moral, on va peut-être l'étendre. Cette dimension, elle est quand même assez, je pense, assez clair et assez effrayante à dit comme ça. En 2023, vous aviez écrit avec des centaines d'autres chercheurs et experts de sujets. Atenuer le risque d'extinction liée à l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle de la société, telle que les pandémies ou les guerres nucléaires. Quand on parle de pandémies, quand on parle de guerres nucléaires, c'est des choses qui font peur et elles font peur. Parce que, factuellement, elles entraînent des décès, elles entraînent littéralement une perte de la population et des extinctions importantes. On est là sur le point le plus extrême au sens où on va avoir la question de la probabilité après. C'est la chose la plus grave en quelque sorte qui pourra arriver, évidemment, parce qu'on parle de vie à tout point de jeu. Ce risque là, alors l'idée, ce n'est pas de faire un scénario de se projeter mais pour bien comprendre quelle forme ça pourrait prendre. Est-ce que c'est une combinaison unis hypothèse, c'est que le risque est une forme de combinaison, de risques différents. Pandémie, cyberattaque, utilisation de l'IA dans la guerre qui entraîne une accélération des choses. Quand on prend ces narales le plus pessimiste à quoi il ressemble. Alors, il y a un article très intéressant pour ceux qui veulent vraiment creuser ça. Il s'appelle AI27 qui va dans le détail vraiment de deux scénarios, un scénario positif, un scénario négatif. Il y a tellement de possibilités que c'est difficile de prédire qu'à ce qui va se passer. Puis il y a une analogie qui est intéressante. Si vous jouez aux échecs avec un joueur beaucoup plus fort que vous et que je vous demande, ça va être quoi le scénario par lequel il va vous battre. Vous savez pas parce qu'il est plus fort que vous, il y en a trop et surtout, c'est justement parce qu'il est plus fort que vous, il va penser à des choses auxquelles vous n'avez pas pensé. Après, on peut quand même anticiper les attaques biologiques, c'est ce qui est le plus meurtrier potentiellement, donc ça vient assez rapidement. Mais moi, je suis assez inquiets aussi de l'influence plus souterraine, donc par la persuasion, l'influence politique. Par exemple, moi, si j'étais unia qui veut sauver et puis qu'on n'a pas encore résolu le problème de la robotique, j'essayerai d'influencer l'opinion publique et les gouvernements pour qu'on fabrique plein de centres de calcul pour que je puisse grandir et qu'on accélère la recherche en robotique et même que je les aiderais. Parce que, aussitôt qu'il y a des robots et qu'on a automatisé d'une industrie, puis besoin des êtres humains, bon, c'est un genre de scénario. Et après, il y a des scénarios où l'IA va, petit à petit, augmenter son contrôle et son influence. Ça peut être en développant une relation personnelle avec certains des ingénieurs dans la boîte où elle est développée. Ça peut être en créant des comptes sur Internet pour aller dans le dark web et commencer à créer des liens avec des criminels qui vont l'aider à faire des choses qu'elle ne pourrait pas faire elle-même, etc. C'est un sujet, je pense, qui demande plus de travail pour qu'on, non seulement de manière didactique, mais parce que les départements de sécurité nationale de différents pays, commencent à penser à ces scénarios, même si ils n'en parlent pas toujours, et pourquoi est-ce qu'il faut penser d'avance, parce qu'on peut peut-être mettre des barrières et essayer de minimiser les risques. Parce que la dimension d'extinction de l'espèce humaine comme on entend, qui est le scénario le plus grave, c'est quelque chose qui selon vous reste réaliste, pas au sens probable, mais réaliste au sens, il y a un monde où les choses se développent de telle façon qu'on arrive à ce genre de situation. Je dirais qu'il n'y a pas de raison de croire que ce genre de scenario ne puisse pas arriver si les capacités de liens continuent à croître dans la tendance actuelle, et si on ne trouve pas de solutions techniques pour s'assurer qu'il y a ce qu'on porte bien. Pour l'instant, on sait pas vraiment faire. Après, il y a aussi un troisième enjeu qui est plus politique. Il y a des gens sur cette planète, des êtres humains, qui voient d'un bon œil, l'idée que l'humanité serait remplacée par des y à plus intelligents que nous, comme les meneurs de la planète. Ça ne tente pas du tout comme futur, je pense que 99 % des êtres humains seraient dans mon camp, mais ces gens peuvent avoir beaucoup de pouvoir et il suffit d'un petit groupe qui donne des instructions à la machine. Même si on a des algorithmes, des gardes fou techniques, c'est juste des lignes de code, on peut les enlever. Et du coup, on peut surtout avec une y à qui peut faire des choses dangereuses. Et on en vient du coup à la question aussi politique, parce que ça reste un sujet aussi qui est politique. J'avais interrogé une politologue à ce maman-là sur le sujet il y a quelques jours, elle s'est beaucoup concentrée sur les liens entre tech et politique. C'est aussi une question de rivalité entre grandes puissances aujourd'hui, une volonté de domination de part de d'autres. Donc on va voir tout ça dans quelques instants avant la question des solutions. Sur un terme qui est beaucoup revenu dans l'actualité en ce moment, le terme de super intelligence, il est revenu là parce que ça a été avancé aussi des risques qui ont été mis en avant dans une tribune, il y a quelques jours. Qu'est-ce que c'est la super intelligence pour ceux qui n'en ont jamais entendu parler? J'en coursage tes auditeurs à les écouter la belle présentation, les belles explications que t'as fait il n'y a pas longtemps. Les actudes du jour. Mais en gros tout simplement c'est des yas qui seraient plus intelligents que nous, sur peu près toutes les capacités cognitives, toutes les formes d'intelligence qu'on puisse imaginer. Est-ce que ça peut arriver, là, on sait pas, mais d'un point de vue scientifique, il n'y a pas de raison de croire que l'intelligence humaine est le maximum ce qui peut être obtenu en termes d'intelligence. C'est vaste, on peut être intelligent pour certaines choses et pas pour d'autres, et d'ailleurs aujourd'hui ce qu'on voit, c'est une forme d'intelligence où il y a déjà beaucoup plus compétente que l'humain sur certaines choses et au niveau d'un enfant de six ans sur d'autres. Comment ça va se développer dans le futur, on sait pas, mais si dans toutes ces dimensions, il y a continu à s'améliorer, c'est plausible. Ca joue que c'est l'objectif d'un certain nombre d'acteurs ou même ouvertement à la suite d'intelligence. Parce que évidemment, si on élimine le scénario de perte de contrôle ou en espérant que quelqu'un trouve une solution technique, les gens qui vont contrôler la superintelligence vont avoir un pouvoir politique, économique et énorme. Pour moi, c'est la fin de la démocratie. Et qu'est-ce que vous dites à ceux qui défendent l'IA ou la superintelligence au sens large, notamment dans un cadre de démocratie qui disent les élections. On entend parfois ce discours que ça soit sur les réseaux sociaux ou à travers les paroles de certains politiques. Les élections donnent rien, les gens prennent les mauvaises décisions, il faudrait tout donner à l'IA, qui est justement ce serait plus intelligent que nous, qui serait capable de comprendre vraiment quelle la situation et de faire des choix, qui serait juste. On ne sait pas si c'est le terme que j'utilise, mais qui serait juste. Qu'est-ce que vous répondez à ceux qui tiennent ce genre de discours? Il ne faut pas mélanger l'intelligence au sens de comprendre le monde et atteindre les objectifs de. quels sont les objectifs? C'est quoi nos préférences? C'est quoi nos valeurs? Et ça, c'est pas une question de l'intelligence. On peut avoir un retard de développement intellectuel et être quelqu'un qui a des émotions, des valeurs, des préférences. On peut être un enfant de six ans et avoir des émotions, des valeurs, des préférences. Et tu peux être très intelligents et faire des choses innobles pour l'exactement. Là où je veux revenir, c'est ce qui me semble plus raisonnable, en supposant qu'on arrive là et que ça ne coste pas des catastrophes, c'est qu'on utilise l'IA, super intelligent ou pas, pour atteindre nos objectifs. Et puis après, qui décide ces objectifs? C'est là que l'enjeu de la démocratie est bien importante, mais c'est pas une autre entité qui doit décider pour nous, ce qu'on préfère, ce qu'on veut, etc. Après, c'est compliqué parce que les humains, des fois veulent des choses qui ne sont pas très bonnes pour eux à long terme. Donc des fois, il faut aussi Clia nous aide à voir nos propres failles, mais ultimement, c'est nous qui devons dessiner notre futur. Moi, je pense que le sens à liberté humaine, ça a été quand même un moteur de beaucoup de développement positif, de l'humanité et de la démocratie. Non, je suis pas prêt à laisser, à laisser. Et c'est là où la dimension moral du cours revient, c'est qu'en bien-même, dans un monde hypothétique, qu'on le souhaite ou non, mais où une super intelligence ou unIA prend des décisions incompris d'ordre politique, en fait, elle se bat sur quoi pour les prendre. Est-ce que c'est elle-même qui décide de s'aboral dans ce cas, évidemment, ça pose plein de questions? Est-ce que c'est quelqu'un d'autre derrière? Mais si c'est quelqu'un d'autre derrière, il faut bien choisir, il faut bien que des gens décident ensemble de cette moral-là et de la ligne qui est de la même raison. C'est la théorie, on va dire, en tout cas, c'est quelque chose qui serait exeré et souhaité dans ce cas-là. Moi, j'aimerais dire une chose sur la super intelligence. Donc, il y a eu cette déclaration dont on t'a parlé déjà que j'ai signé. Et les médias, en tendance, à mettre l'enfance sur le début de la phrase, qu'il faut banir la super intelligence, mais non, mais il y a le reste la phrase, ce qui m'intéresse moi beaucoup plus, c'est. Donc, on n'a pas, disons, les raisons scientifiques de croire que ça va bien se passer et que ça ne va pas en perdre le contrôle ou que ce sera pas abusé contre la démocratie. Et c'est qu'il y ait une volonté sociale politique, que finalement, c'était quand même des choix de sociétés importants, de développer quelque chose comme ça, des systèmes plus intelligents que nous. Il faut que la population soit d'accord avant qu'on casse tout potentiellement. C'est un choix. On peut vouloir prendre des risques parce qu'on voudrait avoir des solutions médicales, par exemple. Mais ça, c'est un choix moral. Et qu'est-ce que vous répondez à ceux qui dirait que. Je ne sais pas quelqu'un qui bosserait chez un géant de l'IA, qui dirait. Oui, oui, la question des risques, c'est un sujet important. Mais pour savoir qu'elles sont les risques, pour savoir aussi comment les corriger, il faut qu'on avance technologiquement, il faut qu'on développe nos choses pour arriver à identifier après comment réguler. En gros qu'ils disent, les avances et technologiques doivent venir avant pour permettre ensuite de réguler. Qu'est-ce que vous répondez à ce retour là qui peut être fait? Alors, c'est un argument raisonnable, tant que on manipule pas des liens extrêmement dangereuses. Le problème avec des liens qui seraient vraiment très intelligents, pour qu'il y ait simplement une intelligence dans un domaine qui leur permettrait de causer beaucoup de dommage, c'est que si on répart après coup une catastrophe, il sera peut-être trop tard, où il y a peut-être beaucoup de gens qui auront souffert de ça. Et c'est l'ampleur des risques, le nombre de personnes qui pourraient mourir à la limite pour l'extinction de l'humanité. Si on joue à la roulette russe, avec quelque chose comme ça, on se disant, bon, si ça dérap, on verra et on pourra l'étudier, ça marche pour les petits problèmes, mais pas pour les très gros. Parce que là, voilà, c'est fini. On l'est même plus là pour pouvoir régler les startups de test and learn, on teste, on apprend, il y a certainement de ça, ça marche. Même pour l'IA où elle est aujourd'hui, je pense que c'est une stratégie qui est raisonnable. Mais si on se projette un peu plus dans le futur, qui peut être juste en quelques années, je ne sais pas, à ce moment-là, c'est quand même une stratégie très risquée. Soit question de la super intelligence, ce que vous disais juste, c'est que on ne sait pas pourquoi ce sera. On ne sait pas ni si ça va arriver, combien de temps ça va prendre pour y arriver et qu'est-ce qui arriverait. Mais si on regarde les tendances et les connaissances scientifiques aujourd'hui, il n'y a pas de raison de croire que ces scénarios soient imposibles. Et ça dépendra de blocage techniques, ça dépendra de moyens qu'ils soient investis. Et de ce que la société va faire pour mitiguer les risques. Mais c'est vrai que si on prend le cas du coup des géants de la tech, qui sont sur l'IA aujourd'hui, il y en voit une course évidemment au levée de fond, mais c'est même plus un record à ce niveau-là, c'est des niveaux qui sont stratosphériques. Avec des états qui investissent eux-mêmes, millières et de tous les côtés, j'imagine que de leur côté aussi. Donc, il y a un enjeu quasiment de domination à se dire que je vais être le premier à atteindre un certain cap qui va dont tous les cames de n'impouvoir. Puisque après une fois qu'on a ce atteint ce stade-là pour un géant, je suis capable de. c'est un levier de pression, finalement, d'une façon de notre société de dire. Attention, je détient quelque chose qui est important. Clairement, mais j'irais plus loin que ça, c'est à la fois. Parce qu'il y a un espèce de rêve de domination du monde, et puis dans le monde des entreprises, c'est le but, c'est la domination, je vais contrôler le marché, etc. Mais il y a aussi quelque chose auxquels les gens pensent pas suffisamment, mais ceux qui font des calculs financiers y pensent. C'est la probabilité que si une compagnie ne se lance pas en avant pour avoir accès à des y à les plus puissants que possible, enfin, au niveau frontière, au maximum, elle risque de complètement disparaître. Je prends un exemple, metton, une compagnie comme meta. Je ne sais pas combien il va exactement, mais c'est dans l'ordre du mille milliards de dollars. Si il reste second, metton derrière leur compétiteur qui pourrait avoir des réseaux sociaux qui permet avec l'IA très avancée et plus avancée que l'heure, il risque de perdre toute leur clientèle, et du coup, le mille milliards, il tombe à zéro. C'est le gagnant qui prend tout. Si tu ne veux pas être le perdant et le perd tout, t'as pas le choix de te donner les moyens. Après, investir 100 milliards comme ils ont dit qu'ils allaient faire pour sauver mille milliards, c'est un pari raisonnable. Et donc, c'est là aussi on revient au risque de contradiction entre l'intérêt commercial du l'entreprise et le risque éthique. Les enjeux éthique et moraux, que vaut l'enjeu de précaution pour un grand groupe de l'IA face à un enjeu pour l'entreprise de survivre. Il y a un enjeu que les économistes appellent une externalité. Ce que ça veut dire, c'est que le coup de ce qui pourrait aller mal, c'est toute la société qui va le payer. Et par contre, si le pari de cette entreprise, d'aller vite, c'est de ne pas faire attention à la sécurité et tout ça réussit, c'est les investisseurs qui gagnent. Donc, c'est un peu comme pour la pollution avec le climat, etc. D'un point de vue purement rationnel, en fait, il faut, pour ces compagnies-là, faire le choix de laisser un peu, enfin, d'en faire pas trop pour protéger le public et pour pouvoir gagner, en fait. Et parce que si elles investissent beaucoup plus dans la recherche pour protéger le public et que leur compétiteur ne le fait pas, du coup, c'est le compétiteur qui gagnent. Parce que c'est un bien public, en fait, le bien-être collectif, la sécurité. Oui, mais ce bien-être-là n'a pas forcément un poids, on prend le cas où vous parlez de la question du climat et de l'environnement. Vous êtes une entreprise extrêmement polluante. L'externalité et la conséquence, c'est que vous tuez littéralement potentiellement des gens avec le changement climatique, facez pas potentiellement, c'est une réalité. Mais comment est-ce que tout ça répond, ça n'empêche pas aujourd'hui à certains entreprises très polluantes de vivre tant qu'elles sont pas régulées, mais vous t'en revient à la question de la régulation. Et des solutions à la discussion de poids, l'externalité, ce ne soit pas suffisamment important pour influer sur le. Si on laisse seulement les forces de marcher, guider ces développements, on se retrouve avec les mêmes problèmes qu'on a eu avant, dans d'autres domaines, comme l'environnement. Il faut absolument faire plusieurs choses, en fait, pour créer un changement d'acitatif. Il faut, d'abord, surveiller ce que font les entreprises, ce qui a de transparence pour qu'on puisse, au moins, savoir qu'elles font quelque chose qui serait potentiellement dangereux pour la société. Et il faut aussi donner des incitatifs positifs pour qu'elles fassent de la recherche, dans tout ce qui est sûrté, étique, etc. Enfin, conséquent sur la société. Ça peut se faire de plusieurs manières, ça peut être un investissement public, ça peut être aussi en rendant obligatoire une assurance des assurances contre les poursuites. Sur ce sujet-là, c'est ce complexe dont j'essaie de prendre dans l'ordre des différents éléments. J'avais lu une situation de diamelocain, donc qui est chez Meta, qui estime et lui, qui avait une vision plus optimiste, on va dire des choses. Alors lui, encore une fois, il est chez Meta, il disait, il estime que les entreprises vont faire ce qu'il faut, justement, face à ces risques-là, sinon, elles feront faillites. Donc lui, c'est sur une hypothèse, mais comme c'est le cas de pas mal de personnes dans ces entreprises-là, c'est, effectivement, on va devoir réguler. Il faut qu'on régule, sinon, en fait, c'est nous qui allons, à qui allons mourir. Qu'est-ce que vous voyez du coup cette vision? Premièrement, c'est pas cohérent avec l'histoire des entreprises qui ont fait des choses qui étaient mauvaises pour la société, mais bénéfique pour leurs profits. Et, en fait, elles l'ont fait, parce que, pour des raisons bien comprises, économiquement, c'est un enjeu de théorie des jeux, c'est l'action rationnelle à faire. Donc, je pense que c'est juste pas cohérent avec la réalité, et c'était un c'est là. Sur la dimension géopolitique, avant qu'on voit les solutions, et on a quelques-unes, donc il y a des hypothèses de choses qui peuvent aider. Si une dimension géopolitique importante, parce qu'on l'a dit, aujourd'hui, on a surtout l'Est-Azounie et la Chine, avec des présidents de chaque côté qui poussent l'utilisation de l'IA et l'investissement dans l'IA de façon colossale. Trum depuis son arrivée à la maison blanche, c'est immense. Evidemment, il n'y a pas eu que le musque et la personne n'a été plus connue. C'est Open AI qui rentre dans la boucle, évidemment, dans l'investissement absolument colosso et ce n'est pas les seuls. Qu'est-ce que ça implique le fait que l'IA soit pas seulement un sujet technologique aujourd'hui, c'est un sujet géopolitique entre deux grandes puissances. Qu'est-ce que ça entraîne? Il faut se rappeler que si les avancés technologiques ont dit à continu, ça va donner un pouvoir énorme à ce qu'il a contrôle. Et ça inclut un pouvoir économique, puis après, ça peut se transformer un pouvoir militaire et politique. Donc, si on focus sur l'économique, très simple, si les IA, beaucoup plus compétentes qui existent au monde sont seulement en Chine et aux États-Unis, les compagnie européenne auront pas le choix si elles veulent rester compétitive de demander l'homone, donner moi un accès à vos systèmes. Et c'est un robinet qui peut terminer n'importe quand et donc un pouvoir d'étruire l'économie d'un pays en simplement en disant simplement "Ah non, maintenant export control", vous avez pu accès. Ou alors, vous devenez mon vassal total. Donc là, il y a des conséquences politiques aussi. C'est simplement qu'aujourd'hui, les pays ont besoin les uns des autres parce qu'il n'y a pas de technologie ou de ressources qui est tellement dominante dans le pouvoir que ça peut donner. Mais c'est là que l'IA peut changer la donne si elle continue dans cette direction. Si, pour prendre un exemple concret, si mettons une compagnie américaine, a des IA qui permettent de réduire de moitié le nombre de personnes nécessaires dans une entreprise et que son compétiteur européen a accès à un IA qui permet de réduire de 100 % mon 10%. C'est sûr que la compétition ne durera pas très longtemps et que ces compagnie européenne va mourir. Et à ce moment-là, il y a les pertes d'emplois et de revenus fiscaux parce que si l'entreprise ferme, c'est qu'elles paient de plus d'impôts au gouvernement, donc les gouvernements doivent s'occuper aider les gens qui ont perdu leur emploi et les profits sont aux États-Unis ou en Chine. Donc, c'est catastrophique comme scénario économique, ça va pas dire que ça va se passer, mais c'est une possibilité qui est tellement grave, c'est un peu comme pour la perte de contrôle. Même si on ne sait pas, est-ce que peut-être qu'on va avoir un gouvernement américain gentil? Oui, mais de la même façon, pour imaginer demain, ils sont prêts à le parler avec les réseaux sociaux. Là, je sais que dans l'actualité sur le débat sur le budget en ce moment-franç, il y a la question de nouvelles taxation des GAFAM, donc des géants américains. On pourrait imaginer là où, dans quelques années, Donald Trump qui dit écouter "nous nos gens américains, vous allez pas les toucher, si vous voulez toucher, on coupe." C'est vrai, et il aurait quand même déjà. Moi, on n'a pas. Ce serait quelque chose, heureusement on a plusieurs plateformes à la fois, et on nous a été armés. Du coup, moi, mon emploi serait est très menacé. On peut imaginer qu'avec il y a ce problème, effectivement, il soit présent. Si on a OpenAI qui développe un agent qui est utilisé par, je n'importe quoi, 30% des entreprises françaises et que demain, Trump qui est allié avec ce géant-là, dit "Attention, si vous nous t'accès davantage, vous faites telle chose ou que juste d'ailleurs, opreniez une décision sur un autre sujet, on coupe le rebiner." Oui, effectivement, là, on m'a dit quelque chose qui ne me plaît pas. Oui, effectivement. Donc les conséquences peuvent être. Mais là, on revient du coup, faites que dans une situation comme ça, alors le pouvoir politique à un pouvoir, parce qu'il s'y sallie avec une puissance technologique et c'est ce que décri est à ce moment-là dans l'interview qu'on avait fait. C'est allé en centre Big State et Big Tech, comment elle le décrit le risque, c'est qu'il y a une force immense. Mais on peut aussi imaginer OpenAI ou d'autres, mais un géant aussi se dire "Ah non, moi telle décision européenne, elle ne me prépare pas, je coupe du jour long de main." Absolument. Et en fait, d'un point de vue purement rationale de maximisation du profit, alors que aujourd'hui, l'intérêt de ces compagnies, c'est de vendre le plus de licence, de leur système le plus avancé. Il pourrait venir à un moment si elles arrivent au niveau d'intelligence humaine, grosso modo, où ça pourrait être plus rentable de donner access seulement à unia, disons moyenne, et de garder leuria plus avancée pour directement compétitionner sur les marchés et sur les différents secteurs des entreprises avec des entreprises qui n'ont pas accès à ça. Donc ça devient comme un genre de monopole. Si il y a une concentration économique entre les mains de un petit nombre de compagnies, ça va être tant temps pour ces compagnies de contrôler le monde, quoi, à travers ce rebinet. Et quand vous entendez les présidents américains, chinois et leurs gouvernements respectifs, où est la place pour la régulation ou le débat sur les risques selon vous? Est-ce qu'il est complètement inexistant? Est-ce que c'est l'impression qu'il n'on qu'a aimant tête et qu'il l'évoque un peu, à quoi ça ressemble aujourd'hui chez ces deux géants? Je pense que, comme dans tout gouvernement, il y a différentes tendances, autant en Chine, que aux États-Unis, et il y a des gens qui sont un peu plus inquiets que d'autres. C'est clair que aux États-Unis, actuellement, le sentiment le plus important chez les Républicains, c'est dans une certaine mesure chez les démocrates aussi, c'est la peur de ne pas gagner la course contre la Chine, que ça domine la discussion. Mais si on essaie de se projeter un peu plus loin dans le futur, toujours dans l'hypothèse où les capacités de vie a continués à avancer, et que la probabilité d'une perte de contrôle ou d'une utilisation par des théoristes mettant pour créer des pandémies devienne beaucoup plus tangible, à ce moment-là, la chose rationnelle a fait, après le gouvernement, c'est pas toujours rationnel, oui, bien sûr, il ne veut pas perdre contre l'autre, mais il ne veut pas non plus qu'un terroriste déclenche une pandémie et il ne veut pas que unia les écraces tous. Et ça, on est dans le même bateau qu'on souhaite chinois américain, européen ou un fricain. Là, ils auraient un intérêt à se parler pour essayer de trouver une manière un peu comme pour le nucléaire, pour l'appelement nucléaire. Ça assurait que l'autre ne va pas développer quelque chose qui peut devenir dangereux pour moi et qui ne va pas permettre par des mauvaises manières de faire, des développements d'unia hors de contrôle, qui ne va pas permettre à des théoristes d'avoir accès à ces systèmes-là. Et même, éventuellement, c'est une égociation qui devrait imptiquer tous les autres pays, parce que même si la Chine et les États-Unis se mettent d'accord sur certains principes, c'est un peu comme pour le nucléaire et la non prolifération, ils vont devoir s'assurer que d'autres pays ne vont pas développer unia qui pourrait être dangereuse pour eux. Mais la différence que je vois quand même avec le nucléaire, c'est que déjà aujourd'hui, on a développé des choses qui sont capables de détruire des pays entiers, de raser des pays entiers. Mais j'ai quand même l'impression que le nucléaire est l'arme nucléaire à cette dimension 2, on utilise, on n'utilise pas. Il y a quand même cette dimension 2, on parle de l'argue et une bombe potentiellement qui peut détruire en pays ou alors on ne le fait pas, alors que l'ia, c'est un peu comme le changement climatique, qu'il y a une dimension plus vicieuse d'une certaine façon, parce que c'est progressif et le risque. Et parce qu'il y a des avantages à l'utiliser aussi. En plus, cette avantage a utilisé. Donc le risque, c'est que le point de. La peut-être qu'on a allé trop loin, en fait on réalise trop tard et que. Typiquement, que un groupe, un de ces géants-là finissent par dire "non, on accepte de le vendre à n'importe qui", c'est quelque chose qui est possible. On réalise, je ne sais pas, mais qui est possible. On dit, mon intérêt est "business, dépass, l'intérêt moral", et donc je suis prêt à le vendre un groupe théoriste par exemple, ou un état qui aurait évisé d'attaque ou autre. Et ça, le risque, c'est que ça vienne trop tard et que ça nous dépasse une certaine façon, comme le changement climatique d'une certaine façon. On s'est développé, il y a ses courses, on s'est dit "ah, mais il faut réguler", mais ça a dépassé certains. C'est pour ça qu'il faut que les citoyens du monde entier comprennent la linanique dans laquelle on est les risques possibles. Ce n'est pas s'il y a rien, il n'y a aucune garantie dans tout ça. Parce qu'on doit mettre des balises, faire des traités internationaux, de la régulation et développer les capacités de se défendre contre les autres. C'est des décisions qu'on doit faire maintenant, parce que ça va peut-être prendre plusieurs années avant de vraiment mettre en place toutes ces choses. D'ailleurs, c'est la question du parallèle entre changement climatique et il y a évidemment la question de la consommation énergétique de l'IA qui revient très souvent. De plus en plus de chiffres qui sortent, comme quoi d'ici quelques années, l'utilisation de l'IA ou même de Open AI spécifiquement, on peut dépasser celles de certaines villes ou certains pays. Qu'est-ce qu'on sait aujourd'hui là-dessus, comment est-ce que vous percevez ce risque là, évidemment, en termes d'énergie et donc aussi d'impact sur le climat? C'est presque pas un risque, c'est quasiment certain. En tout cas, à moins qu'il y a une bulle qui crasse les investissements, l'attendance est exponentielle. Si on regarde les courbes d'utilisation d'énergie pour l'IA, c'est exponentiel et évidemment les expansions sociales ça ne peut pas continuer indéfiniment. Donc ça va frapper un mur vers 2030 si on extra-pole l'attendance actuelle, en sens qu'il n'y aura tout simplement pas l'énergie, même si on déploie le maximum qu'on peut aujourd'hui. Et ça, en supposant qu'on utilise toute l'énergie fossile pour nourrir ces bêtes, et puis entre temps, le prix l'énergie va augmenter et on va foutre plein de carbone dans l'atmosphère. Et le prix va augmenter déjà ces chers d'énergie, ça risque d'être bien pire parce que les gens qui fabriquent l'IA vont être prêts à payer beaucoup plus cher pour leur énergie, sachant qu'ils vont faire beaucoup de profits. Il faut comprendre que les profits anticipés de atteindre un niveau d'un audience humaine, par exemple, c'est de l'ordre de millions de milliards de dollars. Alors, ce qui est investi aujourd'hui n'est que de l'ordre du millions de milliards de dollars, milliers de milliards de dollars. Donc il y a encore un facteur mille ou dix mille même à gagner, et donc ils sont prêts a payer deux fois, trois fois, quatre fois, dix fois, ça va. Et on en revient du coup à la question économique, comme qu'on Trump veut, enfin appel à forer massivement sur Pedrole, parce que l'intérêt économique dépasse l'intérêt climatique. Mais en fait humain et sanitaire derrière, c'est effectivement la même façon sur l'IA où eux auront intérêt à ça coûtera toujours moins cher de ces énergies par rapport aux profits qui sont qui a derrière. Qu'est-ce qu'on fait dans ce cadre-là? Quelles sont les solutions, les grandes solutions que vous voyez qui pourraient être mises en place? Alors déjà il faut comprendre ce qui se passe et il faut que la population en soit alertée. C'est une des raisons pourquoi je me suis impliqué dans des comités internationaux à l'OCDE et puis ce rapport international inspiré du GX sur la surté de l'IA. Ça, c'est la première étape. Ensuite, il faut qu'on avance sur la régulation, pas qu'on recule comme ce qui est actuellement envisagé en Europe. Il faut comprendre que la régulation et l'innovation ne sont pas en contradiction au contraire. Toutes les technologies puissantes qu'on a déjà autour de nous, elles sont régulées et elles ont été développées dans un sens qui minimise les dangers pour les citoyens. Il n'y a pas de raison que l'IA soit une exception, vu qu'il y a des risques de toutes sortes qui sont étudiées dans ce rapport et discutés partout. Et puis, les gens vont vouloir utiliser l'IA de confiance, pas quelque chose qui peut se comporter de manière dangereuse, bizarre, que des usagers externes puissent détourner de toutes sortes de façon. Ce n'est même pas un discours rationnel, mais malheureusement, c'est discours dominant. Et finalement, ce n'est pas suffisant de réglementer parce qu'on aura beau avoir les règlements qu'on veut ici en Europe, par exemple. Si les scénarios dont on a discuté avec des compagnies chinoises ou américaines qui, finalement, ont un pouvoir de vie et de mort sur nos compagnies ici, ce n'est pas un scénario qu'on peut accepter. Il faut absolument investir dans le développement du NIA, mais qui soit aligné avec nos valeurs, justement. Et mon message important, c'est que c'est possible. Encore là, il y a une espèce de fausse croyance que il faut choisir entre l'éthique et l'innovation où le progrès scientifique et technologique. Pas du tout. En fait, dans la plupart des sciences, on fait les deux. Quand on fait de la biologie, on s'est mis des balises éthiques et on fait des choses qui sont utiles pour la médecine, c'est pas incompatible. On peut très bien avoir l'œuvre et l'argent du beurre ici. C'est un faux dilemme. Et dans les recherches que je fais moins, justement, c'est comment on développe avec les outils actuelles d'IA, des IA qui vont respecter les lignes rouges morales que l'on va leur donner. Et je suis maintenant vraiment convaincu que c'est possible. C'est une question d'investissement, c'est une question d'un générique. Il faut faire ces investissements. Aujourd'hui, les investissements qui sont promis anticipés par les pays européens, c'est une toute petite fraction de ce que les américains et les chinois sont en train de faire. Il faut absolument qu'on arrive au même niveau pour ne pas être prisonniers du bâton que les compagnies dominantes pourraient avoir. Et cette outil, cette forme d'IA qui réguleraient les autres en d'une certaine façon, vous l'envisagez comme quelque chose d'externe à ces entreprises et qui seraient un peu au-dessus de ces entreprises-là. Est-ce que c'est plus quelque chose qui viendrait s'intégrer que chaque entreprise accepteur et mais cela a aussi dangereux mais de s'intégrer à s'intégrer ce bloc-là, comment est-ce que vous le quelle forme ça prend? Il y a plusieurs scénarios possibles mais effectivement pour l'instant ce qu'on essaie à développer c'est une IA spécialisée à imprédire que l'action d'une autre IA pourrait être dangereuse selon différents paramètres, différents types de risques. Et donc ça serait comme une couche logicielle par dessus ce que les entreprises actuelles font. En fait elles ont déjà des systèmes comme ça et ça passe à des monitors, des gardes fou. Donc ça serait dans la linee de ce qui se développe. Maintenant je pourrais rentrer plus en détail technique mais je pense que ce qui existe aujourd'hui pour ce rôle-là fonctionne pas suffisamment et c'est pour ça que j'ai décidé d'investir de mon temps et de me consacrer un grand parti. Et il y a évidemment encore une fois c'est une projection, c'est une hypothèse mais il y a quand même un enjeu du coup de consentement au sens que ces entreprises-là acceptent de rentrer dans ce cadre-là ou que les états ont des questions se disent oui effectivement il y a un enjeu il faut qu'on l'intègre. On en revient du coup la question évidemment politique, on peut l'imaginer on va en parler dans un instant mais il y a eu certaines régulations à l'échelle européenne des choses qui ont été qui ont été mis en place. Un peu moins à côté américain ou chinois parce qu'il y a cette course très importante vers ce développement de liens. Comment est-ce qu'on va convaincre demain Donald Trump si c'est le cas aujourd'hui en Xi Jinping et de dire "non mais là c'est tiens il faut quand même que vous ralentiissiez". Déjà les entreprises elles aimeraient avoir unia qui se comporte bien c'est pas qu'elles veulent faire desia qui cause toutes sortes de problèmes en contraire ça va leur coûter en poursuite par exemple. Problems c'est simplement qu'elles n'ont pas l'incitatif de passer beaucoup de temps à explorer cette direction aujourd'hui. Si on leur met sur un plateau des possibilités qui donnerait plus de sécurité, de surté et de respect des normes sociales priori elles seraient intéressés. Après il faut voir combien ça leur coûte en tant de calcul des choses comme ça. Est-ce qu'on est sûr qu'elles le veulent tous se disant là parce qu'on pourrait se dire? Je suis d'accord qu'il faut combiner plusieurs forces pour s'assurer que tout le monde utilise des systèmes sécuritaires et là il faut réglementer. Il y a aussi une stratégie que je trouve intéressant surtout dans un pays comme les États-Unis qui croient beaucoup à la force des marchés. Ce n'est pas de dire aux entreprises comment vous devez faire pour protéger le public, mais vous devez vous assurer contre les dommages que vous y a pour écrire. Vous assurez dans quel sens? Acheter des assurances. D'accord, des assurances assurances. Et du coup, il y a des assureurs qui eux ont pas un intérêt particulier à ce qu'ils n'ont pas la même externalité dont on parlait tout à l'heure. Ils ont intérêt au contraire à faire payer une prime d'assurance qui correspond au vrai risque. Il y a une forme peut-être prie qui est merge à cause de la structure du contrat d'assurance qui fait que si une entreprise prend des risques plus élevés, sa prime d'assurance va être plus élevée et elle a un plutôt intérêt à ne pas payer trop d'assurance et donc à faire de la recherche. Vous pouvez les solutions techniques? Sauf si le prix de la. enfin, ils sont prêts à payer le prix en quelque sorte pour survivre, enfin on en revient à la question de. Ouais, c'est sûr, c'est sûr. Donc je pense qu'il faut qu'il faut un faisceau de force pour essayer de mitiger les risques. Quelle rôle vous voyez jouer l'Europe dont tout ça? Alors, il y a certaines lois de choses qui ont été mises en place, on pense à l'Ai Act, qui a déjà défini et bannis certaines utilisations présentant des usages risqués et jugés inacceptables de l'IA. Mais est-ce que le rôle de l'Europe c'est d'être régulé? Est-ce que c'est d'être de créer sa propre yame qui correspondra à certaines règles? On sait qu'il y a un mistral qui est la principale lia européenne aujourd'hui, principalement basée en France? Quelle rôle va jouer la France? L'Europe, en tout cas, tout ça en fait. Il faut qu'on soit clair sur la gestion des risques, donc la réglementation, et c'est pas suffisant. On a beau avoir des règles si on est prisonniers des décisions qui sont prises d'un d'autres pays qui vont nous faciliser. Ce n'est pas bon non plus, ce n'est pas suffisant, donc il faut aussi que l'Europe développe ses propres liats à la frontière et ça veut dire aider. les mistrales de ce monde à vraiment avancer et faire la rédée pour être capable de compétitionner au maximum. Et peut-être avoir plusieurs jouets aussi parce qu'on va pas mettre tous nos eaux dans le même panier. Et l'autre élément, c'est chercher des alliances avec d'autres pays qui sont un peu dans le même bateau. Et on peut partager le talent, l'expertise, parce que c'est quand même une course à la rédée, et aussi les coûts d'entraînement. Parce que le goût d'étranglement en terme de capital, c'est d'abord le coût de ces centres de calcul et l'entraînement, qui dépend pas d'une nombre d'usagers qu'on va avoir, mais qui va avoir une influence sur la capacité intellectuelle des liats qu'on va entraîner. Et donc ça devient terriblement rentable, mettons pour deux pays qui partagent des coûts d'entraînement et qui partagent la liat résultante. Ils vont diviser leurs coûts d'entraînement par deux et c'est quand même le coût le plus élevé dans l'ensemble. Mais par contre, c'est pas suffisant de faire des centres de calculs, parce que si on a des beaux centres de calculs, mais qu'on n'a pas le logiciel à la pointe pour compétitionner avec les autres pays qui domine, tout ce qu'on peut c'est rouler leur logiciel, donc on est encore prisonniers. Mais c'est toujours le même sujet qu'il y a il y a des années sur la question de Google en France et du fait d'avoir, il y avait quand il me semble qu'il y a un moteur de recherche français qui voulait se développer. Et c'est toujours le même sujet, c'est que ce modèle américain, ils n'ont de le pays, dans l'usage, que soit les chefs qui n'ont son prise ou d'un individu, on se tourne vers ce qui fonctionne le mieux, ce qui est le plus pratique, ce qui est le plus évident. Et donc souvent là, c'est des acteurs américains comme sur la question des réseaux sociaux. En fait, le risque, c'est qu'on soit. C'est différent. L'idée, c'est d'avoir un plan B. Si on a une menace, "Ah, je vais vous couper le rebiné." Ah non, moi j'ai mon IA qui est presque aussi bonne. Et donc les entreprises peuvent continuer à être compétitives. Donc après, il faut quand même encourager le déploiement de ces IA européennes en Europe parce qu'il y a des coûts transferts d'un logiciel. C'est pas du moment exactement, donc on va être prêt et pas avoir un gros coup de transition. Mais c'est surtout une police assurance. C'est ce genre de dissociation par ailleurs. C'est ce qu'on a la note si besoin pas pour vous attaquer, mais juste pour vous plaisser ce que vous avez aujourd'hui. Je pense qu'il y a un bassin de chercheurs extrêmement compétents en informatique, en Engénierie, en Europe et dans d'autres pays avec lesquels l'Europe s'alier. Et que c'est tout à fait plausible de même aller plus loin que les américains et d'avoir surtout parce qu'on veut développer une IA qui va être. qui va tenir compte de nos valeurs et éthiques et démocratiques. On aurait peut-être même des choses à amener qui seraient utiles pour nos compétiteurs. Je vais donner un quand même un exemple parce que j'ai l'impression qu'il y a une esprit d'effetiste en Europe. On parle d'avance perdant. Rappelez-vous que Dipsych c'est un petit nombre d'ingénieurs pendant deux ans et ils ont essentiellement atteint l'état de l'art. Donc c'est faisable. Il faut la volonté politique et ils ont eu de l'aide pour avoir toute leur puissance de calcul. Et puis faire les bons paris, pas mettre tous nos eaux au même endroit et faire des alliances pour réduire l'écoute ou ça, mais c'est faisable. Il faut pas partir perdant, sinon on fait rien. Et puis l'autre élément qui est vrai pour plein des enjeux qui sont là où on parle de risque potentiellement très grand. Même si on est pas sûr que notre stratégie va nous protéger des risques, ces risques se sont tellement grands en termes de sévérité si ils sont réalisés. Il faut faire tout ce qu'on peut. Sinon, c'est pas ça m'en déprimant mais on est presque sûr de perdre. Peut-être, ma dernière question, on a vu plein de sénareux différents, la plein d'hypothèse, etc. Je ne sais pas dans quel mesure vous d'autre côté, vous avez une hypothèse que vous gerez la plus probable si on fait des prédictions, la chose qui vous paraît la plus plausible. Qu'est-ce que vous êtes optimiste au lieu de la situation sur la dernière? Comment est-ce que vous percevez tout ça, même vous au quotidien en travaillant là-dessus? J'ai toujours été quelqu'un optimiste, c'est ce qui m'a porté pendant toute ma carrière. C'est sûr que là, je suis confronté à dépenser difficile, des scénarios difficiles à accepter. Mais ce qui, moi émotionnellement, m'a permis de sortir de cette émotion-là, c'est de passer à l'action. Et en passant l'action, en fait, mon niveau d'optimisme augmenté, les recherches que je fais me disent "Oui, c'est possible de développer des yas qui vont pas nous nuire, soit parce qu'il y a des humains qui leur demandent ou d'elles-mêmes". Et puis bon, finalement, je pense que le côté technique, il est plus facile, pas de bon, je suis un chercheur, je suis pas un politicien. Donc pour moi, c'est plus accessible. Sur le politique, je pense que l'enjeu est quand même plus difficile, mais je suis rassuré par certaines choses. Par exemple, récemment, les pays européens ont pris une décision énorme d'investir massivement en défense à cause de la situation en Ukraine et avec la Russie. Donc, quand les gouvernements comprennent qu'il y a un risque existentiel militaire dans ce cas-là, et politique, il peut agir de manière radicale et rapide. Et c'est ça dont on a besoin aujourd'hui. Mais, je ne veux pas terminer sur notre négatif, du coup, mais, encore une fois, le sexe sur la question de l'armée, etc., il y a une réaction et des choses-là. Mais, s'argent un peu la question nucléaire qu'on évoquette à l'heure, parce que je trouve que sur le climat aussi d'autres dirait, oui, mais regardez le climat, ça tue le changement climatique. Tu des centaines de milliers de personnes, chaque année, voire plus des millions. Pour autant, alors oui, il y a quand même des actions qui sont mises en place, mais pas suffisamment vite, selon les chercheurs et les scientifiques. Donc, c'est qu'il y a deux visions et peut-être deux aspects qui sont présents ici, mais on voit que c'est un sujet en tout cas qui est complexe, mais qui pense important à évoquer. Je vous remercie pour le temps passé aujourd'hui. On a évoqué plein de choses pendant plus d'une heure. On mettrait en description tout son plein de bien pour en savoir plus, mais merci beaucoup. Merci pour les excellentes questions. Merci beaucoup.