L'épisode explore l'impact croissant de la mémoire vive (RAM) dans le contexte de l'essor de l'intelligence artificielle. La demande en RAM, notamment sous forme de HBM (High Bandwidth Memory), a explosé ces dernières années, dues à la nécessité de stocker des modèles d'IA de grande taille, qui consomment des volumes considérables de mémoire (jusqu'à 64 Go par modèle). Cette demande a provoqué une pénurie, des prix élevés et une tension sur l'approvisionnement. La production de RAM reste extrêmement complexe et coûteuse, avec des usines spécialisées et des processus de fabrication très longs, nécessitant des investissements massifs. Les principaux acteurs du marché — Samsung, Micron et SK Hynix — dominent avec plus de 85 % du volume, tandis que des nouveaux entrants comme XMT tentent d’entrer en marché. L'industrie souffre de faibles différenciateurs, ce qui rend la concurrence difficile. En outre, les architectures d'IA exigent non seulement de la mémoire vive pour les poids des modèles, mais aussi pour le contexte de conversation, ce qui multiplie la pression sur les capacités de stockage. Ce phénomène montre que l'IA a transformé le marché de la RAM, créant une dépendance accrue à la disponibilité de mémoire vive, en particulier dans les accélérateurs GPU et les serveurs. L’industrie est encore en phase de transition, avec des usines en construction, mais les effets de la demande sont immédiats et durables.
Bienvenue dans la French, le podcast qui fait monter la balance commerciale de la Tech-Française.
Aujourd'hui on va parler d'un sujet extrêmement important ce moment, c'est le sujet de la ramme de la mémoire vive, la rampe au calipse.
Il y en a plus, ça fait monter le prix, des consoles, des ordinateurs, des puissiers à des accélérateurs.
Et on va voir, bon, qu'est-ce que c'est, quels sont les enjeux, quels sont les industries qui sont touchés?
Et on va faire ça avec GBS Steve, deux experts de la ramme, vous les entendez à chaque épisode en parler.
Et bah là on va essayer d'être pédagogiques sur le sujet, c'est parti!
On est dans la French, et là on va parler du sujet de la ramme et la rampe au calipse avec un invité incroyable, un invité de marque, un invité que tout le monde s'arrache, mais là, avec nous, aujourd'hui dans la French,
et vous connaissez le jeu, on va le faire du vinaire, 4.3.2.1.1, vous êtes prêt? - Non. - Ah, celui-là il va être pas facile. - Il va être pas facile, il va c'est tout le temps qu'on avait beaucoup de mal à l'obtenir.
On a eu du mal à l'obtenir, il est très demandé mais là, on l'a eu, on l'a eu, eux, eux. - Oui, tout à fait. - Voilà, c'est parti, je suis né en 1966 à New York aux États-Unis, où je fais une première partie de ma carrière avant de connaître une période faste au Japon.
Après maître installé quelques années en Allemagne, sans vrai succès, je me suis installé durablement en Corée du Sud, où j'ai travaillé pour les plus grands noms de mon secteur.
Aujourd'hui, je suis très sollicitée par la Chine qui cherche à son tour à materer et faire de moi l'un de ses nouveaux fleurons.
- Ah, t'es difficile, il n'y a pas trop d'indices. - Ah, c'est pas simple, c'est quand même. - Pourtant, on en a fait, mais là, celui-là, il est quand même conçu. - Pas simple.
- Bon, on y va? Allez, c'est parti. - Allez, pour trois points.
J'ai accompagné plusieurs grandes révolutions technologiques, et j'ai d'abord travaillé pour l'informatique professionnelle, puis pour les ordinateurs personnels.
Le jeu vidéo est ensuite devenu l'un de mes princes et ses potes secteurs d'activité.
A chaque génération de console et de machines, on m'a confié de davantage de responsabilité, j'irais des environnements plus vastes, davantage de formation, et des expériences toujours plus complexes.
Aujourd'hui, encore, les joueurs surveillent de très prêts, ma disponibilité.
- Ah, là, ça devient. - Ça devient, je me concentre avec deux trois trucs, je pense que je l'avais.
- Mais c'est dur, là, c'est dur, elle est difficile à. - Faut la connaître.
- Depuis quelques années, ma carrière connaît un nouveau tournant avec l'intelligence artificielle, mais nouveaux employeurs, comme Nvidia, sont extrêmement exigeants.
Ils veulent que je traite de plus en plus d'informations, que je suis pas plus disponible, immédiatement, et que je travaille au plus près des cerveaux et des puissants du monde.
J'ai du même spécialisé dans certains postes très recherchés, on me fait travailler en équipe superposée, sur plusieurs niveaux, afin d'être encore plus rapide.
- Ah, oui, oui, oui, oui. - C'est bon. Là, tu l'as? - Ouais, tu l'as.
Les connus, ben, elle est là depuis longtemps, elle est assez connue, mais elle est sépartie.
Au cours de ma carrière, j'ai travaillé avec Intel, Neck, Toshiba, qui m'ont d'à Samsung, InX ou encore Micron.
J'ai rapporté beaucoup d'argent à certains de mes employeurs, parfois énormément, certains ont battit leur fortune grâce à moi, et j'en ai ruiné d'autres aussi.
Mes compétences sont faits, fois 10 en 10 ans, vous me connaissez par les petits noms comme DDR5, HBM, LPDDR6, Spine, je suis, je suis, je suis. - Ram! - Je suis la ram!
- Ah, elle fait gaffe, ça coûte cher. - Ouais, ouais, ouais, ouais, ouais, ouais.
- Parce qu'on est là, tu nous sens là depuis ta leurselamienne, donc tu. - Ouais, c'est quoi, ça, c'est combien ça?
- Ça, je crois que c'est des 32, c'est des menus de 32 gigants. - Non, ça va, ça va pas plus de mille euros.
- C'est combien ça coûte, ça? - Bien sûr.
- 32,000. Non, ça s'accoutent 1000 balles, ouais. - Oui, il s'accoutent pas.
- 32 gigants. - 32 gigants 1000 balles, c'est de le CC, c'est ça que ça coûte cher.
- C'est de le CC 6400, donc là. - Et tu sais qu'en fait, simplement, c'est. - Non, je ne se trouve pas. - Oui, c'est ça.
- Je dois les acheter, d'occasion, parce qu'il y en a, c'est un peu. - En fait, il y en a. - En fait, il y en a un peu. - Ouais, bah, c'était. - Donc là, j'ai une 2 jours de censée de coupes de cabriolet, ça, c'est d'occasion de nous croire, de toute option. - Bah là, tu traites de ça contre une classe, aujourd'hui, hein, tu vois. - Ouais, tu vois. C'est faut faire gaffe, parce qu'en plus, ça, la tienne, j'ai faire gaffe, déjà, déjà que je te dois avoir mal.
- Bah écoutez, voilà, donc aujourd'hui, enfin, l'épisode sur la rame, vous avez entendu le terme de Ram Pokalips, donc l'idée, c'est que, bah, y'en a plus, en tout cas, elle est pas disponible, elle est. - A quoi parle-de? - C'est la maire de. - Ouais, la rame, toi, quand tu travailles, si tu veux, quand t'étais si tu veux, c'était Jane Galler, hein?
- Non, c'était si, non, ça l'est, mais surtout, en fait, ben, très longtemps, en fait, ta rame, elle a la plateau, quoi. Tu as augmenté, augmenté, augmenté. - Ouais, je t'ai pas. - Et plus t'arrêté vers, pour les PC, 8/16 Giga, et en fait, ça, c'est. - Pour les gamers. - Pour les gamers.
- Ouais, mais pour les gens, enfin, toi, t'as 8/16 Giga, et puis, en fait, t'es resté pendant quasiment 8 ans avec 6 Giga-Rames pour tout le monde, et ça allait que tu regardes les laptops.
Et sur les serveurs, même chose, en fait, t'as arrivé, bon, très vite, à un serveur avec 250 Giga-Dram, pour 64 cores, et en fait, bah, c'est pu t'estabiliser ça à 4 Giga par corps, quoi.
Et là, ben, en fait, c'est plus cas, parce que, évidemment, on a déjà parlé sur les plateaux ici, c'est que c'est la première fois, depuis les années 80, que on n'est pas limité par le puissance, on n'est pas CPU-Brand, on n'est pas. Ayo-Brand, c'est un réseau où on attend les entrés centrer, on est. L'IA, c'est Mémori-Brand, et on est limité par la mémoire, et donc, bah, tout le monde en veut.
- Bah, justement, si cette épisode, c'était aussi pour débonquer, tu vois, souvent dans les épisodes, tu parles GDDR5, que tu parles HBM, tu parles de tous ces termes, là, avec plein de d'être. - Oh, absolument, absolument.
- Voilà, escrable. - Qu'est-ce qu'expert?
- Oscrable, ça ramène des points, mais. - Non, c'est d'ailleurs. - Il n'y a pas de doux, il n'y a pas de vie, qui sont. - Ah, si je l'ai. LPDDR5 qui. - Ah, voilà, ça, tu vois, pardon, professionnel.
- C'est XMT, ça. Non, mais donc, là, l'idée, c'était un peu de. faire un peu de pédagogie sur le sujet, et de d'expliquer la rame, qu'est-ce que c'est, pourquoi. Comment ça marche, pourquoi ça coûte si cher, et pourquoi l'IA, on a pensé en motant, quoi, c'est un peu ça l'objectif, parce que là, les dernières cartes. Et quoi, faire un rebuilde là. C'est quoi, c'est 204. - 208. - Voilà, il y a des bas. - 208. - 208. - 208, mais il y a des bas, comme quoi, ça redescendrait à 182.
Alors, faut savoir un truc. Les chips n'évidient, entre le moment où c'est annoncé. - De le moment où ça sort, et qui sort, voilà, il se passe un an.
Et il y a des ajustements. Par exemple, c'est pas pour rien que. Pourquoi il y a eu le B200 et pas le B100? Il y a eu un B100, il y a eu, toutes ces choses-là.
Et pourquoi les B200, les B200, elle crame, et pas les GB300, donc, où les B300, donc, il y a apparemment, on se serait entre. c'est de l'HBM4, mais ce serait entre. 280 Mugiga, où 180 12, peut-être, on essaie d'aller plus, AMD, à part de 400 Mugiga. - C'est une grosse différence, quoi.
C'est un peu comme le livreur qui dit, je vous livre, entre 9h17. - Ouais, il y a des mots encore. - C'est tout, je le réponds?
J'habite entre le deuxième et le deuxième. - C'est quoi ça? - C'est comme ça, des mertons. - C'est lui idiom, mais c'est. je m'en fous. D'accord?
Et puis il te dit "projame"? - Oui, oui. - Mais tu lui as bien montré le jet dans le port, je tente. - À la station?
- À la station? - Je tente dans le port, je t'entrais, puis ça doit le trouver.
- Non, et du coup, il y a des bains, mais c'est à peu près ces ordres de grandeur. En tout cas, on tend à ce démocratie.
- Les GB300, en tout cas, par exemple, c'est du 280 Mugiga. - Mais donc, 280 Mugiga de ram, c'est la rien qu'en ram, elle est déjà. - C'est la verre. - Ça, c'est la verre du chip, etc. - On va expliquer tout ça. On va expliquer tout ça, les différents, tout à fait.
- Mais c'est à dire qu'une puce, là. - C'est là où on stocke les poids. C'est où on stocke les poids et. - C'est le cas avec âge.
- C'est là où on peut en parler aussi.
- Bah, là, plus est sorti plein de terrains, c'est des démunqués. Alors, qui veut se lancer? C'est quoi la rame?
- C'est très simple. C'est évidemment des gens d'IBM, évidemment dans les années 60, et évidemment dans l'état de New York,
c'est déjà toute la base de l'informatique, c'est quasiment à chaque fois ça le subingo, et en fait, c'est juste un transistor dans lequel, à côté, tu as un condensateur.
Et donc, comme tout condensateur, retourner à vos cours d'électronique, c'est exponentiel des croissants. Donc, en fait. - Comme chacun, c'est. - On a l'équation différencielle classique, en fait, du consentant de condensateur, c'est. - C'est vraiment d'écocié.
- Le classique. Et en fait, donc, ça veut dire que tu as une perte de données, et donc, en fait, au bout d'un certain temps, en fonction de la puissance du condensateur,
le condensateur, c'est le truc qui fait que quand vous avez débranché vos appareils électriques, vous y a encore la lead,
ça lui met avec vous attendez 10 secondes. C'est exactement comme ça que ça marche.
Sauf qu'en fait, ce qu'il faut faire, c'est, il faut rafraîchir, puisque quasiment, donc, toutes les secondes, toutes les deux secondes, en fait, on perd la donnée.
Donc, c'est pour ça que ça s'appelle de la dérame, comme dynamique rame, c'est dire que quand tu enlève l'électricité, les données se perdent.
Les rames, c'est random, access, mémorie, et pourquoi c'est à l'éatoir.
- C'est pas vraiment un éatoir, c'est un mauvais terme, mais par rapport au discuture rotatif où tu te mettez un endroit et t'attendez que ils tournent pour pouvoir lire.
Là, tu peux accéder à n'importe quel endroit, parce qu'en fait, c'est comme si y avait une matrice, et en fait, tu veux polir n'importe quel bit.
- Cordonnée. - Au moment où tu veux, sur le discuture, il faut attendre que ça fasse toujours complet, à l'époque des discutures, à l'époque des discutures.
Oui, mais ça revient les discutures parce que les SSD, ça coûte cher aujourd'hui.
Mais donc voilà, donc, c'est une mémoire, c'est la mémoire vive en fait, en français, d'ailleurs, ça se dit mémoire vive.
C'est la mémoire qui fait tourner tout ce qui se passe dans le micro-processeur jusqu'au prochain, jusqu'à ce que vous l'éteignez.
Au contraire des disques durs ou des SSD, des mémoires qu'on a dit "morte", d'ailleurs, avec les français qui appellent ça, des mémoires mortes,
ou les rommes, ou les disques durs, comme Rydonie Mémorie, et donc la dynamique rame, c'est donc vraiment la mémoire vive.
Donc la mémoire morte, comme le fameux, tu perroires de la mémoire mortes.
- C'est le célèbre tepeur ouerre de la merborte. - Écoutez, il fonctionne.
- Ça marche. - Ah, t'as pas oublié ici, pas vraiment.
Ce qu'on ignore, c'est que la formatique, ce n'est que des hiérarchies,
de mémoire, la mémoire vive, la dérame est une hiérarchie, très utilisée, on en parle beaucoup,
mais il y a d'autres hiérarchies après et avant, enfin surtout avant, la SRAM, les registres,
les caches, il y a tout un tétout d'une hiérarchie de mémoire et suivant ce qu'on fait, on accède à…
Exactement, notamment dans le micro-processor, il faut être très important, ce n'est pas de la dérame
qui a dans le micro-processor, ce que vous appelez souvent des caches de niveau L1, L2, L3, pour ceux qui sont un peu détectes,
ça c'est de la SRAM, qui compte statique, voilà, et qui coûte beaucoup plus cher à fabriquer, que de la dérame.
Et évidemment, vos disques SSD, c'est pas de la dérame, puisque c'est pas dynamique,
c'est de fait ce qu'on appelle de la NAND, qui est justement là pour conserver les données, même qu'on n'y a plus d'extrister.
Alors, NAND, peut y aller, NAND, comme négative NAND, c'est-à-dire c'est les portes logiques,
parce qu'avec les NANDs, on peut faire tout un tâche chose, on peut faire tout le… je crois, tout le circuit logique en combinant des NANDs.
Moi, justement, la meilleure antifort que j'avais entendu sur… elle me rappelle, mais quoi d'informatique d'époque,
mais la meilleure pour l'expliquer, c'était entre le processeur, la mémoire vive et la mémoire morte, si tu veux l'appeler comme ça,
mais c'était en rôle processeur, c'est dans un bureau, c'est la personne qui travaille, la mémoire vive, c'est le bordel qui est sur le bureau,
et il a la mémoire morte. Alors, c'est les affaires, c'est-à-dire que…
C'est-à-dire que j'étais fort, et en gros, si il y a la mémoire vive, si tu veux, la mémoire vive, c'est la pièce,
les caches, c'est le bureau, tu vois, et peut-être que les registres, c'est dans la tête.
Et donc, je disais, parce que dans le cadre, par exemple, des GPU, des accélérateurs pour LIA,
c'est des sujets qui, dans le cadre des processeurs, il y a plein de latin de raisons, ça avait été abstrait,
c'est-à-dire que, par exemple, dans le cadre d'un processeur, si on dit que le cache, c'est le bureau de la personne,
et quand la personne, elle va lire un dossier, elle va prendre un dossier dans l'armoire,
dans le cadre d'un processeur, le dossier passe forcément par le bureau.
- Oui, ça c'est très important, des gens oublins, c'est qu'un micro-processeur ne peut pas lire les données sur un discuture,
voire même pas dans l'arame, un micro-processeur, il peut lire quasiment que des registres qui sont…
- Très travailler sur des magasins. - Une dizaine de mémoires très, très proches,
mais c'est vraiment une dizaine quand tu peux mettre quelques octets, qui sont en lien avec les cache,
donc là est SRAM qui peuvent être lu, elle a un très, très rapide, elle doit un peu moins rapide et de plus en plus gros,
pour donner une idée, aujourd'hui, elle trois d'un processeur, c'est vite 27, 30 méga quoi,
et ensuite tu vas en ramme, mais tes registres, ils sont à la vitesse du cycle du processeur,
le cache il est quelques cycles, quand tu vas, en fait, plus ou moins en ramme, tu as des milliers de cycles,
alors pour vous, c'est rien, parce que t'es en micro seconde, oui, mais le processeur, il est en nano seconde,
donc c'est quand même beaucoup plus lent, et quand tu vas sur un discuture, c'est très, très lent par le milliers d'onde,
donc c'est un million de fois plus lent que… - En gros, on voit ça sur le micro, mais que milliers, mais dizaine de micro.
- Ça dépend, c'est un discuture ou un SSD, mais… - Ouais, c'est vrai, c'est vrai, mais c'est ça les heures de grandeur,
donc en fait, en général, ce qu'on appelle, c'est la hiérarchie des mémoires qui, à chaque fois, descendent de grandeur,
évidemment, les dernières sont les plus lentes et les moins chers, ça sont quand même encore moins chers que le discuture,
c'est les bandes. Voilà, et là, la tendance, c'est plusieurs minutes pour aller lire des données.
Mais donc, plus tu fais de la mémoire proche du micro-processeur, parce que tu veux leur rapidité, plus ça coûte cher.
Et d'ailleurs, et ça, c'est absolument critique, c'est une des raisons, on en parlera après, mais qui explique comme ça, c'est pénurie,
simplement, c'est le rapport pris, densité, vitesse, c'est-à-dire plus c'est rapide, plus c'est dense, plus ça coûte cher.
Et ça, c'est absolument fondamental parce qu'il y a d'ailleurs une animation comme ça qui est très connu où on voit en gros la vitesse,
si tu veux, c'est une balle qui va en gros de gauche à droite, et suivant le type de médias, en fait, on voit la vitesse relative de chacun.
Et ça, c'est absolument critique parce que, même quand on programme pour ceux d'entre vous qui prendra bien, c'est-à-dire vous tous, c'est-à-dire vous tous.
Il y a plein de choses qui sont cachées par le processeur aujourd'hui, les caches en particulier, qui, dans le domaine de l'IA,
alors, pas les GPU, mais dans le domaine de tous les nouveaux chips qui arrivent, où ces hiérarchies ne sont plus cachés, mais carrément exposés de manière explicite,
parce qu'on ne va pas, par exemple, gâcher de la place en cache, avec une donnée qu'on sait qu'on va utiliser une seule fois.
Donc, il y a une forme de coup plage qui se crée entre finalement l'architecture à logiciel, en tout cas, l'architecture matérielle et logiciel,
et donc une réexplicitation de choses qui, dans le cas des CPU, par exemple, étaient cachées, et donc ça, ça devient un cache.
Et donc ça, c'est très explicitation de la hiérarchie de la mémoire et du stockage d'ailleurs, persistant, pas persistant, et un truc qui n'est pas tout nouveau, mais qui revient, Mac12 là, sur le devant de la scène.
Il faut bien comprendre, la HBM, c'est juste une forme de déram, il y a des plans de gens qui disent "oui mais c'est pas pareil", en fait, la HBM, c'est. - HBM comme "high bandouismémorie", et en fait, c'est de la déram, qu'on a empilé, en fait, quasiment en structure 3D, pour avoir plus de débi, plus de sroutes-puts, et en fait, il y a ces persées par des TSV, donc ça veut dire quoi, on a dit "srout" aux silicones via des routes, en fait, à travers le silicone, et donc en fait, c'est. - La HBM, c'est un "packaging", parce qu'il faut. - Il y a un truc important, je metri 3D de la déram, parce que ce qu'il faut savoir, c'est que la déram, c'est pas le même matériau que le CPU, par exemple.
- Donc pas vraiment, et donc du coup, tu as des. - Controquèmes. - Controquèmes, là.
- C'est toujours du silicium, c'est toujours des wafers, c'est juste que la façon dont c'est d'opé, et pas exactement le même, donc c'est un peu vrai, mais si tu le dis, les gens vous croient que c'est pas du silicium, c'est des wafers de silicium.
- Oui, mais j'ai apporté un ordinateur du coup, je ressort, mais on va le faire maintenant, mais je me t'étapais à un truc où justement, il y avait des sujets où tu ne pouvais pas graver de la rame.
- Parce qu'en fait, c'est après que tu as fabriqué ton wafers, la façon dont tu dopes ton cristal. Il y a plein de techniques, mais surtout, la façon de graver est évidemment différente.
Et là, c'est là où t'as raison, c'est que je lui grave pas de la rame comme tu graves, c'est. - D'accord.
- Donc en fait, t'as pas les mêmes usines, et donc une usine de rame, tu peux pas la transformer en CPU, et une usine de CPU, tu veux pas la transformer en rame.
Puisque, effectivement, il faut que tu aimes partie de condensateur. - Oui, c'est ça. - T'as une partie, en fait, condensateur, et donc, ce n'est pas. En fait, souvent, le silicium, on le dope, puisque c'est des semis conducteurs.
Donc tu le dopes, et là, tu ne dopes pas de la même façon. Mais ça reste pour le grand public, ça reste des wafers de silicium. - J'accepte.
- Tu mets des impureté, on va dire, tu mets des impureté aux deux matières, ça va, ça va, ça va, ça va, ça va. - Tu mets des impureté pour lui donner d'autres propriétés, entre gars, pour pouvoir jouer sur les bandes des semis conducteurs.
- Ce que vous savez pas, c'est que Médie est un spécialiste, un génie des matériaux, génie des matériaux, puis si on se met conducteurs, j'aurais dû rester dedans, d'ailleurs.
- J'aurais dû rester à l'intérieur, mais bon. - Et voilà, donc ce qu'important, c'est que cette HBM, c'est de la DDR, c'est de la dynamique ram, quoi.
- Mais elle est posée. - Elle est posée, de façon pas interposée, d'ailleurs.
- Et ça, les gens oublient, c'est que, entre, je grave une puce, vraiment, tu le dessines, quoi, à lui, de travioler.
Et je fais une puce, en fait, il y a une étape qui s'appelle le packaging, et le packaging, les gens ils savent pas trop ce que c'est, mais en fait, c'est vous voyez, le bout de plastique, et puis tous les pics qui en dessous de vos processeurs.
Et bien en fait, souvent, ce qui s'est passé dans, c'est qu'on a mis plusieurs processeurs, plusieurs gravures, pas forcément avec le même, la même finesse de gravure, ni le même matériau, qui sont mis ensemble de façon très, très proche.
L'exemple numéro, c'est ton téléphone. Ton téléphone, en fait, il y a une partie qu'on va appeler un modem, et donc qui fait de la 5G, de la 4G, donc ce qu'on va appeler du RF, c'est souvent, même prix.
C'est souvent une autre techno, souvent plus grosse, pour faire donc des radios fréquences. Tu as souvent justement de l'arame qui est donc pas, qui est égravé par une autre usine.
Et tout ça, c'est mis, écolez les uns à côté des autres, le plus proche possible, pour avoir le moins de l'attence possible, et ensuite, tu mets les pattes avec les petits picots pour aller sur la carte mère, et ensuite, tu mets le plastique.
Donc cette zone, en fait, qui, pas en très longtemps, le packaging, c'était juste mettant en plastique, c'est un sujet important, parce que pour la HBM, le packaging, c'est que c'est la façon de l'ailleurs.
Donc il y a une hiérarchie des mémoires, plus des proches du processeur, plus sa couture, entre guillemets, il y a des mémoires un peu plus longs.
Mais si tu as aujourd'hui les barrettes de rame, là, qu'on voit ici, il y en a des différents tailles, mais elles sont définies selon trois à critères, soit c'est la capacité, la bande passante, et la l'attence, on pourrait résumer un peu comme ça.
Souvent qu'on dit, c'est 128 Giga, c'est la capacité.
Mais en fait, oui et non, oui, mais en fait, il y a tout un tas de critères, si on s'impeille, il y a des marketingments, oui, c'est-à-dire que tu as de la plus de mémoire plus lente, plus de mémoire rapide en débit, mais avec moins de l'attence, enfin plus ou moins de l'attence.
En vrai, il y a un nombre pour ceux qu'on fait, voilà, du JKPC, de l'overclocking, il y a un nombre de maîtriques. D'ailleurs, à telle point que maintenant, il y a des standards pour que c'est, parce que chaque chip est différent, pour que c'est rame, en fait, soit calibré en usine, et puis c'est exprimé, en fait, à la carte mère, ou au processeur, en fait, à la carte mère, qu'on puisse configurer les performances optimales, parce que chaque. Ouais, c'est ça dans les ans.
Tu pouvais définir le genre 4 ans, 9 ans, etc., sur la rid et la raille.
hyper complexe.
Mais si on s'amplifie qu'en tu dis, c'est une 120 higas, 4 théraux par seconde.
La maîtrique, c'est ce qu'on appelle la sède, c'est-à-dire la casse, c'est-à-dire
le casse latency, casse qu'on part à une swap, quoi, pour faire simple.
C'est une maîtrique un peu marketing et les mégâts transfernt, c'est-à-dire le nombre
de mégâts transfernt par seconde, ça, c'est sur les rames, on va dire un peu standard.
Si on parle, enfin standard, au sens hors de l'histoire, si on parle LPDDR, donc c'est
des rames, cette fois-ci, LPDDR, qui sont contrairement au power, contrairement au LPDDR,
donc standard, LPDDR, la plupart peu de ta févreille, il y a un standard, ils sont
soudés, parce que t'as un sujet en fait d'intégrité du signal quand tu fais des traces.
Donc, pour tous les traces, c'est la même exactement longueur, puisque le signal doit se
propager, c'est un merdier, puis t'as des problèmes d'interférence.
Là, on va parler plus de bande passante, donc on va dire, ok, tant de gigabyte par seconde,
tant de terabytes par seconde, alors là, on est donné qu'elle peut transférer.
Voilà, c'est la bande passante, donc là, on est moins accès sur la latence, on est
vraiment sur la bande passante, lors de grandeur de système en LPDDR, on va prendre
des GPU, par exemple, tu vas avoir de l'ordre de 200 gigas ou 100 gigas, à peut-être,
allez, bon là, sur la tranche haute, 600, 800 gigas, c'est un peu précédent de grandeur
de transfert, de gigabyte par seconde vrai, sur, et puis après, tu as la HBM, A et Ben
Oui, donc beaucoup de bande passante, et là, on est plutôt dans leur enfin, je dis, parce
que, en vrai, tu vois, ce qu'on appelle après, là, une gamme de bambes, du mémoire que
c'est appelé la GDDR comme Graphix DDR, qui, en fait, contrairement à la LPD, ou à la
DDR standard, en fait, elle a été faite déjà pour le trop pout, pour la bande passante,
sur le pout, c'est débit, voilà, donc en fait, c'est début, c'est la première, en fait,
l'idée, c'est que tu mets des bus plus large, il y a plus de pico, et du coup, la latence
était moins bonne, mais l'idée, c'était que t'en voyais, en fait, des textures, et donc
tu as cette, voilà, donc tu voulais plus de bande passante vers le GPU, et donc c'est
doux la GDDR, du coup, et donc là, tu as, on va dire, le top aujourd'hui des cartes,
tu peux acheter, ça, GDDR, c'est la GDDR7, donc là, c'est les 50, 90, de chien d'VIDIA,
et là, t'es de l'ordre de 1,7 téraocté par seconde, la capacité transferte de donner
1,7 téraocté, mais la 7010, aujourd'hui, c'est un peu une anomalie, sur le marché,
c'est pour ça qu'il n'y en a plus d'ailleurs, parce que c'est un très bon rapport qu'il
était pris, et puis après, tu as la gamme d'autu, donc là, tu vas aller, HBM, alors,
ça dépend des générations, HBM, HBM2, HBM2, HBM3, mais voilà, si on est sur
les 3,3 e, t'es de l'ordre de 4 à 8 téraocté par seconde, il n'a même plus de temps
même, la plus de capacité, enfin, plus de bande passante, quoi, ça veut presque
60 de grandeur, aujourd'hui, les derniers chips qui sortent en HBM3 e, ça monte, la
tranche haute, c'est 8 téraocté par seconde, donc là, on est quand même sur du quittage,
toit résumé à capacité, c'est-à-dire 256, 512, bande passante, téraocté par seconde,
et là, t'attends, c'est la capacité, maintenant, c'est t'aime tout force-byte, et voilà,
c'est maintenant qu'à t'inquiérir, récupérer un info, contrairement à ce qu'on pense,
la HBM n'a pas une latence marginalement meilleure à la DDR5 normale, le par contre, ça
n'a pas t'attient, il y en a beaucoup plus en même temps. Et, dernier point, ça s'appelle
HBM, il ne s'appelle pas LM, c'est d'ailleurs, c'est d'appréhée de l'Alemne, mais
dans le cas de la. Alors, maintenant, pour LIA, ça devient un sujet, il y a quand même
un sujet, évidemment, d'en printe énergétique, puisque la HBM est très, très énergivore,
qui dit énergivore dit refroidissement? Énergivore dit consommation électrique, il dit
chaleur, donc dire refroidissement. Voilà, et donc, il y a tout un sujet, et maintenant,
en plus, on rajoute, parce que ça rentre maintenant dans le mix, la disponibilité.
Du coup, la disponibilité, la complexité du packaging, tout ça, maintenant, c'est des
sujets qui sont de première ordre, c'est pour ça que l'RTX 50/90 quand elle est
sortie, c'était de la. D'ailleurs, pas que pour la HBM, mais du meilleur général
à la mémoire, c'était 1,7, l'RTX Park, c'est 120 Giga, l'RTX. DGX Park, pardon,
donc le machin à 4 000 bales, là, c'était 120 Giga octennons. Il ne peuvent pas trouver
des noms mieux que ça? Ah non, c'est horrible, franchement, c'est industrie, c'est. Tu sais, tu sais, tu sais, tu sais, à ton supermarché, il a changé, il a réachelant
des tours et t'es perdu. Et tu vois, tu te dis "mais pourquoi ils font ça et c'est
fait exprès? C'est pareil, c'est pareil." C'est vraiment relou, ils le font exprès.
En fait, non, c'est des nœurs qui ils ont de leur truc, mais même, pourquoi on te
parle de LPDR, pourquoi un truc l'O-Power, c'est bien, enfin, tu vois, c'est vraiment
difficile de s'y retrouver. Il y a beaucoup de frauds, ça, il faut le savoir, il y a beaucoup
de fausses rames, ils te disent "ouais, je suis du 6400mT secondes, et en fait, tu regardes
du 4800, les gens se rendent pas compte." Ça, c'est un truc très classique, en particulier,
parce que l'industrie de la rame comme les microprocesseurs ont énormément triché. C'est
à dire que pendant très longtemps, je suis pas à l'époque des Pentium, ou des Pentium
2, en fait, il faisait qu'un seul processeur. Et puis, en fonction des résultats de
test en machine, il faisait, bah non, ça, c'est un 200, ça, c'est un 133, etc.
Ce qu'on appelle du "binding", en fait, ce que tu fais, c'est que tu fabriques que
une seule forme de microprocesseurs, mais tu le certifies à une certaine fréquence. Et
comme ça, ça te fait une gamme, en fait, ça te fait une gamme un peu, c'était une
distribution, en fait, tandac, qui sont mieux finis parce que t'as quand même des impuertés
quand tu fais le projet de quoi le truc. Et donc, quand il y a plus d'impuertés, il
y a moins de choses que tu peux activer, où il peut tourner moins vite, et donc du coup,
ça te donne une distribution, mais non moins bon, au très très souvent, en fait, ce
qui se passait quand tu faisais de l'overclocking, en fait, tu prends bien un microprocesseur,
tu chansées un condensateur, et voilà, ton microprocesseur, il y a deux fois plus vite,
parce qu'en fait, ton microprocesseur, il a toujours été capable de faire, mais Intel
ou AMD, on décidait de l'obrider parce qu'ils ne sont pas complètement sûrs ou
juste parce qu'ils n'avaient plus assez de prod. Et bah, la RAM, ils ont fait la même
chose. C'est d'ailleurs qu'en fait, très souvent, tu l'as regardé en bandouille, c'est quoi,
est-ce que c'est 8800? Tu sais, tu es 2400, 3200, 4800, 6400. Et évidemment, plus t'es
haut, plus ça coûte cher. Mais en fait, très souvent, tu pouvais trifouiller le truc parce
que l'industrie de la RAM, et je pense qu'on va y revenir, elle a eu des haut et des bas,
et des très très bas. - Bah justement, c'est un industry de la RAM, oui. - Et donc, il y a un SIM-CHER,
un de ces boîtes, et donc, ils ont eu besoin de, bah, il fabriquait qu'une type de RAM,
et puis il faisait des labels. Donc évidemment, il y a des gens qui venaient, ils testaient des trucs
de RAM, ils regardaient qu'elle marchait plus haut, ils la relabelisaient, et ils la revendaient.
- Parce que justement, si on revient un peu d'un point de vue industrie pour comprendre
ce qui se passe à l'industrie aujourd'hui, si on revient dans le passé, donc la RAM elle se
crée en 66, exactement, elle est pour refter en 68 par mec, j'ai oublié son nom dès la RAM,
de un mec d'IBM, quoi. - Après, ça part en Allemagne, non, j'ai apprécié que c'est les allemands qu'ils font.
- Il y a pendant 15 ans, pendant 15 ans, c'est américain, c'est Intel. - Ouais, forcément.
- Texas Instruments. - Et bien, c'est qu'ils t'enkoient. - Bah, c'est ce instrument, oui, bien sûr.
- Ouais, oui, mais. - Non, bien sûr, c'est un délicieux. - C'est un délicieux.
- Non, c'est un délicieux, c'est un délicieux. -T'es tranquille, toi. -Non, mais t'examences, ça existe.
-Ah, putain. -Il ne faut plus de 4-3, ça existe plus, hein.
-T'examences instrument, et donc c'est vraiment l'air américaine.
-OK. -Les années 80, c'est les Japonais qui reprennent.
-C'est quoi, c'est un petit peu? -Non, non, déjà. -Il est tel sort du marché? -Il est tel sort du marché en 1985.
-Ouais. -Et c'est. -Et c'est le Japonais qui reprennent.
C'est le Japonais, le gouvernement qui dit. Non, non, non, non, on y va. -On y va, on y va.
-Avec des lideurs forts, c'est un des consortiums, et tout. -Avec des lideurs, Nek, Toshiba, il y avait. -Itachi? -Itachi? -Itachi, Fujitsu? -Itachi, Nek.
-Nek? -Ouais. -F Fujitsu, Itachi.
Et l'Allemagne qui a essayé dans les années 80?
-Il s'y a pas été très long, l'Allemagne. -T'es une boîte qui monte d'eau
qui était filiale d'un groupe plus grand. -OK.
-Ben, il y a eu un hiver de l'arame, et il s'en mord direct quoi.
-T'as son, il y a plein qui s'en mord. -Non, mais il s'y est dans l'arame.
-L'arame, on faut regarder un petit peu, c'est. Il y a plus de gens qui sont morts d'essayer d'en faire qu'on réussit.
Donc dans les années 80-2000, on a la correcte semaine, notamment avec Samsung et Aynix.
-Quitais? -Avant Aynix, ça s'appelait?
-Ca s'appelait? -Yunday.
-Non? -OK, je ne savais pas? -Je ne savais pas.
-Non, c'est pas Yunday Electronics. -Ca je sais pas.
-Et on a l'Américain Micron, tu vois, qui est dans le game, dans les années.
Mais en fait, ce que tu disais, c'est que l'arame, c'est extrêmement capitalistique.
-Ca s'en fait énormément? -En fait, c'est ça qui est embêtant avec l'arame.
C'est que tu n'as pas beaucoup de différenciateurs.
Une fois que ça marche, ça marche, toi.
Pourquoi c'est pas? J'ai fait une architecture de processeurs avec des intruques super intelligents.
Une fois que t'arrives à faire ton froute-pout et que t'es compatible avec les pinnes,
tu n'as pas beaucoup de différenciateurs. -C'est pas que t'arrives.
Tu dois, en plus, c'est nivellé par le bas et par le haut.
Tu vois, t'arames les plus rapides et que personne ne peut s'en servir, c'est ça.
Et donc, c'est très, très embêtant là-dessus.
Même là, alors qu'on est en rampe au Calipse.
Si jamais on se dit "médie, viens, on va continuer une usine de ramme".
Le temps qu'on fabrique la usine de ramme et qu'on finira quoi?
On commence là en 2026, on l'a en 2030.
Tu sais pas si, il n'y aura pas une surproduction de ramme à l'époque.
Parce que ça se trouve qu'on aura fait des l'Am beaucoup moins cher.
Et puis surtout, c'est archi comme modifié.
Là, il y a un sujet de tension parce qu'il n'y en a pas assez.
Mais c'est comme les masques à l'époque.
Les masques à l'époque du Covid, ça a coûté cher.
Parce qu'il n'y en a pas.
Mais c'est un marché qui est en route.
-Oui, c'est très dur de. Comment tu te dis faire ainsi?
-Je me raconte quand elle a remont galé, à Paris, il y a 25 ans, 30 ans, pour faire ton proche PC et tout ça.
Mais qu'il proposait toujours, on en sait moins cher, 30 ans, 50 ans, 50 ans, 50 ans, 30 ans, 30 ans. -Ouais, c'est tout le monde.
-Tu vous faites vos proches PC? -Bien. -Tends, c'est les petits articles. -C'est les petits articles. -C'est un match. -T'as failli, mon soleté?
-Non, bon, non, non. Par contre, j'ai bon avoir de la barbe, j'ai rassuré un peu pragmatique.
-Non, non, mais. -T'es bien, ça ne marche pas sous le match, correctement, j'ai pas été sous le match.
-Mais ce que je veux dire, en ce cas, moi à l'époque, il y a 25 ans quand j'allais faire mes proches PC,
le mec qui me filait de la ramme moins cher, et je me disais, ce qu'il n'ait pas un train de marnaquer,
mais il me disait, non, c'est la même chose, mais que ça respecte les mêmes standards,
c'est juste qu'il faisait moins cher si elle avait été testée ou pas testée.
-Alors après, il y avait aussi des sujets pour nous autres enthousiastes, machinants,
ce qui est attention, parce qu'on va le voir après, mais il y a un énorme delta entre. Par exemple, la ramme qu'on achète nous pour les machines de gamer, la ramme pour les serveurs,
la façon dont c'est branchée, par exemple, quand t'étais gamer à l'époque,
l'idée, c'était de descendre les casse-l'Etonci pour avoir plus de paire,
parce qu'il n'y a rien quand même, ça se traduit en perfi médiate dans les logiciels.
Et donc, tu pouvais acheter, des fois, la ramme plus cher à performance entre guillemets égales,
c'est pas un mauvais deal, parce qu'elle supporte plus, on va dire, de fréquences,
tu peux monter, tu peux auvergler, il y a des certaines mérites que tu peux améliorer.
Et donc, comme tout au matériel formatique, il y a un bining, et dans ton bining,
tu peux être même cité dans l'avandir dans la moyenne gamme, par exemple,
tu peux être du côté haut de la moyenne gamme ou du côté bas de la moyenne gamme.
C'est pour ça que je suis perdée à du frampayard 2 et comme un ennemi en plus.
-C'est ce qu'on appelle, c'est juste une autre. -C'est juste une nouvelle.
-Mais comme un ennemi, qu'on pourrait redalerte quoi? -Mais, une été prête pour revenir sur le problème.
Pour revenir sur le problème actuel de l'HBM, il faut comprendre.
C'est que la HBM, on somme plus de wifers pour le même bit stocké.
Et ça, c'est important, c'est qu'en fait, quand tu transformes,
c'est ce qu'il y a, par exemple, Micron ou Aynix,
ils ont converti des chaînes de production qui faisaient de la LPDDR5
ou de la GDDR5 en HBM, ça veut dire qu'ils vont produire moins de gigas,
optés de mémoires capacitives par rapport à de la HBM.
Parce qu'à l'HBM, on somme plus de micromettes carrés,
millionnèmes d'annomètes carrés, donc mettre de wifers, et donc mettre de wifers.
Donc, tu passes à l'HBM, t'as besoin, en fait, de plus de place par bit.
Tu as un peu plus de logique, parce que tu as TTSV qui passe à travers
et t'as une certaine sacronisation.
Tu as un processus industriel qui est un peu moins efficace
parce que tu te permets d'avoir moins d'erreurs, moins d'impuretés,
moins de petits soucis, parce que c'est souvent pour des serveurs,
donc c'est un peu comme de l'OCC, donc tu fais un peu plus d'attention.
Donc en fait, tu produis moins, alors, eux, c'est rentable,
mais donc, mathématiquement, ce que tu fais,
c'est que tu augmente la pression sur le nom de giga-octé vendu, quoi.
Juste finir sur 2010, 2025, 26, donc ces secteurs,
il reste vraiment Samsung, Aynix et Micron qui représentent 90% du marché.
85, hein, 87,4. Alors moi, j'étais à Taiwan,
j'ai rencontré une boîte qui s'appelait Nania et pas Nania.
J'étais mieux dans les yeux que j'étais.
Et en fait, eux, c'est un des quatre, il y a un petit,
en fait, il y en a quand même quelques ans des tout petits.
Il n'y a pas que c'est trois là, mais c'est vrai que les rasos
prennent des miettes, quoi.
Donc là, il y a un chinois qui est venu, là,
qui n'est pas remarché. C'est exempté.
C'est exempté, lui fait principalement de la déramme.
Il fait pas trop d'HBM.
Il fait de la LPDDR5, qui cherche à faire de la LPDDR6, si j'ai bien compris.
C'est ça. Et le truc, c'est qu'en fait,
il y a tellement de. La HBM est tellement de monde m'en ai parlé.
On va voir ce que c'est avec l'HBM avec JBM.
Oui, que du coup.
Mais donc il y a tellement et ces micrônes, quand même,
j'arrête de faire des darrams pour gamer.
J'arrête de faire de l'arram pour PC.
Je fais de l'arram pour accélératoria.
Que, en fait, il y a une fenêtre qui s'est ouvert.
Et que les chinois, bon, ça fait 10 ans qui sont là, mais on dit, on va recèrer l'arram de papa.
Il y a d'ailleurs, je vous invite à regarder.
Il y a un documentaire très bien de hasionnométrie là-dessus sur l'histoire de l'arram.
Et voilà, l'émergence d'acteurs chinois et tout,
c'est des projets à 10 ans.
Il y a un nombre de ratés, de trucs qu'on était au tapis.
C'est pas pour rien qu'il y a trois constructeurs.
On va dire, même s'il y a un satellite autour.
Mais c'est pas pour la fabrication de mes propositions, en fait.
Les usines coûtent très très cher.
Et le paramétrage des lignes de production, c'est un truc de psychopathes.
Parce que justement, il y a vraiment deux aspects qui sont liés à l'aspect capitalistique des choses.
C'est que, un, ça m'éduitant, ça coûte très cher.
Donc, ça dépend du marché.
T'as prévu tant de cipé sur 4 ans, puis finalement, le marché est très cool.
Et donc, tu tombes aussi parce que, vu qu'il y a peu de différenciation,
comme tu disais, vu qu'il y a peu de différenciation,
et ben, la seule compétition, elle se fait parler pris.
Donc, quand il y a la surproduction, parce que tout le monde s'y est mis,
il y a une vague, les prix baisses.
Alors, on va voir qu'avec l'y a, c'est pas encore le cas.
Mais les prix baisses font écouler les rendements capitalistes.
Donc, c'est pour ça que certaines boîtes tombent et se font acheter.
Et le troisième point, injustement, ce que le troisième point que tu disais,
c'est qu'en plus, c'est très compliqué.
Parce que l'apprentissage, il est très dur.
Il faut faire des millions pour apprendre à maîtriser les paramètres.
-J'avais quelqu'un qui m'avait raconté
qu'il était dans l'industrie de la lithographie.
Et il disait que, si jamais, tu vois, tu ne mets dans le cas barge à vêle,
tu vois, il n'y a plus d'ordinateurs, il faut tout reconstruire.
Et ben, en fait, on va mettre plusieurs générations
avant de pouvoir de micro-processeurs,
avant de refaire des micro-processeurs.
Parce que le tueing des chaînes de production,
t'as besoin de micro-processeurs assez puissant pour être capables de le faire.
-Ah oui, quand j'ai fait mon stage à Minatek, avec Grenoble.
Donc, c'est là où il y avait des salles blanches,
et on avait fait des Wesseurs.
J'ai laissé qu'ils sont à l'endroit, mais j'ai essayé ici.
Je m'en rappelle, il y avait un dicton d'un des mecs de salles blanches.
Je suis disait, il faut 100 ans pour faire un rap centenaire.
Tu peux pas le processer, tu peux pas le paralyser.
Et ben, l'apprentissage des chaînes de fabrication, c'est ça.
Il faut en faire des millions pour ne plus faire d'erreurs sur un million.
Tu peux pas faire autrement.
-Et voilà, et ça, c'est un. Donc là, on est un peu dans un cartel, en fait,
une sorte de. je ne sais pas, c'est-à-dire qu'il n'y a pas une olie-gopole,
et c'est le capitalisme, monsieur. -Ouais, mais en fait, c'est même pas ça, c'est que c'est très difficile de dire qu'on y va, quoi.
C'est très difficile d'y aller de savoir à qu'est-ce qui va se passer.
Là, on sait qu'on va être en pénurie-drames.
Alors, je suis désolée pour en nous édition au moins deux ou trois ans.
-Ceci n'est pas un avis financier.
J'ai appris que ça ne l'est dire.
-C'est vrai que la même merde.
Pendant deux ou trois ans, ça, c'est sûr, mais c'est trop tard pour faire avec les nouvelles usines.
Alors, il y a pas mal de usines, en cours.
D'ailleurs, les mêmes, Aynix, Micron. -On va eux, ils montent le potard.
-Et Sam soum.
Et évidemment, parce qu'en fait, eux, ils ont déjà des usines.
Donc, en fait, ils font d'où elles chaînent de production et ils peuvent. Et puis ils ont la compétence.
Mais il n'y a pas beaucoup de nouveaux entrants à part le Chinois de SXMT, quoi.
-Et. -Excepté.
Alors, l'Europe a fait un chips acte de 0.0, où elle dit qu'il faut des capacités,
qu'elle prévoit 15 à 30 milliards d'investissements.
La France, elle s'est allée-t-il?
Il y a des technologies de recherche assez avancées, il y a eu 100 millions.
-Oui, c'est un de faimisme.
-Mais, mais ce n'est pas en preu de quoi.
C'est compliqué.
-Le truc, c'est qu'il y a. C'est comme tout, c'est-à-dire qu'il y a. C'est un sujet. Tu vois, de levier, par exemple, si demain, tu devrais faire un fab.
Est-ce que tu ferais un fab de nanomètre, ou est-ce que tu ferais un. Et donc, tu sois à la frontière du semi-conductor,
ou est-ce que tu ferais un fab, peut-être, avec un processus plus gros,
mais qui, du coup, t'as même plus de volume.
Surtout, surtout, en fait, si tu veux, l'angle mort qu'on voit pas,
il y a tout un tas de choses dans un iPhone.
Il y a la puce d'Apple.
Mais il y a tout un tas de puces, par exemple, pas mal,
qui sont, en cas de l'iPhone, parestés.
Et donc, c'est plus ça, n'ont pas besoin de process.
Donc, t'as quand même un. C'est une question plus compliquée que juste dire, il faut être à la frontière.
Ou pas du tout.
-Bah, par exemple, c'est XMT.
Ils ont dit qu'ils ne font pas de l'HBM.
Ils partent en disant juste, on va faire de l'IPDDR, de l'ADDR classique.
C'était pas Facebook qui avait commencé à faire des. Des cartes avec des interposers.
Ouais, des interposers pour récupérer de l'arame, pour. Ils ont fait un truc où tu peux. Ils convertissent, en fait, les signes ADDR5 en ADDR4.
Et ils peuvent réutiliser, du coup, l'arame, alors, moins vite, évidemment.
C'est accepté, moi, j'adore le move.
Il y a une fab de la frontière, comme ça, qui s'appelle, je crois,
les trois voleurs et l'an.
T'as un an qui arrive et t'as un voleur qui essaie de le voler.
T'as un deuxième qui essaie de le voler, ils se battent.
Puis t'as un troisième qui arrive et puis qui le prend, qui s'en va.
C'est le fameux meme de "China, do no sing, win".
En vrai, ils n'ont pas fait. Tu n'as pas écrit pas, c'est le chat de Chuck Gimping.
Tu vois, ce que c'est le chat.
Et puis, donc, c'est Gene Gimping en chat.
Et il y a écrit "do no sing, win".
Do no sing, do no sing, win.
Ok, je ne fais rien avec me.
En vrai, ils n'ont pas du no sing.
Ils ont trouvé un bon intéressant,
parce que la raison pour laquelle ça s'est passé,
c'est parce que les autres ont arrêté de le faire.
Oui, bien sûr.
Mais ils sont à la bourre.
C'est ça qu'ils font du camp d'chumeur.
C'est pas une pénurie drame, c'est une explosion de la demande.
Oui.
C'est ce que l'on demande.
Il y a un marché qui n'est pas du tout le marché qu'on a d'habitude.
Mais surtout, c'est une demande qui va continuer.
La toute les études, elles vont entre les cinq prochaines années.
Une demande qui va faire entre foie 2 et foie 4.
Ceci n'est pas ça, parce que ces études-là,
elles sont toutes choses égales par ailleurs.
Faites par des gens qui veulent regarder la rame.
Non, mais elles sont toutes choses égales par ailleurs,
où elles prennent l'état du monde et elles projettent.
Oui.
C'est comme nous, en fait.
La fin de l'autre, ce que l'on voit.
Parce qu'en fait, c'est de rêver par quoi,
c'est de rêver par les architectures de modèle,
qui ont besoin de l'armement.
On va arriver au vrai sujet.
-Poussais-moi, es. -Poussais-moi, es. - Et si on en parle, les choses sont bien différentes,
il y a un besoin évidemment.
Il y a un déploiement généraliste,
les autres paraît pour l'énergie.
Les autres de grandeur,
on va être plus intéressant que le juist ira la ligne.
- Justement, pourquoi depuis 10 ans, ça explose,
en particulier depuis 5 ans?
- 3, 5 ans, on depuis le même 2 ans.
- Ça explose, c'est explosant, c'est explosant.
- C'est pas qu'on a dit qu'il y a 3, 4 ans, c'était plat.
- Il y a un an, il y a un an, il y a un an.
- Attends, moi, j'étais marrant.
- J'étais délaptop, j'étais délaptop avec 70 gigants d'rames.
J'étais demandé 6 mois après, il m'a dit, "Ah, c'est bon, vous savez, c'est le prix douler."
Tu fais, "Ah oui, quand même, c'est ce pas bon!"
- Mais il n'y a pas vu, la maison, quand tu dis ça en mode.
- La maison, quand tu retournes une rame,
une matériel d'effectue avec de la rame,
il te rembourse, il te remplace pas.
Il y a des trucs comme ça, d'ailleurs, il y a un choix
qui est un type qui a ouvert un procès contre ma chambre.
Parce qu'il avait acheté de la rame, il y avait un problème, il l'a renvoyé dans la garantie.
Et même le fabricant a dit, "Non, non, on vous rembourse."
Et bien, non, on vous me l'a remplacé.
- Non, non. - Parce que t'as acheté un truc à 200 euros.
Et là, il l'a ramené. - Non, il l'a ramené dans le rythme.
- Ah oui, non, mais ça. Ah oui, donc là, c'est. - Ah non, non, non, on ne se rend pas compte.
- Non, mais, et puis surtout, donc c'est très récent, quand même.
Enfin, ça fait deux ans sur tout, mais ce n'est pas fini, quoi.
Et la demande n'avait pas fini et même avec toutes les capacités de production,
ce qui sont annoncées, ça va pas fit le modèle.
- Donc là, il n'y a pas de gamer en ce moment, tu vois, c'est sûr.
- Ouais, ou est-ce qu'il y a une peste, quoi.
- Ouais, tu le fais subsidiser, ou sur un Mac.
Et donc, ça fait trois ans que la rame vraiment explose.
Notamment. Et c'est à cause de Lyac, qui a capace tous tes capacités.
- Non, c'est à cause, non, c'est à cause de la rame, je crois que là, c'est à cause.
- A cause des capets. Alors, pourquoi, aujourd'hui,
ce que vous pouvez nous expliquer, pourquoi Lyac consomme autant de rame?
- Tu vois un modèle?
- Moi, je vois un top modèle.
- Ok, tu vois ton top modèle, il a plein, plein, plein de neurones.
- Ah, ça, c'est un top modèle.
- C'est un top modèle.
- Toutes les entrées doivent passer par tous les neurones
à chaque fois que t'as des entrées du modèle.
- C'est-à-dire si j'ai un modèle avec 200 milliards de paramètres.
En fait, dans ton modèle, comme il dit GB,
à chaque fois que tu gênères en bout de mots, tout le modèle est lu.
- Donc à chaque fois que je génère un token, donc un demi-mône,
c'est l'absolation. - Si ton modèle, il fait son gigat,
il doit lire son gigat pour générer un seul token.
- Voilà, c'est ce qu'on appelle le décode.
Et tu as un autre mode qui s'appelle le préfilm, c'est-à-dire que c'est l'analyse des tokennes.
Donc là, tu vas lire le modèle en une seule fois aussi,
mais pour tous les bout de mots, en parallèle, au début.
Donc là, ça c'est bien pour les GPU, parce que ça l'est fait travailler.
Puis tu lis une fois le modèle.
Mais une fois que t'as lu les tokens que tu devais analyser,
donc coup-cou, comment ça va?
- L'analyse. - D'accord, comment ça va?
- À chaque token, il va devoir relier le modèle.
Et donc, on passe d'un régime, ce qu'on appelle "compu de bande",
c'est-à-dire "limiter" par la capacité de calcul.
- Ah! - Un régime? - Un régime.
- Donc si j'ai un modèle qui fait son gigat pour coup-cou, comment ça va?
D'y token à peu près?
- Il va faire 10 fois. - Imagine ta mémoire, elle fait interrocté par seconde.
- De vous en parler, c'est à vous de Médie. - Je sais plus, je suis perdu. - Médie, c'est en dizaine de terres-bites.
- C'est à moi, il te ressort des fables de la frontière comme ça. - Par contre, tu n'as d'accord?
- J'ai jamais tu l'entendais si tu sois des fables de la frontière. - Jamais, jamais.
- J'ai fait normalement, c'est le Corbole Renard. - Tu penses que moi, j'ai fait là?
- Oui, tu t'as fait. - Oui, je suis là.
- Il est extra-affiché à l'écran, et vous verrez.
- Non, mais tu vois, si ta interabyte par seconde,
avec ton modèle, il fait 100 gigats, physiquement, tu es contraint à 10 tokens par seconde.
- Ouais. - Du coup.
Et là, c'est d'un moment qu'on dit "interravail", c'est beaucoup, tu vois.
- Mais en fait, 10 tokens par seconde, ça ne paraît pas. - Ça fait deux, trois mots par seconde
que c'est même pas une discussion. - En génération, ce qu'on appelle en génération,
donc en décode, d'où le fait que avoir de la mémoire à haute bande passante
avec beaucoup de débats éclés? - Oui, parce que quand t'as un intérêt,
t'es 10 tokens, quand t'as 8 érats, t'es 80 tokens.
Et sachant que c'est 80 tokens, pas pour tout le monde, c'est 80 tokens.
Si tu parales les listes ça pour plusieurs personnes en même temps,
si tu as deux personnes, c'est 160 tokens.
Donc tu as une séparation entre la latence, donc le nombre de tokens par personne
et le trou pout de la bande passante, c'est à dire le nombre de tokens total que tu génères.
- Et il y a un autre sujet, dit donc Steve, on met quoi dans la ramen,
mais les poids du modèle, mais qu'est-ce qu'on met d'autres dans la ramen?
- Déjà, tout à fait, mais alors, il y a un autre problème,
c'est que comme les modèles sont très gros et que vous avez besoin de les lire
x-fois par chaque token, à chaque token, tu t'enles lire à chaque token,
il y a eu une très forte demande du coup sur la HBM.
Cette demande, elle a asséché, si tu veux, tout ce qu'il y avait autour.
Déjà, il y a eu deux choses.
Il y a eu, parce que tu as différentes catégories de ram, les rames serveurs,
les rames gamer, la HBM, la LPD,
ces choses, les rames dans tes téléphones, qui sont plutôt LPD.
Donc, par effet de bord, en fait, ça a asséché, d'abord, la HBM,
elle a asséché les autres trucs, donc ce qui tombe en premier,
ce qui est marre, parce que dans le cadre d'une video, le gamer, c'était quand même un gros marché.
- C'est les plus cas. - Donc quoi?
- Ça n'est plus croire. - Oui, il y a que les gamers qui pensent qu'il y a une video,
pas encore au gamer, c'est fini, hein. - Pour l'instant, on pré-garde.
Ça sèche tout, si tu veux.
Donc, comme ça, sèche tout, en fait, en plus,
un besoin de demande, parce que, soudainement, on fait plus de serveurs.
Donc, soudainement, la demande absolue de ram,
parce qu'on veut plus de serveurs, elle monte.
Donc, en fait, tout ça, ça crée des effets de bord.
Et donc, déjà, on a une contrainte, simplement,
parce qu'il y a une redirection de la rame de l'équilibre, en tout cas,
vers une partie du marché.
D'abord, c'était l'HBM.
Après, ça a été la LPDDR, qui aspire,
parce que, du coup, les gens essaient de sortir de l'HBM,
parce que ça consomme beaucoup de mémoire, de dénerre,
donc, est-ce qu'on ne peut pas faire avec plus de LPDDR?
Bref, il y a de plus qu'on achète, par exemple, dans la nature.
Je ne sais pas, par exemple, les Intel B70, c'est de la LPDDR.
Dans la nature, ça a été opposé, chez le vigueur.
Ah, chez ton pot et une vigueur, parce qu'une vigueur, c'est un peu. On va dire, c'est la tête du client.
Donc, un vigueur, c'est dans le Corleon.
Voilà, tu peux t'égérer, tu peux t'égérer, tu vois.
Donc, voilà.
Et comme disait, du coup, GB, malheureusement, dans la. On appelle la V-RAM, donc, c'est-à-dire, on parle de V-RAM au sens V-D-U,
comme est-ce que c'est des GPU graphics.
Mais en fait, quand on parle de V-RAM,
c'est un peu plus généreux, on parle de la rame dynamique,
et le plus proche de l'accélérateur.
On stocke pas que les poids, on stocke un deuxième truc,
bien chiant, c'est-à-dire, qu'avec, ça me cache.
Alors, c'est quoi le québécache?
Qu'est-ce que le québécache?
Alors, c'est qu'à comme qui?
Que le québécache?
Alors, en vrai, on dit qu'avec,
mais en fait, je re-duis, par exemple, dans le modèle dipsych,
c'est pas ça, mais. Faut me faire faire l'équivalent, c'est ça le québécache.
En fait, c'est un québécache, mais bon,
on appelle ça le québécache.
Un contexte, quoi, c'est. C'est l'étoile de la conversation. Voilà, donc, à chaque. C'est du fait que ton modèle n'est pas un moineau.
Exactement, et à chaque token, on va créer, donc,
si on prend un architecture l'amat,
on va stocker, en mémoire, pour la conversation actuelle,
une série de clés, de cas et de valeurs,
et un troisième, donc, c'est des vecteurs.
Et donc, en fait, finalement, on peut faire un calcul. Donc, ça, c'est par lesilleurs, par token.
Par têtes.
Par têtes, en plus.
Par têtes, parce que l'amat 3, ça va être 8/8.
Ah, voilà.
8/8, ça va être 8/8.
Oui, mes groupes 4, tu vas, donc, du coup. Donc, du coup, tu vas avoir tous ces trucs là en même temps,
donc, tu vas avoir une empreinte, si tu veux,
combien de kilobytes de gènes.
Donc, l'amat, c'est de l'ordre de 15 ou 16 kilobytes par token.
Donc, tu vois, quand tu as un token de 1 million,
ça commence à. Et donc, par exemple, le calcul classique,
c'est un cas un liama 405b, donc le gros. 155 milliards de paramètres, 155 milliards de paramètres.
Donc, il a 8-188 dimensions, etc.
En FP16, donc en flottant sur 2 octets,
ça consomme 64 gigas octets de ramens.
- C'est un fait ramens. - C'est une conversation.
- Une conversation.
- Donc, évidemment. - Imagine, toi, tu as des coups coups, ça va?
Là, il va dire, c'est pas grave, je m'en fiche.
Je mets du FP8, ça reste 30 gigas.
Donc, tu vois, en fait. Après, c'est des lames, maintenant, il y a des trucs bien mieux. - Ça fait que c'était pour donner une idée, ça n'a pas de légendeur.
- Mais parce que le nombre de gens qui te disent. - Oui, mais en fait, la ramme, ça sert à se toucher les modèles.
- Oui, mais à l'époque. - Attends, tu vas voir.
Parce que, du coup, quand tu remplis ton GPU,
tu as une partie. - Taram ou le reste du jeu?
- La verra, une partie consacrée au modèle,
une partie consacrée au conversation.
Et cette partie consacrée au conversation, elle est grande.
Donc, ce que tu fais, c'est que, comme ton modèle,
il est limité par le nombre de conversations de token
qui peuvent faire à la seconde, tu parales les lises.
Mais t'es parallelisée.
C'est super, mais t'as une limite, la limite haute, c'est quoi?
C'est le nombre de conversations que tu peux stocker.
- Non, la ramme. - Dans la fameuse ramme,
qui prend extrêmement de place.
Donc, en fait, ça veut dire que. D'un coup, tu as un peu, on recarribe des cilats, c'est-à-dire,
tu as pas assez. - C'est beau, on recarribe des cilats. - C'est bon.
- T'as été voir l'Odicez? - C'est. - C'est un moment ma culture, c'est Nolan. - C'est bon.
Nolan, c'est mon pote d'enfance.
Et tu vois, du coup, en fait, tu n'arrives pas,
si tu veux, à rentrer dans un régime
où tu peux mettre assez de parallélismes
pour amortir, en fait, finalement, ton j'ai pu y faire rien à part qu'elle tente de la même mort.
Donc, qu'est-ce qu'il fait du coup, qu'est-ce que tu fais?
- Là, tu rachètes de ma nouvelle machine, tu remets des JPUs.
- Et tu remets de la ramme? - Et voilà, et c'est reparti.
Et donc, en fait, ça précipite.
Donc, le cas-vécache, en fait, la taille des modèles importants.
Mais le cas-vécache, en fait, précipite, si tu veux, cette pénurie,
puisque nous, on dit qu'elle prend demain à Paris,
c'est 25 mégabytes, tu vois, et qui sont quelque part, et que si jamais tu les effaces,
il faut les recalculer, et là, celui qui est en chi pour le calculer,
c'est le JPU, le JPU.
- Et donc, c'est pour ça que ce qui sont assez fort là-dessus,
c'est justement tous les gens de dipcyc.
qui ont énormément travaillé sur avoir des cas avecaches plus petits, etc.
- Dipsyx est en public.
- En public, c'est vrai.
- Oui, c'est vrai.
- En public, Dipsyx est un peu l'état de l'art de l'optimisation.
Alors, d'une manière générale, de l'efficience de l'inférence,
tout ce qu'ils font, on le retrouve ailleurs.
On retrouve dans GLM, on retrouve dans Kimi. - Dans Mistral. - Dans Mistral, bien sûr.
Mais parce que c'est des très bonnes. Là, on parle d'architecture.
Mais par exemple, aujourd'hui,
regardez un lama, ça a tenu longtemps.
D'utiliser l'architecture d'Amac,
on fait ça avec deux, trois, ça a plus vraiment de sens.
- Mais c'est la préhistoire, les Amatrois.
- Tu sais que c'est encore très, très utile.
- Mais je sais, mais je vois bien, mais il y a longtemps.
- Mais aujourd'hui, ça a plus de sens que nous-mêmes, on a arrêté.
Avant, on mettait la Amatrois, et comme on va dire,
- C'est quoi ton étalon? - Et c'est quoi ton étalon?
- Là, ça va être Dipsyx 4.
- 1 flash ou? - 1 flash, ouais.
- Mais pourtant, c'est un énorme modèle.
- Avant, Dipsyx 4.1 flash, c'était Queen 3.8.
- Le 4.1 flash, c'est quoi? C'est 500 milliards?
- Non, c'est. - Et c'est un médecin?
- C'est un médecin? - C'est un médecin, c'est un médecin.
Mais le 4.1 flash est de l'ordre de 500 GB.
- Ouais, c'est ce que j'avais 500 milliards.
- Un GNM52, quand tu l'as mis sur une machine à un demi-million d'euros,
quand il est chargé, quoi.
La place qui traite, c'est de l'ordre de 10 personnes.
- 10 conversations. - 10 conversations.
- Ou plus, c'est pas beaucoup de conversations pour une machine à un demi-million d'euros.
- Il y a l'appel d'argent. - Voilà, mais plus de rame. - Non, mais du coup, oui, il y a un sujet. Donc j'ai envie de faire ça.
Bon, c'est des mots, je rappelle, des mots, c'est de marrer un peu spéciaux, mais. - Non, en gros, donc t'as. - Non, non, non.
- Dites-o, ils savent ce que c'est des mixture of experts.
- Ils savent ce que c'est. - Oui, on a fait une saison avec. - C'est gentil, avec un pain de gens.
- On a dû partir sur activer à certains mots. - Parce que les mixture of experts, par exemple,
ce qu'on appelle les "white" mixture of experts, donc il y a beaucoup d'experts.
Ils sont entraînés structurnellement pour être utilisés sur non pas une machine, mais plusieurs machines.
Ce qui crée, en fait, un effet boule de neige sur très bien en citat de 1 à 2 machines, par exemple.
- Plusieurs machines ou plusieurs GPUs. - Plusieurs machines.
- Ou du "fim de la pression d'eau", mais tu vois, 16 ou entre femmes. - Ouais.
- Parce que ce qui dit de machines dit, enfin, donc t'as des GPUs, ils sont interconnectés avec un réseau.
Enfin, un réseau à un bus.
Donc en l'occurrence Nvidia, ça s'appelle le "NV-Link".
"NV-Link" a un bus "NV-Link" entre les machines qui existent aussi.
- C'est le fameux colonel immoderiel. - Voilà, ouais. Et sauf que du coup, si jamais tu bases une main de machine, la question, c'est très bien.
Elles sont connectées comment?
Et donc elles doivent être dans le même rack.
Et si elles sont dans le même rack, ça veut dire qu'elles sont dans le même array électrique.
Donc tu commences à avoir une contamination, si tu veux, de l'archie du modèle.
Donc en fait, qui échappe, si tu veux, à l'unité de travail qui était traditionnellement à minima.
On préférait, à la base, le GPU, ça a contaminé la machine, ça contamine à plusieurs machines.
Donc au rack, donc au réseau, donc à l'électricité, donc au data center.
Simplement, parce que le modèle, il est fait pour être rempliré de cette manière-là,
parce qu'il a été entraînée de cette manière-là.
Donc à l'univers.
À l'univers humaine.
Non mais du coup, ça pose des problèmes.
Parce que si tu l'opère de manière un petit peu, on va dire avec des dents de l'air,
tu as de la place que pour 10 personnes.
Mais donc en gros ça, ça rend tout le problème de l'arame.
Ça précipite.
Encore plus fort, c'est que tu as que des cercles négatifs, vertus négatifs, vicieux,
qui s'augmente, à une pression là, qui se déplace.
Et en fait, c'est pour ça que ça coûte plus cher, et que c'est pas fini.
Mais donc, juste pour récapituler, pour tout comprendre.
Donc aujourd'hui, imaginons l'afférence.
Pour faire tourner un modèle, je dois avoir tous les poids du modèle.
Oui.
Je dois. Alors le modèle à chaque token.
Déjà, il y a plus d'un truc.
En fait, c'est pour ça qu'on en parle au début de l'épisode.
C'est une vidéo de pedagogie pour s'amplifier, de hiérarchie de mémoire.
D'accord?
Oui.
Tu veux avoir ton modèle à un endroit où, comme tu le lies à chaque fois, tu veux avoir
ton modèle à un endroit où, avec une hiérarchie de mémoire, où la vitesse est rapide.
Il y a des approches extrêmement plus. On va dire plus sante, mais en tout cas, un peu plus, on va dire, on met le potard à 11.
Laissez rébrasse.
Ah, exemple, ça rébrasse.
C'est les plus connus.
C'est rébrasse.
Il mettent carrément les potes du modèle dans de la S-RAM.
Donc là, on est de l'ordre de 150 terabytes par seconde.
Mais évidemment, c'est pas gratuit, hein.
C'est 20, 20, 20 millions de déploiements.
Donc, c'est une approche, mais l'idée, c'est que tu veux avoir ton modèle.
Si tu mets ton modèle, par exemple, dans la S-RAM, ça va marcher, mais, par contre,
tu vas lire.
Tu vas un token de token de 30 secondes.
Donc, tu as une sorte de, tu sais, de trouver l'endroit où tu peux le stocker, suffisamment
proche.
Plus proche, tu n'as pas assez de place où ça coûte une blinde, moins plus loin, c'est
plus lent.
Et là, et ça, c'est des choix qui sont faites de manière explicite.
Et moi, je me rappelle avoir vu, c'est des pigeons à déployer des très, très gros
modèles où c'est plus en token par seconde, mais c'est en seconde par token.
Oui, mais ça c'est du par token, pour dire à quel point. Parce qu'il faut lire.
Encore une fois.
Et donc, tout ça, ça précipite si tu veux la boule de neige.
Et donc, voilà, on essaie d'optimiser.
Il y a des techniques, évidemment, parce que, à un moment donné, il faut être. Enfin, il faut essayer d'optimiser, tu co-designes, ça s'appelle.
Donc, tu vois, par exemple, des modèles qui sont faits pour être gros en mémoire.
Enfin, ils ont une certaine taille en mémoire, mais ils font ce qu'on appelle une active. Que ça fera attention.
Voilà, donc c'est les fameux MOE, c'est ça, hein, c'est par exemple 200 milliards de paramètres,
mais tout à l'heure, que 20 milliards qui sont actifs.
Donc, là, tu vas lire que 20 milliards.
Toutes les tokens, tu fais ça sur chacun des experts.
Tu boucles sur les tokens, donc, t'es vite de relire à chaque fois toute la rame,
et tu gardes la place pour ton contact.
Et là, ça marche que pour. Parce que, évidemment, ça marche que pour une seule requête.
Quand tu as deux requêtes, tu peux considérer. Le pire des cas, tu es actif, deux fois, les activations.
Mais donc, juste à activer, la totalité d'une autre,
juste pour comprendre un OpenAI, un Tesla avec un Tesla, un Tropique, ils ont combien. Je me posais la question de quoi.
Ils ont quel taille de rame aujourd'hui, qu'ils ont des centaines de milliers GPUs.
En rame, mais tu parles. Non, c'est pas qu'ils soient centaines de milliers.
Par contre, je pense qu'ils sont. Tu regardes le coffre ici.
De l'ordre de. Non, non, qui y en a, oui, mais j'avais fait le calcul. Bah, regarde, ta carte d'diat.
OpenAI, ils ont moins un million de GPUs.
Ils ont des pétades rames un million de GPUs.
Moi, je pense qu'ils ont son loin.
Imaginons, ils avaient sorti le nombre de tokens qui faisait par seconde.
Et quand tu faisais la règle de trois, tu tombais sur de l'ordre de la haute dizaine de milliers.
À l'époque, mais je crois que ça, c'était y'a un an.
Disons, puis je pense qu'ils ont un million de GPUs, puis c'est facile comme que tu es.
Ouais, voilà, c'est facile comme que tu es.
Un million de GPUs.
D'accord, et chaque GPU, il a 100 gigadrames.
OK.
moyenne, moyenne.
moyenne, on s'en fiche.
Ouais, donc voilà, donc des gens comme OpenAI, ça doit être entre eux. C'est de l'ordre du pétat.
Sans pétat, à 1000 pétats.
Voilà.
Ah, j'en ai des gis à 100, de 10 à 100.
De 10 à 100.
Pourquoi, en ce moment. Non, peut-être pas.
En tout cas, voilà, si je suis trop d'ordre. Ouais, tu vois, ça va être entre 10 et 1000 pétats de RAM.
Et on m'affichera l'écran combien coûte un peu près un pétat d'RAM aujourd'hui.
Ça va voir la facture.
Ouais, mais sauf qu'il l'achète pas, tu vois le ton prix, parce que tu vois, par exemple,
OpenAI, ils sont arrivés, on vit inix, on achète toute votre RAM en 2026 et toute votre
RAM en 2027.
Non, mais on comite.
Mais tu sais.
Et après, ils ont dit bon, Nvidia, on va vous acheter des GPUs, et puis en fait, avec l'argent,
que vous nous financerez.
En fait, on va vous commenter 100 milliards de GPU, et vous allez nous payer 100 milliards
que vous allez investir chez nous.
Quand vous étiez comme ça, vous faites augmenter vos résultats.
Et nous, comme ça, vous pouvez filer l'argent pour investir dans une usine.
Ah bien sûr, je pense que Nvidia, aujourd'hui, peut faire plus de quantitatives easing
que la banque centrale américaine.
Ah, c'est pas. Il doit voir 100 milliards de déploiements, parce que la fête, je pense qu'elle s'outrête
à Nvidia l'impression d'argent.
Non, mais attend, tu vas voir la fédérale banque à Nvidia, et en fait, elle va. Imaginez le truc, Nvidia, ils te garantissent quand t'achètes dans GPU pour faire ça.
Ils te garantissent une chive d'affaires.
En plus, quoi.
Si tu ne le vends pas, c'est eux qui te la chèteront.
D'accord.
L'Opex, tu vois.
Ah oui.
C'est ouf.
Mais donc, qu'est-ce que ça veut dire pour les 2 derniers minutes, ça veut dire quoi
sur, bien sûr, ce ne sont pas les avis financiers, mais sur la suite.
Est-ce que pour vous, la Rampocalypse, elle va s'accentuer, elle va s'arrêter,
elle va ralentir.
C'est l'heure du Kempf contre Kempf.
Kempf, Kempf, Kempf, Kempf, Kempf, Kempf, Kempf.
Kempf, Kempf, Kempf, Kempf, Kempf, Kempf.
Mais si génial, c'est de la merde.
Mais évidemment que la RAM elle va baisser 10-4 points flash à rif et montre qu'on peut
utiliser beaucoup moins de rame pour chaque LLM et comme d'habitude, tout le monde va leur
voler, leur architecture, leur intelligence, les chinois, ils sont en train de fabriquer
des centaines d'usines qui vont fabriquer de la RAM, donc évidemment, ça va baisser.
Et puis surtout, la hype de l'IA va commencer un peu à descendre et on va en avoir
moins besoin.
Donc il est évident que moins de demandes, plus de production et des trucs qui sont
bien plus efficaces, la RAM ça va baisser.
Mais évidemment que la RAM ça va augmenter parce que, en fait, les demandes de l'IA,
ça va continuer même mon boulanger, ils me demandent de l'IA, et puis les modèles
comme Dipsics, c'est cool, mais comme c'est les trucs développés par les chinois, personne
ne va y faire confiance.
Open air, ça va continuer de toute façon, ils vont aller jusqu'à leur IPO et donc jusqu'à
leur IPO, l'année prochaine, on va avoir deux plus en plus de demandes de rame.
Et puis les chinois qui arrivent, ils vont jamais être capables de faire de la HBM, ils
sont 10 ans en arrière, les Européens, ils sont pas là, et surtout, à chaque fois
tu dis "ouais, à vos investisseurs, je vais fabriquer de la RAM, jamais t'y arrive, t'es
en retard, j'ai essayé de faire de la construction, tout est en retard, la RAM, ça va être la
4e, encore 3 ans.
La PS5 a augmenté de prix, les Apple Neos Macbook.
les Macbook et en prix 200 euros, - Les iPhones augmentés?
- Les iPhones augmentés. Maintenant, il dit que c'est de 5 à 25 %.
- Mais dis-toi, ils ont tenu le truc, parce que Apple avait acheté avant.
En plus, Apple avait essayé de loquer le prix.
Et du coup, j'ai pu choisir ce qui avait dit, non, non,
vous êtes trois agressifs, on ne veut pas, ce qui avait précipité.
Enfin, tu vois, c'est un peu le bordel, mais. - Moi, je vous dis à faire des vrais effets sur l'écoule électronique.
- Mais la rame, aujourd'hui,
je vois, enfin, vu les archives, je vois à sortir.
Quand je vois le Dipsy 4-1, la pression en cas avec âge est bien moindre,
qu'un modèle, il y a ne serait-ce que 6 mois.
Et donc ça, ça va être reinvesti.
Le besoin en compute, il y a des gros gains d'efficien ce qui sont en train de se faire.
En tout cas, ceux qui ont vraiment la frontière de l'efficien, c'est Dipsy 5, de mon point de vue.
Les autres, c'est sympa, mais Dipsy, que c'est vraiment Next Level.
Donc, il y a un moyen que ça va changer par contre.
L'agentique, change énormément les économiques de l'IA,
parce que le game dans l'agentique, c'est le cache.
Et donc c'est-à-dire la persistence du cas avec âge.
Et qui dit persistence, vous savez où va aller la prochaine rame, quoi.
- Non, le prochain crunch, c'est les 10 couilles.
- Ah, c'est 10 couilles. - Enfin, la plus que 10, alors le SSD.
- Pour moi, il va s'accélérer.
- Ça y est de pire en pire, mais doucement.
- Donc, c'est une décélération. - Moi, c'est l'accélération.
- C'est la vignition de l'accélération, mais l'accélération, quand même.
- Augmentation, l'évitation. - Augmentation, en fait, augmentation de l'évitation.
- Mais moi, moi. - Ouais, c'est à dire qu'en fait,
c'est que la production supplémentaire ne va juste rattraper la catastrophe qu'on a.
Donc, on va pas partir en vris totale, mais les prix ne vont pas bouger avant deux, trois ans.
Pour moi, la demande, elle va continuer augmenter.
Elle va augmenter à 10, 15 % par an, alors que, justement, sans des architectures,
la dipsyx, ça serait à 20, 25 % donc, ça va augmenter doucement.
La production supplémentaire va permettre de faire que ça ne part pas plus en vris.
Si XMT arrive, ça va rebesser un peu la rame pour les joueurs,
pour les gens qui ne font pas d'y-a, mais ça va dire qu'on a tout petit peu le marché,
mais pas assez, ça, c'est ce que je pense.
Et je suis d'accord que l'SSD et les disque-dures, ça va en pire.
Il y a un truc aussi qu'il faut comprendre.
Quand on regarde un peu le bilove matériel d'un déploiement, il y a quoi.
Il y a eu énormément d'infrastructures, on va dire,
qui était, pendant 20 ans, on fait la virtue qui est en fait redirigée sur l'IA,
mais qui est pas tout à fait adaptée à l'IA, ça marche évidemment,
mais ce n'est pas ce qu'il y a de plus capita-l'efficient,
parce que dans un mode, enfin, qu'on dessine un serveur de virtualisation,
on se dit qu'on va stocker des bases de données dessus, quoi.
Donc, ils ont vu de la rame, eux, c'est ces trucs,
un cas-vécage, c'est ces, on s'en fout.
Tu vois, c'est le cas-vécage, il est qu'on pu,
- Tu vois, je vous régénère le bouquiment, que c'est fini, quoi.
Donc, ce n'est pas très grave en dit en database, c'est la catastrophe.
Donc, il y a pareil pour les processeurs qui sont avec énormément de cœur,
non le voir, les machines qu'on utilise.
Une fois que t'as l'audel modèle et que tu fais l'inférence,
tu utilises 3 % de la machine, quoi.
Enfin, exédaime, elle est avec VLM, c'est autre chose.
- 30 %. - Voilà, 60 VLM, mais les machines, elle fait là-dessus.
Mais quand tu commences à voir,
Jason s'y réalise dans les traces, tu dis que bon.
Mais du coup, c'est la serveur de la machine.
- Ça, il y a quand même aussi une mécanisme de toute chose,
avec elle par ailleurs, un peu, sur étagères, quoi.
Qui, du coup, là, bon, tant à la Nvidia, ils font leurs trucs à eux.
Et c'est pareil, les CPU grays, c'est pas incroyable, non plus, quoi.
On verra, mais en tout cas, grays, c'est pas le top.
- Entre grays, c'est AMD, je prends AMD.
- Moi, je remercie le Nvidia sur les noms, grays au peur.
Verra Rubin, Blackwell, c'est des vrais noms,
c'est pas des noms bizarres avec 200 points scrapes, là, tu vois.
- Oui. - Il y a une signification, quoi.
- C'est aussi des trucs, un s'appel "Cascade Lake", "Alder Lake".
- Là, j'en pense que j'ai pu. J'ai pu. - J'ai pu. - J'ai pu. - Donc, toi? - C'est quoi tes prévisions?
- Je pense que, en fait, ce qui est intéressant,
c'est que du moment où il y a un virage, déjà à l'agentique,
en fait, l'agentique favorise, on peut directement offloader les cas vécages.
Donc l'agentique, en fait, ce que ça va faire,
c'est que ça va mettre une pression sur tous les systèmes de stockage,
les OECA, les DDN, tout ce truc-là.
Donc, demandez important, puisque. Enfin, là, où, dans des vieux modèles,
à atteindre 10000 tokens de contexte,
c'était dans le modètre qu'on appelle "rag",
et donc, c'est-à-dire "Retrovert, documenté de générique",
c'est-à-dire "T'envoie ton PDF", tu lui dis alors, qu'est-ce qu'ils ont dit?
C'était l'usage, il y a un an.
Là, pour arriver à 10000 tokens, c'était plutôt rare.
Vous êtes aidé de l'ordre du cas particulier, quoi.
Là, pour l'agentique, c'est quotidien.
Pour tous ceux qui ont vu le contexte compaction machin,
c'est quotidien, donc, tu veux surtout pas regenerer un contexte comme ça.
Et comme c'est multiteurne, tu veux, en fait,
ne calculer que le delta à chaque fois.
Et donc, ça s'appausait énormément de contraintes.
Le jeu, là, en ce moment, c'est. Parce que les caches, on appelle les caches "it",
donc, c'est combien de tokens sont cachés?
T'es de l'ordre de 99,8%, bien, bien, bien,
7,89% de tokens, donc tu veux surtout les persister.
Parce que quand le lendemain tu reviendras dans ta conversation,
et tu dis alors, en reprenant en temps,
ce qu'on a fait hier et que ça reprêfilent tout, c'est l'enfer pour toi.
Donc, ça va créer une pression sur le stockage
et sur les interconnections réseaux, puisque il faut bien te faire. - C'est la question. - C'est bloc.
Et bien, moi, j'ai expliqué. - Et donc, à répondre, c'est quoi? C'est quoi, la trajectoire? - C'est pas la question.
- La question, c'est la trajectoire du prix. - La trajectoire du prix, quand ça continue monter,
ça se tagne, ça redescend. - Là, par exemple, moi, si j'vois d'y psych,
l'arché d'y psych, si j'ai généralise,
je vais voir. Alors, je mets en PNI et en tropique de côté,
puisqu'on ne connaît pas.
Mais en tout cas, sur l'open source,
moi, j'vois une stabilisation du besoin de HBM.
J'espère, parce que, en fait, la pression est qu'avec âge et moindre.
Après, t'as une mécanique aussi de mutualisation de la bande passante
quand tu fais le moment.
Donc, il y a bien dans des détails, mais en tout cas,
ces contraintes, elles sont poussées par des comptes. Je veux dire, ces effets sont créés par des contraintes d'architecture
pour être clair.
Quand un cache, la mat, 3, 1, 8, b, ça fait 15 giga pour une conversation,
on va dire, normal, 15 giga, faut se les balader, quoi.
Pareil de toutes les architectures de ce qu'on appelle "prefieds d'écoute des aggregations".
Ça, ça marche très bien pour le rag,
parce que le rag, c'était principalement, j'en ai un PDF et je pose des questions.
Là, dans un mode agentique, c'est plus tout à fait intéressant.
- Et donc, le prix. - Ils n'ont pas répondu à ta question.
- Ecoute, c'est un conseil. - Moi, je pense que ça va se stabiliser.
- OK. - OK, ça marche.
En tout cas, pour finir, par contre, les SSD, ça va monter.
Ceci n'est pas un avis financier.
Vous prenez ça sous vos propres sensabilités.
Non, mais donc, la rampeocalypse, là, c'est qu'il y en a passé.
Mais si le marché lié à ces croules sera une rampe à guédon, là.
- Ça sera là. - Tout l'extrémécissement, c'est quoi?
- C'est intéressant, c'est vrai. - Ça va être là, on va. Plus que ça ne veut pas en écouter. Ce qui chiant, par contre, avec l'HBM, c'est qu'elle a eu qu'elle est sur le chip.
Alors, le DDR, tu pourras. Mais cela dit, là, on en est. Pour être très clair, les gens ont rachet de la DDR4.
De la. Voilà, métailles, ils ont considéré que c'était plus moins cher de faire spécialement un chip
pour mettre de la DDR4 sur des cartes DDR5.
Parce que ça coûte moins cher.
Nous, les machines qu'on a fait ici en DDR5 ECC, de loin. De loin, dans certaines machines, le plus cher de la machine, c'est la rampe.
- C'est même pas le GPU, quoi. - C'est ça qui est un partant.
Aujourd'hui, il y a plein de cas où la rampe, c'est la moitié de la machine.
- Eh bien, écoute. - On se marre bien, on se marre bien, écoutez.
- On n'avait pas dit, pour la French, on ne parlait pas trop d'hier.
On est obligés d'en parler. - Non, c'est pas vrai, hein.
- Là, c'est un frein d'art là. - Et à la frein de ce 3 décembre,
on fait gagner une barrette de rampe. - Non, pas celle-là, celle-là.
- Non, mais tiens. - Moi, j'ai quand même une question pour finir.
Mais ça se fait encore les trucs avec des diodes, là, des lèdes, plus que la Jacqui-Rame. - C'est intéressant, regarde. - Ça, c'est intéressant.
- Ça, c'est l'impression que c'est. - Ça, c'est la Jacqui-R. - C'est la chumeur.
- C'est du tuning. - Ah oui, oui.
- C'est la 205 GTI de la rampe, c'est. - Ouais, mais là, je ne sais que c'est un GTI.
- Ah non, j'adore. - Comme c'est. - Deux l'hier.
- Deux tiers d'hygiens, tu vois. Mais sur la liste, ça fait le furie.
C'est une ram serveur. Ça, c'est juste aujourd'hui, là.
Tu ne peux pas en acheter. Là, je suis obligé de les acheter des fois sur le bon coin, et tout, s'il y en a pas.
- Marchez-noi. Tu vas sur. Non, mais tu vas sur tes cordes ni soins, j'ai jamais dit. - J'ai jamais dit. - J'ai jamais dit que j'ai. - Affirmant d'une seule argent, arrêtez de faire du trafic de drô. et de d'arme commencer à faire du trafic de rampe.
- Bien ça, ça va. - C'est le plus rentable, c'est de la 6400 bon courage pour en trouver.
C'était à la freine sur la rampe au calibre, voilà.
Maintenant, vous comprenez pourquoi vos PC, vos téléphones, vos ordinateurs ont pris. - Votre rigo. - Votre rigo. On prie 234 euros.
Et puis voilà, écoutez, on a passé un moment, on a expliqué. - Est-ce qu'on a été vraiment si pédagogiques pour simplifier. - C'est grave que oui.
- Ah oui, alors là. - Alors là, merci.
- Je ne sais pas bien. - Si vous avez rien, comprenez.
- C'est l'artagement.
- On peut pas tout faire non plus, à un moment donné, faut que vous nous aiediez.
- C'est important, simple. - A ce que vous savez pas.
- C'est qu'on a simplifié. - Mais il faut les tourner les épisodes.
Et quand on en est au huitième de la journée,
à peu près, comme ça, vous imaginez pas l'énergie.
Donc là, on fait quand même. Regardez, regardez, regardez ça, regardez ça.
- Il n'y en a plus. - Tu vois, donc acheter le disque de Sofia Sotomayor,
pour ceux qu'on la rêve, et voilà.
C'est le moment pour pouvoir faire. justement le "ripeau du guerrier".
Eh bien écoutez mes serres amis, cette semaine, j'ai envie de vous parler d'un petit truc sympa.
Alors, une fois n'est pas coutume, malheureusement, deux fois n'est pas coutume,
ça va être encore un "ripeau Google", mais j'avais envie d'en parler,
parce que c'est un "ripeau" qui est important, c'est un "ripeau" qui s'appelle "S" de Google,
"Guitau.com", "S" de Google, "S" de "Qu'est-ce que c'est "S" de?
Alors, vous allez voir, c'est passionnant.
C'est une librérie d'indexation géographique.
Donc, le principe, imaginez, vous avez besoin d'indexer des points GPS, par exemple.
"S2", ça sert à ça, ça veut dire est-ce que, par exemple, les points qui sont ici,
sont dans, par exemple, ce carré.
Comment ça marche "S2", "S2", ça marche, on appelle les "côbes" de Hilbert.
Donc, le principe, c'est qu'on va prendre la panette, on va la projeter sur un cube,
et dans ce cube, en fait, on va faire des "côbes" de Hilbert.
Donc, des "côbes" de Hilbert, imaginez une "côbe", en fait,
c'est une "côme" de Hilbert, c'est une "côme" qui passe par tous les points.
Donc, c'est-à-dire, elle va faire comme ça, et puis elle revient,
et en fait, dans chaque petite ligne,
il y a elle-même, la même chose, des petits "côbes" etc., etc., etc.,
on peut descendre en précision.
A quoi ça sert, ça sert à avoir des propriétés mathématiques
qui font que la recherche spatiale devient extrêmement rapide.
Et donc, alors, il y a une signe alternative qui s'appelle,
si vous êtes curieux, qui s'appelle H3 de chez Uber,
qui fonctionne alors contrairement à S2, qui est sous forme de carré.
H3, c'est plutôt des hexagones, mais on est dans le même principe.
Et voilà, c'était mon petit repo sympa.
C'est une, on va dire, une technologie S2 qui a été extrêmement importante
pour toutes les boîtes qui font du géos spatial.
Et je voulais vous en parler cette semaine.
On se retrouve la semaine prochaine pour un autre épisode sur un enjeu de la Tech.
C'était à la French, à la semaine prochaine.
- C'est bon.
- Bienvenue dans "à la French", l'épisode qui a de la mémoire.
Après, ils ont dit "délite fuite", "délite fuite",
mais c'est juste que je m'en suis rendu compte dans de ma,
si j'avais été moins alcoolisé, je me suis arrêté.
- Alors, on va parler de fuite,
mais plutôt de fuite de courant,
c'est que de fuite de délic.
- Quand vous m'avez percuté avec votre voiture à 220,
je me suis dit qu'il fallait que vous m'arrête.
Il n'y a pas d'élite fuite, il y a juste. - C'est là qu'on va percuter.
- Ça qu'on va percuter à 220,
à avoir relativement pour passer à voir.
- C'est un deuxième manu, pas d'action.
- D'accord. - D'accord.
- D'accord.
- Donc, je porte faim.
Podcast Summary
Key Points:
La mémoire vive (RAM) est essentielle pour le fonctionnement des appareils numériques, notamment dans les nouvelles architectures d'IA qui demandent des performances élevées.
L'essor de l'intelligence artificielle a entraîné une forte demande en mémoire vive, notamment sous forme de HBM (High Bandwidth Memory), ce qui a créé une pénurie et des prix élevés.
La RAM est une technologie complexe, avec des hiérarchies de vitesse, de bande passante et de latence, où les mémoires proches du processeur (comme les caches) sont plus rapides mais plus coûteuses.
La production de RAM est extrêmement difficile et coûteuse à réaliser, notamment en raison des usines spécialisées, des processus de fabrication complexes et de la nécessité de matériaux précis.
La concurrence est limitée, avec seulement Samsung, Micron et SK Hynix dominant le marché (85-87 %), tandis que des entrants chinois comme XMT cherchent à se positionner.
Les modèles d'IA utilisent des volumes massifs de mémoire pour stocker des poids et des contextes de conversation, augmentant considérablement la demande en RAM.
Une surproduction n'est pas immédiate en raison du temps nécessaire pour fabriquer de nouvelles usines et de l’absence de compétitivité dans la technologie.
La situation actuelle est un indicateur de l’impact croissant des technologies d’IA sur les chaînes d’approvisionnement et l’industrie des semi-conducteurs.
Summary:
L'épisode explore l'impact croissant de la mémoire vive (RAM) dans le contexte de l'essor de l'intelligence artificielle. La demande en RAM, notamment sous forme de HBM (High Bandwidth Memory), a explosé ces dernières années, dues à la nécessité de stocker des modèles d'IA de grande taille, qui consomment des volumes considérables de mémoire (jusqu'à 64 Go par modèle). Cette demande a provoqué une pénurie, des prix élevés et une tension sur l'approvisionnement.
La production de RAM reste extrêmement complexe et coûteuse, avec des usines spécialisées et des processus de fabrication très longs, nécessitant des investissements massifs. Les principaux acteurs du marché — Samsung, Micron et SK Hynix — dominent avec plus de 85 % du volume, tandis que des nouveaux entrants comme XMT tentent d’entrer en marché. L'industrie souffre de faibles différenciateurs, ce qui rend la concurrence difficile.
En outre, les architectures d'IA exigent non seulement de la mémoire vive pour les poids des modèles, mais aussi pour le contexte de conversation, ce qui multiplie la pression sur les capacités de stockage. Ce phénomène montre que l'IA a transformé le marché de la RAM, créant une dépendance accrue à la disponibilité de mémoire vive, en particulier dans les accélérateurs GPU et les serveurs. L’industrie est encore en phase de transition, avec des usines en construction, mais les effets de la demande sont immédiats et durables.
FAQs
La mémoire vive, ou RAM, est la mémoire temporaire qui permet au processeur d'accéder rapidement aux données. Elle est essentielle pour que les ordinateurs et les jeux fonctionnent correctement, car elle stocke les informations en cours d'exécution.
La demande en RAM augmente principalement en raison de l'essor de l'intelligence artificielle, où les modèles de IA nécessitent de grandes quantités de mémoire pour fonctionner efficacement, ce qui entraîne une pénurie sur le marché.
La RAM est dynamique et disparaît quand l'appareil est éteint, tandis que la mémoire morte (comme les disques durs ou SSD) conserve les données même après l'arrêt de l'appareil.
La HBM (High Bandwidth Memory) est une technologie de mémoire qui permet d'augmenter la bande passante entre le processeur et la mémoire, utilisée principalement dans les accélérateurs d'IA pour traiter de grandes quantités de données.
La RAM coûte cher en raison de la complexité de sa fabrication, de la pénurie de produits, de la demande élevée en IA, et des coûts liés au packaging et à la production de puces à haute densité.
Les principaux acteurs du marché de la RAM sont Samsung, Micron et SK Hynix, qui controlent environ 90 % du marché mondial, avec une forte concentration de production.
Chat with AI
Loading...
Pro features
Go deeper with this episode
Unlock creator-grade tools that turn any transcript into show notes and subtitle files.