Le problème de l’infrastructure de l’IA dont personne ne vous parle

C’est tout à fait regular si vous pensez que les puces mémoire sont ennuyeuses.

Depuis des décennies, ils sont bon marché et abondants. De plus, ils ont suivi un cycle d’approvisionnement familier. Lorsque la demande de chips a ralenti, les prix ont chuté. Lorsque la demande a repris, les fabricants ont ajouté de l’offre et le marché s’est équilibré.

Du moins, c’est comme ça que ça fonctionnait. Mais ce monde n’existe plus.

Parce que le growth de l’IA n’a pas seulement accru la demande de puissance de calcul. Cela a également restructuré le marché mondial de la mémoire autour d’un nouveau sort d’acheteur qui ne se soucie pas du prix, du calendrier ou des cycles d’approvisionnement traditionnels.

C’est pourquoi j’ai recommandé d’acquérir des actions de Micron Know-how Inc (Nasdaq : MU) dans mon numéro de février 2024 de Strategic Fortunes, affirmant que « la mémoire joue un rôle essentiel dans la nouvelle obscure d’outils en ligne basés sur l’IA… »

Depuis, les actions de Micron ont grimpé de 156 % en moins de deux ans.

Mais un résultat moins connu de ce changement est un grave manque de mémoire. Ce qui peut sembler un problème obscur de l’industrie, mais les consommateurs commencent déjà à en ressentir les conséquences.

Ce qui m’inquiète le plus, c’est que cela ne s’annonce pas comme une contrainte temporaire. On dirait que c’est structurel.

Et si vous n’en avez pas beaucoup entendu parler, ce n’est pas un hasard.

La compression de la mémoire

Lorsque nous parlons d’infrastructure d’IA, la dialog tourne généralement autour des GPU.

Un GPU, ou unité de traitement graphique, est une puce spécialisée conçue pour effectuer de nombreux calculs en même temps, ce qui la rend idéale pour entraîner et exécuter des modèles d’IA.

C’est l’une des principales raisons pour lesquelles Nvidia est devenu l’enfant emblématique du growth de l’IA.

Mais les GPU ne sont qu’une partie de l’équation. Chaque modèle d’IA dépend également d’énormes quantités de mémoire pour fonctionner.

La formation de grands modèles nécessite une mémoire à bande passante élevée, ou HBM, empilée directement à côté des GPU. L’exécution de ces modèles à grande échelle dépend également d’énormes swimming pools de DRAM, le même sort de mémoire utilisé dans les ordinateurs portables, les téléphones et les serveurs d’entreprise.

En d’autres termes, l’IA n’est pas seulement gourmande en calcul. C’est gourmand en mémoire.

Et la soif de mémoire de l’IA a commencé à briser le marché.

Au cours de l’année dernière, les fabricants de mémoire ont réorienté leur manufacturing de manière agressive vers la HBM, automotive celle-ci génère des marges bien plus élevées que la DRAM traditionnelle.

Cette décision est parfaitement logique d’un level de vue industrial. Parce que les hyperscalers comme Microsoft, Google, Amazon et Meta sont prêts à signer des contrats à lengthy terme et à payer presque n’importe quel prix pour garantir un approvisionnement fixed en mémoire.

Mais la conséquence involontaire de ce changement est que la manufacturing conventionnelle de DRAM a perdu la priorité.

Cela signifie qu’il y a beaucoup moins de DRAM disponible pour tout le monde aujourd’hui.

Les shares qui étaient autrefois mesurés en mois se sont désormais effondrés et ne représentent plus que quelques semaines d’approvisionnement. Dans certains segments, les shares de DRAM ont diminué d’environ 80 % par rapport à l’année dernière.

En d’autres termes, un marché des matières premières autrefois versatile est désormais écrasé par une poignée d’entreprises qui construisent d’immenses centres de données IA.

C’est pourquoi on ne peut pas vraiment comparer la scenario actuelle aux pénuries de puces passées.

Dans les cycles précédents, les pénuries étaient généralement causées par des erreurs de prévision ou des pics de demande à court docket terme. Par exemple, les entreprises d’électronique grand public pourraient commander trop ou l’économie pourrait ralentir. Mais dans ces cas-là, les shares finiraient par réinjecter dans le système et les prix baisseraient.

Cette soupape de décharge n’existe pas cette fois.

Et c’est parce que les acheteurs qui stimulent la demande aujourd’hui sont les plus grandes entreprises technologiques du monde. Ils fonctionnent tous selon des feuilles de route pluriannuelles. Et maintenant que les États-Unis ont effectivement lancé un projet Manhattan pour l’IA, ils traitent la capacité de l’IA comme une infrastructure stratégique.

Les gouvernements et les entreprises ont décidé que l’intelligence artificielle était trop importante pour être laissée au hasard. Il doit être construit, sécurisé et mis à l’échelle le plus rapidement doable.

Cela signifie que la vitesse est devenue bien plus importante que le coût. En d’autres termes, le temps est aujourd’hui notre plus grande contrainte.

Et la mémoire se situe en plein milieu de ce goulot d’étranglement.

Il faut des années pour construire et mettre entièrement en ligne de nouvelles usines de puces mémoire. La manufacturing HBM est encore plus spécialisée, avec une intégration étroite entre les fabricants de puces, les applied sciences de packaging et les conceptions de GPU.

Et même lorsque de nouvelles capacités seront mises en ligne, les premiers shoppers en ligne seront les mêmes hyperscalers qui ont remodelé le marché en premier lieu.

C’est pourquoi les principaux fournisseurs avertissent désormais ouvertement que les pénuries de mémoire pourraient durer jusque dans la seconde moitié de la décennie.

Mais voici le problème.

Je ne pense pas du tout que les consommateurs seront informés de l’existence d’un manque de mémoire. Pas dans la grande presse.

Ils remarqueront simplement que leur prochain ordinateur transportable coûtera plus cher. Ou que le stockage et la mémoire de base ne se sont pas améliorés. Ou que les entreprises retardent les mises à niveau technologiques ou les facturent davantage. Probablement les deux.

Vous voyez, la mémoire est intégrée dans presque tous les éléments électroniques modernes. Cela signifie que lorsque la mémoire devient plus coûteuse, vous ne la verrez pas apparaître sous la forme d’un seul élément de ligne. Cela se répercutera sur le coût de l’ensemble du système.

Et c’est pourquoi la plupart des gens ne réalisent même pas ce qui fait monter les prix.

Voici mon avis

L’intelligence artificielle est souvent décrite comme une technologie déflationniste.

Au fil du temps, c’est probablement vrai, automotive l’IA automatisera le travail et augmentera la productivité dans l’ensemble de l’économie.

Mais le chemin vers cet avenir repose sur les infrastructures physiques. Et les booms des infrastructures ont l’habitude de créer de l’inflation à court docket et moyen terme.

L’ironie est que la course au déploiement de l’IA le plus rapidement doable pourrait temporairement faire grimper les coûts, même si le logiciel promet des positive aspects d’efficacité à lengthy terme.

Ce n’est pas une raison pour être pessimiste sur l’IA. Mais c’est une raison de surveiller la manière dont ces coûts sont répercutés sur les consommateurs et les entreprises.

La mémoire était autrefois un élément d’arrière-plan souvent tenu pour acquis. Mais l’IA en a fait un atout stratégique prone de remodeler les prix dans l’ensemble de l’économie.

Cela signifie que les puces mémoire ne sont plus ennuyeuses.

Et je ne m’attends pas à ce qu’ils redeviennent ennuyeux de sitôt.

Salutations,

Ian KingStratège en chef, Banyan Hill Publishing

Observe de l’éditeur : nous serions ravis d’avoir de vos nouvelles !

Si vous souhaitez partager vos réflexions ou ideas sur le Every day Disruptor, ou s’il y a des sujets spécifiques que vous souhaiteriez que nous abordions, envoyez simplement un e-mail à dailydisruptor@banyanhill.com.

Ne vous inquiétez pas, nous ne révélerons pas votre nom complet si nous publions une réponse. Alors n’hésitez pas à commenter !