Cloudflare veut rendre l’inférence de l’IA plus accessible aux utilisateurs grâce à Workers AI. L’entreprise lance une nouvelle plate-forme de développement pour exécuter des modèles d’IA sur le réseau plutôt que dans un centre de données.
Toutes les entreprises essaient aujourd’hui d’intégrer une certaine forme d’intelligence artificielle dans leur offre de services. Elles sont confrontées, entre autres, à l’augmentation rapide et à des coûts peu clairs pour maintenir les modèles d’IA en fonctionnement, ainsi qu’à l’explosion de nouveaux outils et fournisseurs. Cloudflare prend les devants avec une nouvelle plate-forme de développement qui permet aux entreprises de développer des applications d’IA sans devoir gérer l’infrastructure.
La plate-forme de Cloudflare comprend trois composantes. Tout d’abord, Workers AI, qualifié par Cloudflare de première IA sans serveur. Cloudflare fait en effet fonctionner les GPU sur son réseau mondial. Les clients n’ont donc plus besoin de porter des « valises pleines de GPU », explique le PDG Matthew Prince à SiliconAngle.
L’IA plus proche des utilisateurs
Cloudflare aborde avec cette offre une problématique sensible, à savoir la latence. Comme les GPU se trouvent dans le réseau, les modèles d’IA vous accompagnent partout, pour ainsi dire. De cette façon, les données pour l’inférence ne dépendent pas non plus d’un centre de données, les rendant ainsi disponibles plus rapidement pour les charges de travail. Workers AI devrait notamment rendre possible le déploiement de grands modèles d’IA à la périphérie (« edge »).
Autour des modèles d’IA, Cloudflare lance également la base de données vectorielle Vectorize. Qu’il s’agisse de générer des intégrations pour les modèles incorporés et de les indexer, d’effectuer des requêtes ou de stocker les données sources dans R2, Vectorize garantit que tout cela fonctionne sur la même plate-forme.
Enfin, on a l’AI Gateway, qui aide les développeurs et les chefs d’entreprise à surveiller ce qui se passe. Actuellement, le coût de l’infrastructure d’IA ou le nombre de requêtes exécutées à partir d’un endroit donné ne sont guère visibles. AI Gateway est censé rendre plus transparent le trafic de l’IA et comprend également des mesures telles que la mise en cache et la limitation de la vitesse, pour mieux contrôler les coûts.