Google continue de s’appuyer principalement sur les disques durs pour le stockage, mais a ‘considérablement amélioré’ son propre système de stockage.
Presque tous les produits de Google s’appuient sur Colossus, un système de stockage de données automatisé et développé en interne qui permet aux disques durs (HDD) de fonctionner aussi rapidement que les disques à état solide (SSD). Un développeur et un technologue en stockage du géant technologique ont partagé son fonctionnement dans un blog.
Système colossal
Colossus est la base de Youtube, Gmail, des services de stockage cloud de Google et d’autres applications. Le système gère des exaoctets de données réparties sur plusieurs centres de données. ‘La plupart des centres de données ont un seul cluster et donc un seul système de fichiers Colossus, quel que soit le nombre de charges de travail exécutées’, écrit le duo. Le système fonctionne à des vitesses très élevées, atteignant jusqu’à 50 To/s en lecture et 25 To/s en écriture.
lire aussi
Dilemme de données pour Google : mémoire flash onéreuse ou disques durs économiques ?
Naturellement, Google utilise également des disques flash en plus du stockage sur disque. Cependant, s’appuyer uniquement sur cette technologie reste encore trop onéreux. Une combinaison de disques durs et de SSD fonctionne donc parfaitement. ‘Le défi consiste à placer les données appropriées sur les SSD, tout en conservant la majeure partie sur les disques durs.’
Automatisation
Google relève ce défi en utilisant un système de cache automatisé appelé ‘L4’. Celui-ci choisit dynamiquement, via l’apprentissage automatique, quelles données sont les plus appropriées pour le SSD et lesquelles pour le HDD.
Colossus a cependant un ‘point faible majeur’, qui est l’utilisation de disques durs. Ceux-ci fonctionnent bien lorsque les mêmes données sont fréquemment mises à jour, mais moins bien pour les fichiers qui reçoivent régulièrement de petits ajouts. ‘Il est préférable de contourner complètement les disques durs pour ces cas d’utilisation.’
La combinaison de HDD et de SSD reste une tâche ardue pour de nombreux fournisseurs de matériel de stockage. Le HDD demeure pour l’instant l’option la moins onéreuse et la plus répandue, mais cela se fait au détriment de la vitesse des SSD.