close

Se connecter

Se connecter avec OpenID

Comment faire face à l`explosion de données

IntégréTéléchargement
Comment faire face à
l'explosion de données ?
Taxinomie du stockage non structuré
antoine.tabary @ fr.ibm.com
Architecte Software Defined Storage
Les modèles traditionnels de stockage
sont mis à mal par l’explosion des données
Explosion des données
Economie de la donnée
Innovations
2,5 Milliards
0,4%
30%
De gigaoctets de
données par jour
croissance globale du budget
informatique
en 2015
de baisse du coût total de possession
avec le Flash
90%
des données créées ces
2 dernières années
670%
de données en plus à
administrer sur 5 ans
50% de baisse de coût
d’administration et stockage hybride
grâce au Software Defined
Storage
Les 2 défis majeurs de l’infrastructure informatique sont liés au stockage
Gestion des Données et Coût adapté
SOURCE: *2014 IBM Institute for Business Value Study on Infrastructure Matters;
|
2
EMPOWER YOUR
DATA
Imagerie médicale
Types de besoins en hausse
Video
Stockage « as
a service »
Big
Data
Archives
Sauvegardes
|
3
Types de besoins en hausse
• Internet des Objets : des objets connectés émettent des informations par millions
•
2025 doublement toutes les 12 heures au lieu de 12 mois en 2015
• Imagerie médicale : une radio 512 x 512 x 12 = 3 Mb, un scanner 550 images 0,2 Go
•
« Digital Imaging and Communications in Medicine (DICOM) »
• Serveurs video : SD, HD, UHD > x12 et dématérialisation des supports
• Big Data : tirer du sens de données de plus en plus volumineuses
•
Pour conserver son avantage compétitif et répondre aux nouvelles demandes
• Stockage “as a service” : louer des capacités de stockage
•
Quelles données confier au « cloud » ?
• Archives : Conserver des données pour raisons légales
• Sauvegardes : Etre en mesure de restaurer des données
|
4
Types de stockage de données non structurées
•
Système de fichiers distribué
•
Arborescence
•
Accès en lecture/écriture
•
Accès à un endroit du fichier
•
Plusieurs accès simultanés
•
Accès via NFS/SMB/VFS
•
Open, seek, read, write, close
•
Stockage objets
•
•
•
•
•
•
Je confie l’objet on me remet un ticket
Je présente le ticket on me restitue l’objet
Majoritairement lecture
Pas de modification
Accès via API Rest, serveur HTTP
Get, post
|
5
Types d’accès aux données
• Applications traditionnelles accès fichiers :
• Big Data :
•
amener le traitement aux données HDFS
• Stockage objet :
|
6
DEFI : Disposer des 3 modes d’accès sur les
mêmes données
1 seule donnée
Acquisition
• Plus besoin de déplacer les données selon le mode
d’accès souhaité :
• IBM Spectrum Scale
Analyse
IBM Spectrum Scale
Données
brutes
• Donnée unique, vues multiples
• Economie d’espace
• Economie de mouvement
3 types d’accès
• HDFS Transparency
• Vision Fichier POSIX et vision HDFS
• Unified File and Object
Objet
Swift, S3
Fichier
Posix, NFS, SMB
• Acquisition objet, traitement fichier et réciproquement
HDFS
• Dans une solution “Software Defined Storage”
|
7
Comment bâtir un système de stockage fiable
pour 1 pétaoctet de données utiles ?
Efficacité
Cleversafe® stockage objet
RAID 6 + Réplication
Original
1,20 PO Brut
Miroir sur site
1,20 PO Brut
567 TO Brut
567 TO Brut
567 TO Brut
Copie distante
1,20 PO Brut
1 PO
3,6 PO
900
3,6x
3,6x
3 Equiv. Temps Plein (ETP)
Réplication/sauvegarde
Stockage utile
Stockage brut
Disques 4TB
Racks requis
Espace au sol
Ressources Ops
Logiciel à ajouter
1 PO
1,7 PO
432
1,7x
1,7x
0,5 ETP
Aucun
€
70% +
Gains de TCO
Stockage Entreprise “as a Service”
Services NAS
•
•
•
•
•
Services d’Archive
Synchronisation de fichiers
et partage
Services de Video
“à la demande”
Extensibilité: Pétaoctets+ en croissance (nouveaux services)
Sécurité: aucune couche de sécurité à ajouter pour l’ensemble du contenu
Disponibilité: disponibilité continue sur 2,5 années et nouvelle capacité disponible en quelques minutes
Gestion : coûts les plus bas au global par rapport au datacenter avec le niveau de service le plus élevé
Economies: 80% de gains par rapport au mode précédant (stockage classique) et 43% par rapport à Amazon Web Serv.
EMPOWER YOUR DATA
Archive Active – Partage de photos via le Web
Objets Photo et vidéo transférés vers
Cleversafe via des protocoles basés sur
“REST”
Les utilisateurs chargent leur
contenu photo et vidéo via une
application basée sur le WEB
Les métadonnées
sont capturées et
stockées
• Extensibilité : 130 pétaoctets en croissance. Plus de 50 milliards d’images stockées
• Sécurité : 50,000+ chargements de photo par minute sans intervention de sécurité
• Disponibilité continue : SLA de 100% pour le téléchargement à la demande – même pendant le déménagement du
datacenter de Californie vers le Nevada
• Gestion : 3 administrateurs gèrent l’ensemble de l’infrastructure
• Economies : coûts opérationnels réduits de plus de 70%
EMPOWER YOUR DATA
Service de contenu de Mobile / Sauvegarde de boite
vocale
Application de sauvegarde du téléphone
conforme S3. Protège le contenu du
téléphone mobile en le copiant sur
Cleversafe
• Extensibilité : 25 pétaoctets désservant 10M de portables – Ce service s’étend maintenant pour fournir des services
“entreprise” pour les courriels et le stockage à la demande.
• Sécurité : principal besoin et raison du choix du client
• Disponibilité : 24hx24, 7j/7 .
• Economies : un gain “vérifié” de 80% qui a permis à KDDI d’augmenter sa profitabilité sans obstacle informatique.
EMPOWER YOUR DATA
Stocker partout. Accéder depuis n’importe où.
Disponibilié, intégrité et sécurité de la donnée.
Chiffrement et
administration
Défis
• Nouveaux types de stockage pour les données d’entreprise
• HDFS manque d’outils d’intégrité
• Le stockage Objet manque de fonctions comme la sauvegarde
• Il manque une administration globale de tout l’espace
Spectrum Scale
• La famille IBM Spectrum Storage : Stockage d’Enterprise
•
•
•
•
•
IBM Spectrum Scale : accès performant aux données
IBM Spectrum Control : suivi analytique de l’infrastructure
IBM Spectrum Protect : sauvegarde / restauration
IBM Spectrum Archive : un tier froid sur bande
Cleversafe : un stockage dispersé compétitif
|
12
EMPOWER YOUR
DATA
Merci
Backup
Comment fonctionne la plate-forme Cleversafe ?
TRANSFORMATION DU
CONTENU
Le logiciel Cleversafe
chiffre, découpe et
applique l’Algorithme
de Dispersion de
l’Information (autrement
connu sous le nom de
“erasure coding”) aux
données
BENEFICES
Ingestion des données
Récupération des données
Accesser
Software
Site 1
Site 2
Site 3
Accesser
Software
Site 1
Site 2
Site 3
Slicestor
Software
Storage Nodes
Le niveau de
sécurisation est
totalement
personnalisable. C’est
le résultat d’un
stockage
massisvement fiable et
efficace de manière
extensible se
différenciant du RAID
et des techniques de
réplication
Storage Nodes
Distribution physique
Récupération fiable
Les blocs découpés (slices) sont
distribués sur des disques séparés sur
des serveurs standards x86 sur
l’ensemble des sites géographiques
Un sous-ensemble des blocs
découpés (slices) défini par l’opérateur
est nécessaire pour récupérer les bits
des données en temps réel
EMPOWER YOUR DATA
Famille de “Software-Defined-Storage”
• Une experience et une gestion commune
• Deploiement flexible : logiciel, intégré matérile, cloud
• Stockage d’enterprise à haute performance
Famille de Gestion de Stockage
et logiciel d’Optimisation
Control
Protect
Archive
Virtualize
Accelerate
Scale
Tout
Stockage
FlashSystem
Cloud Privé, Public
ou Hybride
Gérer efficacement la croissance explosive des données
• Administration unifiée du tous types de stockage
• Placement avancé des données pour maximiser
performance, disponibilité, et efficacité économique
• Construit sur des solutions IBM
• éprouvées, flexibles et “scalables”
|
1
6
Auteur
Document
Catégorie
Uncategorized
Affichages
0
Taille du fichier
2 093 KB
Étiquettes
1/--Pages
signaler