Mieux comprendre le stockage collaboratif (SAN)

  • Par J-P MARIANI
  • |
  • le 14/02/2016

Mieux comprendre le stockage collaboratif (SAN)


La technologie SAN pour "Storage Area Network" n’est pas une nouveauté en soi. Le SAN existe depuis bientôt 15 ans, mais il a toujours été synonyme de coût élevé associé à des contraintes techniques de mise en oeuvre et d’exploitation.

En effet, le coeur du SAN, c’est l’infrastructure et donc le réseau avant toute autre chose et la seule technologie réseau susceptible de supporter un stockage partagé, c’est le réseau Fibre Channel. C’est avec l’arrivée de la Fibre Channel 4Gb que les premières installations SAN « accessibles » ont pu devenir une réalité pour les sociétés travaillant sur de grosses post-productions avec des quantités massives de données. Au fil des ans, la technologie a évolué, les vitesses des connexions Fibre Channel ont doublé, passant de 4Gb à 8Gb, puis de 8Gb à 16Gb, répondant ainsi avec facilité aux demandes toujours élevées des flux de post-production qui dans le même temps ont connu une ascension vertigineuse avec l’adoption récente des formats UltraHD et 4K.

Malgré le développement croissant des solutions SAN, le coût des équipements Fibre Channel reste encore élevé car son adoption reste cependant marginale au regard des équipements réseaux basés sur le standard Ethernet. La récente généralisation du standard 10GbE (possible à la fois sur réseau fibre optique ou cuivre traditionnel) ouvre la porte à des solutions SAN plus abordables, plus faciles à déployer et maintenir techniquement. D’autant plus que les évolutions autour du protocole Ethernet permettent d’entrevoir des solutions encore plus rapides avec le standard 40GbE (dont les premiers adaptateurs réseaux sont d’ores et déjà disponibles), mais aussi du 100GbE avec l’annonce des premiers commutateurs réseaux compatibles.

Ajoutons à cela les récentes évolutions autour du Thunderbolt 2 et l’apparition des premiers stockages partagés au moyen des connexions Thunderbolt, alors même que se profilent les premiers ordinateurs munis de ports Thunderbolt 3 qui apportent encore plus de bande passante et intègrent en standard la gestion du 10GbE.

L’aspect réseau et connectivité sont largement bien couverts actuellement par les technologies présentes et leurs prochaines évolutions, mais un SAN ne se limite pas seulement au réseau, aux connexions, adaptateurs et cables utilisés. En effet, il faut considérer la solution de stockage qui sera au coeur du partage et surtout le logiciel (ou serveur) qui assure le partage du stockage au sein d’une infrastructure de post-production.

Mais avant de rentrer dans des détails techniques plus spécifiques, il convient de répondre à quelques questions fondamentales autour du stockage partagé. Les questions les plus fréquentes auxquelles nous sommes confrontés régulièrement sont les suivantes:

- Mais à quoi ça sert un SAN ?
- Pourquoi pas un NAS en post-production ?
- SAN et post-production, vraiment indispensable ?
- Quels pièges à éviter pour le choix d’un SAN ?
- Mes logiciels sont-ils compatibles avec un SAN ?
- Quel budget pour un SAN ?

Comme vous pouvez vous en douter, nous avons, par expérience, les réponses à ces différentes questions qui touchent à la fois les aspects techniques, mais aussi les aspects pratiques et budgétaires.


Mais à quoi ça sert un SAN ?

Un stockage partagé, c’est la réponse à de nombreux problèmes qui se posent au quotidien dans les entreprises qui manipulent des médias. C’est avant tout un stockage unique qui permet de centraliser les données, afin de les rendre accessibles immédiatement aux différents postes de travail connectés au sein du SAN. Les avantages sont immédiats en matière d’exploitation, de sécurisation et de sauvegarde des données, car elles se trouvent à un seul et unique endroit ! C’en est terminé des problèmes de redondance des données, des transferts de fichiers d’un poste à l’autre. A partir de 2 à 3 postes de travail, le SAN peut être envisagé en lieu et place de multiples stockages locaux en attachement direct.

Avec la généralisation des cartes mémoires ou disques SSD dans les moyens de tournage en numérique, il convient de copier le contenu des cartes mémoire sur le stockage de travail afin d’exploiter immédiatement les données et de mettre en place les flux de post-production appropriés pour chaque entreprise. Prenons un cas de figure assez générique pour bien comprendre en quelques phases tous les avantages du SAN.

1 - Tournage sur cartes mémoires, disques SSD ou tout autre support d’enregistrement numérique.
2 - Copie brutes des données de tournage sur le stockage partagé.
3 - Mise en conformité des données de tournage avant exploitation en post-prod (transcodage, conversion, enrichissement des métadonnées, etc.)
4 - Disponibilité simultanée des données pour le montage sur plusieurs postes (avec les logiciels de montage qui proposent ce type de workflow)
5 - Données accessibles dans le même temps pour les motion designers, les VFX artists, les étalonneurs, les mixeurs
6 - Finalisation du produit, PAD fichier pour diffusion télé, création DCP pour diffusion en salles, compression en H.264 ou HEVC pour les plateformes de diffusion TNT, Internet, VOD.

Tout au long de ces différentes étapes, vous remarquerez qu’il est nullement besoin de copies, de transferts de fichiers et que les différents postes de travail accèdent aux données dès qu’elles ont été copiées sur le stockage partagé. Le rôle du SAN c’est de rendre la post-production plus facile, plus rapide, plus efficace tout en apportant une sécurisation indispensable des données.

Maintenant que vous avez compris les avantages du SAN, il est temps de bien comprendre les limitations et les réalités autour du NAS.


Pourquoi pas un NAS en post-production ?

Le NAS pour "Network Attached Storage", c’est tout l’inverse du SAN et pas seulement au niveau de l’écriture ! Tout comme le SAN propose des avantages incontournables dans un contexte de post-production, le NAS propose d’autres possibilités, mais aussi de grandes différences qui rient son utilisation intéressante mais absolument pas concurrente au SAN.

Le NAS, c’est avant tout un stockage qui se connecte sur le réseau existant de l’entreprise par une simple connexion Ethernet 1GbE (10GbE pour les modèles haut de gamme) et dont la vocation première est de proposer l’archivage/sauvegarde de données sur volume RAID (5, 5 + spare ou 6 idéalement). Ce n’est pas la performance qui est recherchée dans les technologies NAS, mais plutôt le rapport attractif entre coût et capacité de stockage.

Le NAS est avant tout un stockage intelligent partagé en réseau par un système embarqué de type Linux (la plupart du temps) qui permet de stocker de grandes quantités de données pour un coût ultra compétitif.

Généralement, il intègre un processeur dédié, un peu de mémoire vive et un contrôleur RAID matériel afin de gérer efficacement un nombre de disques virtuellement illimité.
En aucun cas, le NAS intègre une gestion intelligente des flux, de la bande passante, et de la cohérence d’accès aux fichiers par de multiples postes de travail.

Il est très facile de se rendre compte à l’usage des limitations d’un NAS dans un cadre d’exploitation en post-production. Essayez tout simplement de travailler à plusieurs sur le même projet ou tout simplement, un montage multi-pistes sur un poste, puis une ou deux autres machines qui accèdent à d’autres données en parallèle, vous constaterez tout de suite la chute de performances qui rend difficilement acceptable un véritable travail collaboratif. Mais le cas de figure le plus basique mais le plus parlant est le suivant. Un poste de travail en cours de montage sur une timeline avec quelques pistes audio et vidéo.
Un autre poste lance en parallèle une copie (en lecture ou écriture) sur le SAN, et vous allez constater immédiatement que la lecture fluide n’est plus possible sur le poste de montage, l’opération concurrente de copie absorbe toute la bande passante disponible et rend ainsi le montage impossible jusqu’à la fin de la copie.

De plus, afin de proposer des NAS avec des tarifs toujours plus faibles, les fabricants utilisent généralement les disques les moins onéreux du marché, des disques spécifiquement conçus pour une exploitation NAS, c’est à dire qui ne tournent pas vite, qui se mettent en veille en permanence, ainsi des systèmes RAID minimalistes. Bien sur, on trouve sur le marché des NAS haut de gamme, mais leurs tarifs élevés ne justifient plus la dépense pour ce type de technologie.

Par contre, le NAS est souvent une excellente solution de sécurisation du contenu du SAN, ce qui permet de mettre en place des mécanismes de synchronisation avancés entre le SAN et le NAS pour bénéficier en permanence d’une sécurité intégrale des données du stockage de production.


SAN et post-production, vraiment indispensable ?

Comme vous commencez à percevoir les avantages réels d’un SAN au sein de votre entreprise, la réponse à cette question est assez évidente.
De par la problématique de gestion de volumes sans cesse grandissants de données numériques, la nécessité de travailler plus vite, tout en maximisant la sécurité et la fiabilité, le SAN se révèle rapidement être un maillon essentiel des flux de post-production.

Il n’est pas rare de nos jours d’embarquer un SAN directement sur le lieu de tournage afin de sécuriser au plus vite les données de tournage, et d’assurer ainsi des services DIT de tout premier ordre pour la prévisualisation des données brutes (avec ou sans LUTs), voire les tous premiers tests d’étalonnage et de VFX afin de valider les plans tournés le jour même.

Un des autres (et nombreux avantages) du SAN repose sur la flexibilité qu’il propose en matière de dimensionnement. Aujourd’hui, nous disposons d’une grande variété de possibilités en matière de SAN, en fonction des postes de travail utilisés, du réseau existant et du besoin réel de l’entreprise en matière de stockage centralisé de production.

Les solutions SAN modernes autorisent une mixité des moyens de raccordement (Ethernet 1GbE, Ethernet 10GbE, Fibre Channel 4Gb, 8Gb et 16Gb, Thunderbolt), et bientôt Ethernet 40GbE et Thunderbolt 3. Il en va de même pour les solutions de stockage qui peuvent être raccordées en SAS 6G, SAS 12G, Fibre Channel et Ethernet. Enfin, et ce n’est pas le moindre des arguments, car un SAN moderne se doit de prendre en charge les systèmes d’exploitations les plus utilisés dans le secteur de la post-production, à savoir Windows, OS X et Linux. Nous reviendrons en détail sur ce point par la suite.

Nous vivons aujourd’hui dans un monde axé autour du collaboratif et le SAN s’inscrit totalement dans ce contexte de travail, ce qui le rend effectivement quasiment indispensable dès lors que de multiples postes de travail doivent accéder à un volume de données communes.


Quels pièges à éviter pour le choix d’un SAN ?

En matière de SAN, les choix sont nombreux et il est (malheureusement) plus facile de se tromper que l’inverse. En effet, devant l’intérêt grandissant de la demande pour ce type de solutions, les fabricants (et pas forcément des spécialistes en la matière) ont développé ou adapté des solutions de stockage qui sont vendues avec le label SAN mais qui ne répondent pas en tous points aux critères d’un SAN.

Le premier piège à éviter est sans nul doute la solution qui emploie des technologies propriétaires et qui vous lient de manière quasi définitive (sauf à tout remplacer par la suite) au fabricant de la solution. Mais vous allez nous faire remarquer, que voulons-nous dire par « technologies propriétaires » ?

Un exemple simple est le système de fichiers (ou File System) utilisé pour le stockage. OS X utilise le système de fichiers Mac OS étendu (journalisé) ou plus simplement HFS+ (trop bien connu hélas pour sa fragilité), Windows utilise NTFS et Linux des systèmes de fichiers Ext2, Ext3 ou Ext4. Il s’agit de Systèmes de fichiers ouverts et connus. L’avantage d’un système de fichiers ouvert est qu’il peut permettre d’exploiter le stockage avec une solution logicielle SAN différente le cas échéant.

Certains systèmes de fichiers (propriétaires) ont été spécifiquement développés pour des solutions SAN, comme le système de fichiers StorNext de Quantum ou Avid ISIS File System pour citer deux exemples de systèmes propriétaires et plutôt fermés. Tout n’est pas négatif avec ce type de solutions car elles sont généralement bien optimisées et offrent une parfaite adéquation en matière d’extension de stockage et de connexions clients.
Cependant, les solutions avec File System propriétaire ont tendance à être particulièrement onéreuses en contrats de support et maintenance, mais aussi lors des extensions de stockage (sans compter le coût initial d’investissement).

Le deuxième piège à éviter est la bonne compréhension des débits vidéo (codecs vidéo et compression associées), des bandes passantes disponibles pour chaque type de connexion (réseau Ethernet, Fibre Channel, Thunderbolt, etc.).
En effet, il est nécessaire, dans le cadre de l’installation d’un SAN de bien évaluer (et surtout ne pas sous évaluer) les besoins actuels ainsi que les besoins futurs en bande passante et s’assurer que la solution retenue pourra répondre aux besoins en matière d’évolution aussi bien en capacité qu’en bande passante disponible pour les nouveaux postes raccordés au SAN.
un SAN moderne doit prendre en compte la plupart des connexions disponibles sur le marché et proposer ainsi différentes alternatives pour la plupart des cas de figure.

Le prestataire en charge de l’installation du SAN aura bien pris soin d’évaluer les workflows existants, voire en proposer de nouveaux plus adaptés et ainsi sélectionner la solution SAN répondant aux mieux aux besoins de l’entreprise. Vous l’aurez donc compris, le choix du prestataire pour la mise en place d’un SAN est un critère majeur à ne pas sous estimer. Votre fournisseur actuel d’équipements de post-production n’est pas (obligatoirement) un spécialiste pour les déploiements de solutions SAN. Et si ce n’est pas le cas, il vous conseillera ou vous orientera vers le prestataire le plus apte à répondre à vos besoins.

Enfin, le dernier point, tout aussi important que le précédent est le choix de la technologie retenue. Nous avons évoqué de nombreux critères importants dans le processus de décision, mais le choix de la technologie est un aspect essentiel car vous vous engagez pour plusieurs années lorsque vous faites le choix d’une solution SAN.
Evitez dans un premier temps les prestataires qui proposent différentes solutions de SAN, car il est impossible de suivre techniquement avec sérieux et efficacité dans la durée plusieurs solutions concurrentes (même avec une équipe technique compétente).
Dans le cadre d’une solution pérenne, il est vivement conseillé de sélectionner un fabricant qui est spécialisé dans les solutions SAN, c’est à dire qui ne propose et ne développe rien d’autre que des solutions SAN. A ce titre, la solution sera effectivement suivie avec sérieux, sera mise à jour régulièrement et proposera un support technique 24/7 de tout premier plan. Si la société propose de telles solutions depuis plus de 10 ans dans le secteur, alors cela permet d’avoir de sérieuses garanties sur le choix de la technologie.

A titre d’exemple, chez Atreid (pour ceux d’entre vous qui ne nous connaissent pas en dehors de notre site web), nous proposons des solutions SAN depuis plus de 10 ans. Notre première expérience de SAN de référence fût la solution Xsan installée et utilisée chez Calt pour la post-production (en haute définition sans compression) de la série Kaamelott pendant les 5 saisons produites (2005- 2009). Mais cette expérience nous a prouvé que les solutions SAN se devaient d’être moins complexes et plus accessibles en matière de coût. Nous sommes donc partis à la recherche d’une solution répondant au mieux à ces critères et nous avons sélectionné à partir de 2008 le fabricant Tiger Technology avec qui nous travaillons désormais de manière exclusive pour les solutions depuis 8 ans, ce qui nous a permis d’installer plusieurs centaines de postes connectés sur des stockages collaboratifs avec metaSAN, puis Tiger Store, ainsi que leurs équipements dédiés Tiger Box et Tiger Serve.


Mes logiciels sont-ils compatibles avec un SAN ?

Ce point (si important) aurait pu être inclus dans le paragraphe précédent, mais je pense qu’il convient de le sortir du contexte des pièges à éviter.

Aujourd’hui, la post-production n’est pas forcément synonyme d’homogénéité et il est fréquent au sein d’une entreprise de trouver des postes de travail fonctionnant sous différents systèmes d’exploitation OS X, Windows mais aussi Linux. Et pour rendre les choses encore plus délicates, ces postes de travail utilisent des versions différentes, voire plus anciennes que les versions actuellement proposées par les fabricants.

Mais le système d’exploitation n’est pas le seul élément à prendre en compte bien entendu. Il faut bien sur vérifier que les différents logiciels utilisés parmi les références du secteur soient compatibles avec une solution SAN. Pour certains logiciels, cela peut paraître évident (Adobe, Blackmagic, ..), mais pour d’autres c’est bien plus compliqué qu’il n’y parait (Avid Media Composer, Final Cut Pro X, Autodesk Smoke, etc.).

Lorsque les logiciels sont développés pour travailler avec un système de stockage local sans autre spécificité, alors un SAN (non propriétaire) pourra être utilisé en principe sans mauvaise surprise.
Certains logiciels comme Final Cut Pro X n’étaient tout simplement pas prévu pour fonctionner avec un stockage « réseau », ce qui rendait impossible son utilisation avec un SAN. Les dernières évolutions du logiciel ont permis d’améliorer son exploitation sur un SAN, mais cela démontre que si les concepteurs de tel ou tel logiciel n’ont pas prévu ce type d’utilisation, alors il sera difficile pour un SAN de faire des miracles.

Dans le cas très particulier de Avid Media Composer, la solution SAN se doit d’être absolument compatible avec le File System spécifique Avid afin que les dossiers de stockage sur le SAN soient reconnus comme un stockage local et autorisent le fameux « Bin locking » propre à la fonction de partage de bins lors du travail en collaboratif sur des projets partagés par plusieurs monteurs Media Composer.

La plupart des solutions SAN proposées sur le marché sont généralement compatibles avec les versions les plus récentes des systèmes d’exploitation, Mac, PC et Linux mais il convient de vérifier les cas particuliers imposés par certaines versions de logiciels qui peuvent demander une version spécifique de système. Une solution SAN capable de prendre en charge une mixité de versions de systèmes en utilisation multiplateforme est un plus incontestable. C’est bien entendu le cas des solutions Tiger Technology, qui offrent à ce jour la plus large compatibilité en matière de systèmes d’exploitation différents pris en charge sur le même SAN.


Quel budget pour un SAN ?

Avec la démocratisation autour des solutions de stockage et des connexions proposées pour les postes de travail, il est désormais possible d’accéder à des solutions SAN à partir d’un budget minimal de 10K€ pour les petites configurations.
Il va de soi que la solution de stockage proposée n’offrira pas les mêmes critères de fiabilité, de sécurité et d’évolution dans la durée que les systèmes dédiés, mais d’un point de vue technique, elle offre de véritables fonctionnalités SAN, avec accès protégé aux données, gestion optimisée de la bande passante des postes clients, et en option de la gestion de projets collaborative avancée.

Le mythe du SAN inaccessible, c’est maintenant du passé. Des solutions SAN modulaires existent et s’adaptent aux budgets et moyens techniques de l’entreprise.
Pour les SAN plus importants, des solutions de financement sont également disponibles afin de pouvoir bénéficier de la solution nécessaire aujourd’hui sans pour autant plomber les ressources financières de l’entreprise.

Le SAN est un composant fondamental pour le succès de toute entreprise de post-production ou qui manipule des médias numériques.
Nous avons l’expertise et l’historique en la matière et des références incontournables dans le secteur et nous disposons d’un solide partenariat avec l’un des acteurs majeurs de l’industrie afin de vous proposer et mettre en place la solution SAN qui vous correspond.

© Atreid - Février 2016