Les enjeux du stockage collaboratif, tour d'horizon des solutions en 2020

  • Par J-P MARIANI
  • |
  • le 10/05/2020

DAS, NAS, stockage de production réseau. Quel stockage pour quel usage ?

Le stockage est un vaste sujet, mais il est un composant indispensable de toute configuration, qu'elle soit autonome, indépendante ou membre d'un réseau de machines. La diversité des solutions et des utilisations nous amène à faire un point aussi détaillé que possible sur les différentes technologies de stockage disponibles à ce jour aussi bien pour un usage individuel que pour un usage collaboratif.

Nous distinguerons ainsi 3 grandes catégories de stockage :

- Le DAS (direct attached storage) ou stockage en attachement direct.

- Le NAS (network area storage) "grand public" ou démocratisé.

- Le Stockage réseau de production (NAS Professionnel ou SAN)


1/ Les différents types de DAS

On retrouve dans cette catégorie de stockage la plus répandue les modèles suivants :

- Les disques ultra compacts

- Les disques portables

- Les disques de bureau

- Les disques RAID


Les disques ultra compacts

Depuis toujours il existe des unités de stockage de petite taille (clefs usb, cartes flash, etc). Les progrès réalisés dans le domaine du stockage flash et en particulier sur la mémoire NVMe rendent désormais possible l’association de compacité, capacité et performances.

Il existe en effet depuis quelques années des produits comme le Samsung T5 (T7 en 2020) ou les LaCie Portable SSD qui permettent des performances en lecture/ écriture moyenne de 540 Mo/s tout en conservant des dimensions inférieures à la plupart des smartphones.

Ces disques ne sont pas forcément les moins chers au To mais représentent le meilleur outil pour sauvegarder rapidement le contenu de son ordinateur portable et les données du quotidien. Les capacités à ce jour vont jusqu’à 2 To et peuvent désormais être encryptés matériellement pour bénéficier d’une sécurité à toute épreuve en cas de perte ou de vol.

Les connexions USB 3 Gen2 , USB-C et USB Type A leur donnent une grande polyvalence et interopérabilité.

Certains produits comme ceux de LaCie bénéficient à la fois d'une garantie longue durée (5 ans) mais également d'un service de récupération de données en cas de défaillance matérielle. Nous les considérons comme de très bons outils de sauvegarde pour un usage en mobilité.


Les disques portables ou transportables

Nous ferons volontairement l’impasse sur le disque USB 2/3 que l'on trouvé dans le supermarché du coin car ils représentent généralement ce qui se fait de pire sur ce marché. Leur seul attrait est leur prix.

Ces disques majoritairement mécaniques (à plateaux) sont lents, fragiles et généralement la connexion USB est soudée, ce qui rend la récupération de données ardue si celui-ci est cassé ou défectueux. Ce sont des disques considérés comme mobiles mais ils n’en ont que le nom.


LaCie fut un véritable précurseur avec sa (fameuse) gamme Rugged il y a plus de dix ans, reconnaissable par sa enveloppe de protection (bumper) de couleur orange. Ces disques 2,5" avaient à l’époque le gros avantage d’être résistants au chocs et à l’eau ce qui les a rendus extrêmement populaires dans le milieu de la photo, tournage et de la post-production en conditions de mobilité.

Ces produits ont évolué en intégrant soit un RAID matériel, des lecteurs de cartes mémoires intégrés, ou le fin du fin avec du stockage NVMe.

Les constructeurs comme G-Technology sont arrivés sur ce marché mais dix ans plus tard. 


Le Rugged qui était initialement un stockage mobile USB 2 solide mais lent est devenu un produit solide et extrêmement rapide avec l’arrivée du Rugged SSD Pro (jusqu’à 2800 Mo/s en lecture) permettant de supporter des workflows très exigeants en bande passante et en mobilité. Il est aussi le parfait cache sur Mac pour DaVinci Resolve ou la suite Adobe Creative Cloud.


D’autres produits un peu différents comme le Rugged RAID Shuttle sont arrivés sur le marché récemment. Ce produit initialement pensé pour le tournage a trouvé d’autres usages. Il permet de bénéficier de 8 To de capacité en RAID 0 et correspond à la taille d’un ordinateur portable 13" ou d’une enveloppe Fedex. Il est rapidement devenu incontournable pour les transferts entre les différentes entités d’une production car il allie une bonne compacité, une performance décente et une robustesse adaptée.

Il en est de même pour le Rugged BOSS SSD qui permet de sauvegarder les rushes directement sur le lieu de tournage sans passer par un ordinateur pour le transfert, tout en gardant la compacité d’un disque portable.

Le niveau de fiabilité extrême ainsi que les garanties étendues associés aux services de récupération de données en font une gamme que nous recommandons tout particulièrement.

D'autres fabricants proposent des produits équivalents ou concurrents, cependant l'expérience n'est pas aussi probante en termes de fiabilité et surtout de service client en cas de panne.

Les disques de bureau

Les caractéristiques principales des disques durs de bureau ont peu changé avec les années. Ce qui va principalement les définir aujourd’hui réside en trois points : la capacité, la connectivité et le design. Un disque de bureau se résume finalement à un disque 3,5" SATA connecté à un contrôleur USB ou Thunderbolt (pour les connexions en série). Ces boitiers sont mono disques et donc par définition limités en termes de capacité, performances mais surtout sécurité.

Le disque à plateaux a beaucoup évolué ces dernières années en terme de technologie. La seule possibilité pour les fabricants pour contrer l’avance inexorable des SSD a été de travailler sur les capacités et le coût au To. Il est désormais possible de se procurer des disques durs jusqu’à 16 To pour un coût "raisonnable". Les performances sont de l’ordre de 230 Mo/s en lecture/écriture, ce qui est tout à fait correct pour les usages communs mais peut vite devenir critique en post-production car les performances s’effondrent sur les accès simultanés et sont insuffisantes pour supporter la plupart des codecs UHD actuels.

On peut envisager d’utiliser ces disques comme copie de sauvegarde ou d’archivage. Dans ce cas, la double copie au minimum devient indispensable car un disque dur qu’il soit flash ou mécanique est par définition extrêmement faillible. La double copie est sans doute la solution en apparence la plus économique pour commencer. Elle est cependant extrêmement contraignante et chronophage.

De plus, elle n’est pas fiable sur le long terme car plus un disque vieillit plus il est susceptible de lâcher et ces produits sont conçus pour fonctionner. Le stockage de disques sur l’étagère (particulièrement si stockés sur la tranche) conduit à un taux de défaillance élevé qui s’accentue année après année.


Utiliser un disque dur "nu" dans un dock de bonne qualité comme ceux que peut proposer OWC ou un disque externe classique dans un boitier n’a aucune différence technique. La différence se fera sur la manière dont ils sont stockés et manipulés. Le disque "nu" est bien sur beaucoup plus susceptible de prendre un choc si manipulé quotidiennement.


A ce jour, LaCie remporte la palme aujourd’hui en ce qui concerne les disques de bureau. La gamme d2 particulièrement se révèle pratique et agréable à l’oeil. Elle bénéficie comme les autres produits de la garantie 5 ans associé au DataRescue et propose des boitiers Thunderbolt 3/USB C polyvalents et robustes. Les disques internes sont de la gamme entreprise ce qui leur garantit une durée de vie relativement plus élevée que les disques de bureau de la concurrence. La gamme d2 Thunderbolt 3 est à privilégier car facilement intégrable dans une chaîne de périphériques contrairement au modèle d2 Professional qui a la couleur des iMac pro mais seulement un port unique USB-C qui ne permet aucune connexion en série.

Les disques RAID

Les principaux types de RAID :

RAID 0 : un minimum de deux disques sont agrégés pour cumuler leurs performances. Ce système est le plus rapide mais comporte un risque de défaillance extrêmement élevé car si un disque lâche toutes les données sont perdues. Ce type de RAID est à proscrire si vos données ne sont pas perpétuellement sauvegardées sur un autre périphérique sécurisé.

RAID 1 : souvent utilisé sur les petits disques ou disques système. Il est constitué de deux disques en miroir. En cas d’échec de l’un des disques, les données seront toujours accessibles sur l’autre. Ce type de matrice RAID n’améliore pas les performances mais sécurise les données. Un boitier RAID de deux disques annoncé à 16 To par exemple aura 8 To de capacité utile en RAID 1, 16 To en RAID 0.

L’expérience prouve que lorsqu’un des deux disques lâche sur un RAID 1, l’autre suivra rapidement, particulièrement si c’est un SSD. Nous recommandons en cas de défaillance d’un des disques de prévoir un remplacement du second disque après changement du premier.

RAID 5 & 6 : un minimum de 3 disques est requis. Ce type de RAID permet de cumuler les performances de chaque disque tout en étant sécurisé puisqu’un disque peut lâcher sans que l’on perde les données. C’est le RAID le plus fréquemment utilisé en post-production.

Cependant, si vos données ne sont pas du tout sauvegardées, nous recommandons le RAID 6 qui lui utilise deux disques pour la parité et propose donc ainsi une meilleure tolérance aux pannes.

Sur la plupart des systèmes RAID 5 & 6 il est possible d’allouer un ou plusieurs disques de "spare" qui prendra le relais automatiquement en cas de défaillance d’un des disques de la matrice RAID. Cela induit de "sacrifier" un ou plusieurs emplacements dans le chassis RAID mais peut s’avérer très utile pour les systèmes très sensibles ou peu surveillés car le contrôleur lance la reconstruction dès qu’un disque lâche sans attendre une intervention manuelle de remplacement de la mécanique défectueuse.

Comme expliqué pour le RAID 1, les disques ont tendance à lâcher en cascade car souvent fabriqués en même temps et totalisant le même nombre d’heures et la même utilisation. On observe souvent ce genre de phénomène sur les systèmes vieillissants. Si vous vous retrouvez à partir de 5 ans d’âge du système à remplacer les disques trop régulièrement, c’est que toute votre grappe de disques est en fin de vie. Sa fiabilité et ses performances ne sont plus au rendez-vous.

Il existe trois grandes familles de disques RAID : Les disques RAID logiciels, les disques RAID matériels avec contrôleurs externes et Les disques RAID matériels avec contrôleurs intégrés.

Les disques RAID logiciels

Ce type de boitiers n’intègre pas de contrôleur RAID interne. Des fabricants comme OWC proposent souvent ce type de solution car plus économique. Elle peut être intéressante pour un cache SSD par exemple qui resterait en permanence sur une machine. Sinon, elle est à proscrire car le logiciel de gestion du RAID doit être installé et activé sur l’ordinateur sur lequel le disque est branché et le risque de perdre la matrice RAID, donc les données est plus élevé.

Les RAID matériels avec contrôleurs externes

Cette technologie est utilisée pour gérer des boitiers SAS le plus souvent ou un ensemble de disques montés en interne dans un PC. C’est une carte PCIe ou un boitier Thunderbolt qui gère un ensemble de disques durs connectés en SAS ou SATA. Cette solution souple et performante est très utilisée sur les NAS de production et les gros systèmes d’étalonnage car elle permet une optimisation fine de la ou des matrices RAID et peut gérer un nombre relativement de disques et de matrices.

Avec l’avènement du thunderbolt, elle a été progressivement remplacée par des boitiers ou le contrôleur est intégré, plus faciles à transporter et à exploiter.

Les disques RAID matériels avec contrôleurs intégrés

Ce type de produit est le plus répandu aujourd’hui en postproduction. Les quatre acteurs principaux de ce marché des produits transportables sont LaCie, G-Technology, Promise et Accusys.


Ce type de baie RAID commence à deux disques configurables en RAID 0 ou RAID 1 pour aller jusqu’à 12 en RAID 5 ou 6. Au delà de 12 disques, il faut passer sur des systèmes rackables qui nécessitent une salle serveur ou un local dédié du fait de leur niveau sonore et leur besoin de refroidissement. Seul Accusys propose des systèmes transportables et chaînables. N’hésitez pas à nous consulter pour en savoir plus.


Ces disques sont conçus pour offrir à la fois performance, capacité et fiabilité. Un système 6 disques offrira environ 980 Mo/s en lecture/écrtiure avec une connexion Thunderbolt 3, le double pour un modèle avec 12 disques.

Même si les solutions LaCie offrent par exemple des performances très élevées et stables en accès séquentiels, ils peuvent vite se retrouver mis en défaut sur des accès aléatoires. Dans ce cas de figure, les produits G-Tech et Promise (qui partagent le même contrôleur RAID) seront meilleurs en accès aléatoires et concurrents mais moins bons en accès séquentiels. Cette différence permet de cibler les usages. Nous recommandons les solutions RAID LaCie en usage de montage et d’étalonnage (hormis les workflows en suite d'images) et les G-Tech/Promise en VFX ou 3D où des accès simultanés sur une grande quantité de petits fichiers sont requis.


Il est possible désormais de se procurer des systèmes full SSD (Shuttle SSD Pro chez G-Tech) ou full NVMe. On dispose là de systèmes compacts et très rapides qui permettent des accès lecture/écriture jusqu'à 2800 Mo/s mais souvent de faible capacité. Le coût au To reste encore élevé face aux systèmes mécaniques.

Il existe aussi de grosses entités de stockage rackables de 16 disques ou plus. On les retrouve parfois sur les très gros systèmes d’étalonnage. Accusys est le fabricant le plus répandu dans ce cas car rapide, fiable mais cependant abordable. Ces systèmes se retrouvent également dans les grosses entités de stockage partagés SAN ou NAS avec des fabricants comme Infortrend ou Accusys. Nous consulter pour des solutions personnalisées.

Le temps où un NAS n’était qu’une surface de stockage partagée dédiée à de l’archivage où à partager des documents administratifs au coeur d’une PME ou d’un service interne de grande structure est définitivement révolu. L’offre pléthorique sur ce marché permet à tout un chacun de choisir le produit correspondant à son usage, personnel, administratif, video surveillance, post-production pour ce citer que quelques exemples.

Le but n'est pas de rentrer aujourd’hui dans les détails d’une "infrastructure réseau “saine & rapide" mais c’est évidemment un pré requis pour toute solution de partage réseau performante.

Nous distinguons aujourd’hui trois catégories principales de produits :

- Les NAS "maison"
- Les NAS polyvalents
- Les NAS dédiés pour un usage précis

Les NAS "maison"

Les NAS nommés “maison” commencent souvent par un besoin basique : partager un fichier sur le réseau. C’est à partir de ce constat qu’on va commencer à réfléchir à nos besoins et faire avec les moyens du bord.

Le plus simple est de partager depuis son PC ou son Mac un fichier et laisser les autres y accéder par l’onglet des périphériques réseau. Cet usage peut suffire à la plupart des ménages. Très vite se pose le problème de l’ordinateur qui est redémarré alors qu’il partageait un fichier ou de la gestion des droits (qui a effacé …. ), de la stabilité du service et des performances si on partage des éléments vidéo.


MacOS Server

Si on était sur Mac, la tentation était grande (et légitime) de télécharger feu MacOS server et de se monter un serveur réseau “digne de ce nom”. Cette solution bien qu’ayant fait ses preuves dans différents environnements n’était pas d’une stabilité redoutable et demandait très rapidement des compétences informatiques plus poussées. De plus, pour différentes raisons inhérentes à Apple elle-même, les performances des drivers réseau de ces machines n’ont jamais été réellement optimisés que ce soit en simple lien ou agrégat (ne parlons pas des cartes réseau des PowerMac G5 de l'époque qui tournaient à la moitié de leur vitesse théorique... ou de celles des iMac Pro et Mac mini 2018-20).

A cela, venait s’ajouter le besoin de sécuriser son espace de stockage avec des solutions RAID ou autres. Le partage de fichiers depuis Mac OS pouvait vite devenir coûteux, complexe et malgré tout instable en forte charge. De plus, la gestion des droits et la fragilité du filesystem HFS en font des solutions très fragiles.

Nous connaissons toutefois certaines installations qui tournent relativement bien, y compris avec du matériel récent car les personnes qui les ont mises en place connaissentleurs “caprices” et les surveillent attentivement. Quid du jour où la personne est absente ?


Windows server 

Il est aussi très simple de partager des fichiers depuis un client windows mais avec beaucoup de limitations. On va donc vite envisager de passer sous Windows Server qui coûte autrement plus cher et est beaucoup plus complexe (et complet ) que feu Mac OS server par exemple. Dès que l’on va vouloir gérer droits et permissions par exemple on va très vite être tenté de monter un service Active Directory qui va vite devenir une usine à gaz si mal gérée/configurée.

Il va être rapidement possible de monter un service de partage relativement stable et performant mais la mise en production de la solution aura eu un réel coût si faite par un professionnel ou un coût humain si déployée en interne. Les problématiques de gestion des droits et de suivi de la solution sont relativement identiques à ceux évoqués sous Mac OS (Server ou pas).

Cependant à grande échelle, il est évident que Windows Server est très abouti et polymorphe mais répond-il vraiment à ce besoin particulier de simplement et rapidement partager des fichiers ? Rien n'est moins sur.


FreeNAS

Il est extrêmement aisé d’installer la plateforme FreeNAS basée sur FreeBSD, une plateforme Open Source. L’installation se passe bien généralement, c’est relativement documenté et la communauté très généreuse en conseils et recommandations. Cependant, il ne faut pas avoir peur de mettre les mains dans le cambouis et une bonne connaissance d’Unix est pré requise pour ne pas vite perdre la main sur le système.

De plus, le coté Plug & Play de cet OS fait qu’il va tourner sur des drivers génériques et sans optimisation par défaut ce qui peut vite rendre le niveau de performances décevant, surtout si la base matérielle est puissante (processeurs, contrôleurs RAID...).


Les NAS polyvalents

Depuis vingt ans pour le premier et seize pour le second, Synology et QNAP n’ont cessé de proposer et améliorer des solutions de partage réseau. (Pour des raisons de fiabilité et de qualité de support, nous allons utiliser Synology dans nos exemples. Plusieurs expériences malheureuses avec QNAP ne nous ont pas vraiment convaincu.


L’offre actuelle va du simple NAS grand public 2 disques jusqu’à 72 disques voir plus. Ces solutions ont un gros avantage : elles se reposent sur un OS qui va être commun à toute la gamme et relativement simple à utiliser. Cela va permettre d’avoir une quantité relativement large de modules logiciels à ajouter à ce NAS, que ça soit de la virtualisation, du streaming, serveur DHCP, Active Directory et bien d'autres...

Simplement ces services consomment des ressources processeur et notre NAS possède un RAID logiciel dont les performances sont en partie liées justement à la ressource processeur. Votre NAS de stockage doit-il, parce qu’il peut le faire, héberger une machine virtuelle, un accès FTP et un service de transcodage ? C'est plutôt à éviter.

Ces solutions ont cependant un gros défaut : elles reposent sur un OS qui va être commun à toute la gamme et pas forcément optimisé en terme de performances. 

Explications : Dans leur cas le RAID est logiciel, le niveau de performances va dépendre de nombreux facteurs comme le type de disques utilisés, le type de processeur, la quantité de mémoire vive du NAS et son nombre d’utilisateurs.

Ces solutions ne sont pas dédiées aux métiers de l’audiovisuel, elles peuvent fonctionner mais nous en détournons en quelque sorte leur usage.

Concrètement, un Synology 12 disques avec des disques SATA 3,5” en RAID 6 plafonnera dans le meilleur des cas (volume vide et un utilisateur en test) à 700 ou 800 Mo/s en lecture/écriture monoflux. Un DAS ou NAS avec un RAID matériel sortira au moins le double.

De plus, les accès simultanés à des ressources vidéo moyennement lourdes vont vite s’effondrer en multi-accès. Concrètement, dans le cas d’une structure ou 3 monteurs utilisent le NAS, les choses vont commencer à compliquer du moment où le 3ème utilisateur va commencer à travailler. La solution n’étant pas optimisée pour ces métiers, elle n'applique pas de priorité vis à vis des flux et le RAID logiciel va vite atteindre ses limites.

Si un opérateur a le malheur d’arriver et commence à décharger ses rushes sur le NAS, donc génère des requêtes en écriture là où les monteurs ont besoin de performances en lecture, plus personne ne pourra travailler correctement. Les disques SATA en ont effet pour principale différence avec les disques SAS de ne pouvoir gérer une lecture /écriture simultanée donc les performances s’effondrent lorsqu’on fait ce genre de requêtes de façon intensive ou continue.


Le Cache SSD


La solution trouvée pour pallier partiellement à ce problème va être d’adjoindre à ce NAS Synology un RAID SSD correspondant si possible à la quantité de données qui va être utilisée pendant la journée de travail.

Les fichiers resteront sur ce RAID SSD pendant la journée et seront copiées sur le RAID HDD quand l’activité baissera ou que le RAID SSD sera plein.

C’est une solution assez courante désormais qui va permettre à notre structure avec trois monteurs de monter sans pertes d’images tant que la quantité de données à copier par le chef opérateur n’excédera pas la taille du cache. A partir du moment ou celui ci aura besoin de se décharger sur le RAID HDD, les performances vont diminuer drastiquement.

Cela reste néanmoins une bonne solution pour permettre à un NAS d’être utilisable en post production car les latences dues au RAID mécanique sont réduites. Le gros défaut à mon avis de cette solution réside en deux points : 

Si le RAID SSD tombe en panne on risque de perdre toutes les données présentes dessus (en l’occurence la journée de travail …. ) et la technologie de mise en cache actuelle fonctionne (seulement) en mode fichier. Concrètement, vous avez un projet Resolve avec 24 heures de rushes. Vous montez ce jour 4 minutes extraites de ces 24 heures de Rushes. Si vous utilisez 10 secondes à l’intérieur d’un rush de 40 minutes, l’intégralité du rush va remonter dans le cache SSD. Appliquez cette règle à l’intégralité du projet multipliée par 3 ou 4 monteurs, vous risquez de vous retrouver très vite avec un cache saturé, et donc de perdre tout le bénéfice de cet "artifice" technique.

Les services associés et valeur ajoutée

Nous recommanderions à l’heure actuelle d’utiliser ce type de NAS pour des usages de Nearline ou d’archivage en ce qui concerne le stockage. Si votre infrastructure dispose d’un accès à internet via la fibre, ils peuvent aussi être utilisés comme un cloud personnel pour les différentes stations de travail, un serveur VPN, un serveur de partage de fichiers...

Si ce NAS fait partie de la gamme entreprise, il pourra éventuellement gérer (à titre de dépannage) un service d’hébergement de vidéos. Comme toujours, mettre tous ses oeufs ou en l’occurence tous ses services dans le même panier n’est pas recommandé. Des solutions de haute disponibilité (c’est à dire avoir deux NAS identiques pour que l’un prenne le relais en cas de défaillance de l’autre ) existent mais peuvent devenir rapidement coûteuses et compliquées à maintenir.


Dédier un NAS secondaire à une archive locale, serveur VPN et partage de fichiers est le plus courant. Ce NAS étant souvent un réplication du stockage de production, il servira de "Disaster recovery" en cas de défaillance de celui ci. Dans tous les cas, ce NAS étant souvent sur site, il est recommandé de copier ses données à l’extérieur, que ce soit un autre NAS ou un espace cloud en cas d’incident majeur au sein des locaux principaux.

Les serveurs de production (média)

La famille des serveurs de production est très grande à l’image des besoins qui peuvent varier fortement d’une structure à l’autre.

Historiquement, le stockage collaboratif dans la production audiovisuelle était basé sur du stockage SAN. Pour faire court, tous les postes clients avaient un accès physique au stockage au travers d’une liaison Fiber Channel. La gestion de la métadonnée permettant de gérer l’identification et l’accès au fichier passait par un réseau dédié. D’autres fabricants proposaient une connexion iSCSI par un réseau dédié entre le client et le stockage.

Toutes ces solutions avaient l’avantage d’être rapides car on accédait aux fichiers en mode bloc et on contournait ainsi les lenteurs des protocoles de partage réseau qui n’étaient pas encore aboutis ou assez rapides. Cependant, il fallait installer un logiciel sur le poste client qui devait contourner antivirus et firewall et qui demandait souvent une licence dédiée.

Ces infrastructures avaient deux problèmes majeurs : elles coûtaient très cher et pouvaient être très compliquées à maintenir en production. Il n’était pas rare dans les grosses structures d’avoir un technicien dédié à la maintenance du SAN. De plus, il était quasi impossible d’ajouter du stockage sans "casser" tout le SAN et être ainsi hors production pendant quelques jours.

Un autre inconvénient de ces solutions étaient qu’elles nécessitaient souvent que les postes clients soient du même OS, même version du gestionnaire de SAN. Le moindre changement logiciel ou matériel pouvait vite devenir un casse tête.

Pour ces différentes raisons, certains fabricants de stockage se sont intéressés très tôt au stockage de production basé sur les protocoles réseau "génériques". L’avantage est que ces protocoles sont "universels"  et sans limitation du nombre de postes connectés autre que la capacité de l’infrastructure réseau à gérer le trafic.

Le Fiber Channel a perduré relativement longtemps car les investissements avaient été conséquents et le matériel durable. De plus, dans beaucoup de sociétés, l’infrastructure technique du réseau n’était pas en capacité de gérer la bande passante nécessaire à un réseau de production.

Les choses ont commencé à bouger il y 4 ou 5 ans quand les commutateurs Ethernet 10Gb ont commencé à devenir abordables. Il était d'autant plus facile si votre câblage réseau était récent afin de garantir 650 Mo/s au minimum entre le poste client et le serveur. C’est plus ou moins équivalent aux performances du Fiber Channel à 8 Gb. 

En conséquence, nous avons commencé à équiper nos clients de solutions "hybrides" ou il était encore possible de se connecter aux stockages en Fiber Channel pour les anciennes machines et en 10 Gb Ethernet pour les plus récentes. Cette solution avait un principal inconvénient : il fallait toujours installer un logiciel sur les postes clients pour se connecter au stockage. Ces technologies étant basées historiquement sur la technologie SAN, les problématiques d’augmentation de capacité de stockage ou de bande passante, la gestion des licences serveur et client, bref leurs points faibles restaient les mêmes.

Ces solutions technologiques certes éprouvées et robustes commencent néanmoins à marquer leur âge. La plupart des fabricants restent coincés dans leur approche et leur philosophie alors que le partage par le réseau en utilisant les protocoles génériques peut désormais fonctionner aussi bien voire mieux.

La démocratisation tarifaire des réseaux en 10/25/40/50/100 Gb/s et la généralisation des interfaces et de la commutation a permis de basculer vers des solutions de stockage basées sur le réseau uniquement tout en réutilisant éventuellement les câbles fibre optiques qui avaient été installés pour le Fiber Channel.

C’est à partir de de moment que les fabricants ayant fait le pari du tout IP plutôt que du stockage bloc il y a 10 ans peuvent démontrer aujourd’hui l’étendue de leur savoir faire et leur avance en la matière.


Nous avons choisi de travailler désormais avec GB Labs, un fabricant de stockage anglais qui nous semble répondre au mieux aux problématiques de nos clients. En effet, cette société était historiquement un des plus gros intégrateurs d'infrastructures SAN au Royaume-Uni. Ils se sont vite rendus compte que les solutions SAN étaient parfois surdimensionnées ou inadaptées aux besoins ou fonctionnement de leurs clients.

Les technologies exclusives des produits GB Labs


CORE OS - BLUESHIFT

Ils ont très vite commencé à fabriquer leur propres NAS et ont acquis un grand savoir faire en terme d’optimisation des matériels et protocoles réseau pour arriver à transporter les flux Audio Vidéo aussi rapidement que sur un SAN. Ils ont ainsi depuis dix ans développé une expertise en optimisation des protocoles et des interfaces et commutateurs réseau pour obtenir le moins de latence possible tout en conservant le taux de transfert.

Une fois ce travail d’optimisation effectué, ils ont commencé à développer leur propre Operating System pour leurs serveurs afin de pouvoir optimiser au mieux les tâches internes à celui-ci et mettre en place des outils d’analyse des flux transportés qui vont permettre au serveur de s’adapter dynamiquement en fonction du type de requêtes et du nombre d’utilisateurs.


NETWORK TOOLS

Ils ont réalisé qu’il fallait fournir à leur utilisateurs (et à leur support ) des outils permettant d’identifier les points de défaillance sur un réseau d’entreprise afin d’éviter qu’un câble malencontreusement branché au mauvais endroit par un opérateur non averti ne vienne mettre en péril la stabilité de l'ensemble. Ce qu’ils ont fait.

          

IDA - VRE - NITRO

La base était là. Ils disposaient de serveurs dédiés et optimisés à nos métiers, de capacité d’optimisation des réseaux sans sur-couche logicielle.

Ils ont ensuite naturellement travaillé sur l’optimisation des contrôleurs RAID de leurs serveurs pour en tirer la quintessence et se sont vide rendus compte que les RAID mécaniques avaient leurs limites.

Très tôt, ils ont travaillé sur une technologie de caching par bloc et non pas par fichier se basant sur les outils d’analyse internes au serveur. Ainsi, lorsque le serveur constate qu’un utilisateur fait appel 7 fois à un bloc de données dans un temps défini, il va le copier sur son cache SSD. Etant donné qu’il ne copie que les blocs utilisés et non pas tout le fichier source, cette copie est transparente et instantanée. Cela va permettre à une multitude d’opérateurs d’accéder aux données utilisées avec une latence quasi nulle. Concrètement, un monteur travaille en moyenne sur trois ou quatre minutes de montage quotidiennement avec peut être 60 minutes de rushes utilisés. Il aura un accès privilégié à ses données, même si il y a 24 heures de rushes dans son projet car uniquement les fragments utilisés seront copiés dans le cache.

En termes de comparaison, le Synology mentionné plus tôt aurait copié sur son cache l’intégralité des rushes ouverts dans le projet soit 24 heures. Ça ne sert à rien, ça prend de la place sur le cache et nuit aux performances globales du sytème.

Cette technologie de caching avancée a permis de mettre en place une autre fonctionnalité à ma connaissance quasi-unique sur ce marché qui est la mise en priorité du type de flux.

PRODUCTION MODE

Toute personne ayant déjà utilisé un stockage collaboratif a constaté qu’il était souvent impossible de garantir une écriture continue (capture vidéo par exemple ) et une lecture simultanée (montage ) stable dans le cas ou elles interviennent sur le même volume physique. L’une ou l’autre des tâches était perturbée par des pertes d’images, ce qui peut s’avérer critique lors d'acquisition de flux en direct.

GB Labs sait gérer les priorités par type de flux afin de permettre aux monteurs de travailler sans être perturbés par les flux capturés par d’autres régies et vice-versa. Ainsi, les données sont capturées sur le même serveur et montées dans la foulée là où souvent elles doivent être déplacées du disque d’ingest vers le disque de travail.

BANDWIDTH CONTROL

Dans la même logique, il peut être utile en particulier sur les grosses installations de gérer les priorités de bande passante pour certains postes ou utilisateurs. Les solutions GB Labs permettent de le faire, et ce de deux manières : 

La première (présente sur tout leurs systèmes) permet de décider de mettre un quota de bande passante par machine ou groupe de machines (plage IP). On sait par exemple que telle station de montage même si connectée en 10 Gb n’aura besoin au maximum que de 250 Mo/s en lecture/écriture, mais que l’opérateur a la fâcheuse habitude de lancer de grosses copies éventuellement pénalisantes et inutiles depuis son poste. On pourra de cette manière choisir de le brider pour être sûr que les autres ne soient pas gênés.


DYNAMIC BANDWIDTH CONTROL

La seconde solution est l’allocation dynamique de bande passante. Elle n’est présente que sur les plus gros systèmes car elle s’appuie sur "l’analytics centre" présent sur les serveurs bi-processeurs qui utilisent un processeur dédié pour le partage réseau, l’autre pour l’analytics centre et les tâches d’automation. Cette solution permet une allocation dynamique de la bande passante par utilisateur ou par machine. Concrètement on va définir des règles de priorités par importance et le serveur va les appliquer en fonction du taux d’utilisation du serveur. Dans la pratique, si l'utilisateur A est en haute priorité, B qui n’est pas prioritaire ne sera pas "limité" tant que A ne sera pas présent.

REPLICATION

Il est possible sur tous les systèmes de mettre en place des tâches de réplication automatisées basées sur des critères horaires. Les serveurs seront capables d’aller récupérer sur un espace cloud, un autre NAS ou workspace, un FTP, des fichiers et de les copier/déplacer à un endroit prédéfini. On peut par exemple programmer une copie ou téléchargement des rushes pendant la nuit et on va demander au serveur d’aller les copier sur le workspace ingest d'un projet en particulier.
La même chose est possible dans l’autre sens. Il est possible de demander au serveur de répliquer tel ou tel dossier sur un cloud à 22h par exemple. Il est tout à fait possible de demander au serveur de vous envoyer un email pour vous spécifier si la tâche a réussi ou non à l’instar de toute opération réalisable par le serveur.



AUTOMATION

Le système d’automation présent sur les gros systèmes est encore plus abouti. Il reprend les principes de la réplication mais de plus est capable de réaliser des snapshots d’un ou plusieurs répertoires. On pourrait assimiler celà à un time-machine sur mac.
Par exemple, on va décider que le répertoire contenant les projets Adobe Première va être pris en instantané (Snapshot) toutes les dix minutes. Cela pourra permettre en cas de fausse manipulation de revenir au projet tel qu’il était à 10h30 ce matin. Il est évident que par principe un snapshot est incrémentiel. On gardera donc en tête que l’espace dédié aux snapshots devra être beaucoup plus grand que la source.
Le moteur d’automation peut faire tout ce qu’on lui demande en terme de gestion de fichiers. Par exemple, on peut très bien établir une règle ou il va aller scanner les rushes RED situés sur un autre NAS et aller copier uniquement les fichier proxies en .mov dans un autre workspace tout en recréant l’arborescence d’origine pour faciliter le relink par la suite. Ce n’est qu’un exemple basique.
C’est un outil de construction de workflow intégré au serveur qui peut faire gagner beaucoup de temps humain sur des tâches ingrates et chronophages.


MOSAIC

Tout les nouveaux systèmes de stockage GB Labs incluent Mosaic en standard. Il s'agit d'une interface graphique vous permettant d’afficher, classer, trier les médias présents dans votre stockage. Sans être un véritable MAM, il permet aux utilisateurs de retrouver, classer leurs éléments et leur ajouter des champs de méta-données qui sont exportables vers un MAM si besoin. Il est possible de l’interfacer avec Google AI pour que les différents objets dans l’image soient identifiés et marqués. 
Vous pouvez, une fois la recherche effectuée, les sélectionner, les ajouter à un panier et enfin les intégrer à votre projet de montage. Différents outils de collaboration et annotation sont présents pour en faire un outil de visualisation intuitif et collaboratif. Mosaic évoluant en permanence, n’hésitez pas à nous solliciter pour une démonstration.


CLOAK DR

C’est la dernière brique ajoutée au panel de fonctionnalités GB Labs. Il s'agit d'un système de fail-over haute disponibilité. Concrètement, vous devez avoir deux systèmes qui sont répliqués perpétuellement, idéalement localisés à deux endroits différents.
Un système est défini comme primaire, l’autre comme secondaire. L’utilisateur accède aux serveurs via une adresse IP virtuelle pointant vers les deux serveurs. Si le système primaire rencontre un souci, le système secondaire prendra le relais immédiatement et sans interruption sensible pour les utilisateurs. L’administrateur système sera prévenu par mail et invité à résoudre le problème sur le serveur primaire. Lorsque le système primaire redevient disponible, les données sont synchronisées et le serveur primaire reprend son rôle.

Garantie, support et politique commerciale

Tous les produits GB Labs disposent de la garantie standard matérielle de 1 an. En tant que partenaire, Atreid dispose d’un accès prioritaire au support GB Labs. 
Néanmoins, nous recommandons dès l’achat de votre équipement GB Labs de souscrire un contrat de support logiciel et matériel pour la durée de vie du produit. Il vous garantit sérénité et rapidité de réponse en cas de problème.
De plus, le contrat de support GBLabs, relativement peu coûteux face à la concurrence, vous permet de bénéficier des améliorations logicielles si votre système le supporte. 
Il est à noter que les blocs d’alimentation et les disques durs peuvent être garantis en remplacement anticipé si vous souscrivez le Care Pack
Si Atreid est le gestionnaire de votre infra-structure, le contrat de support GB Labs sera intégré à une offre plus globale (nous contacter à ce sujet).

Tiger Technology et les anciens systèmes ?

Comme beaucoup de nos clients le savent, Atreid et Tiger Technology ont été et sont toujours partenaires depuis de nombreuses années. Cependant, des changements de politique tarifaire et l’orientation très axée Cloud au détriment des autres développements nous ont incité à rechercher d’autres systèmes à même de répondre aux besoins de nos clients.

La réflection et les phases de test ont pris presque deux ans. Nous avons étudié les différentes solutions du marché tout en retenant les leçons passées.

Une des plus grandes critiques des systèmes Tiger Technology et autres fabricants concerne l'installation de logiciel client sur tous les postes utilisateurs. 

C’est pourquoi nous nous sommes très vite orientés vers des fabricants qui proposaient des protocoles de connection génériques. C’est là que nous nous sommes rendus compte que tout le monde ne proposait pas du tout la même chose, même en se reposant sur les mêmes protocoles.

Beaucoup de fabricants proposent en effet des solutions qui pourraient être adaptées à la post-production mais qui se retrouvent vite mises en défaut du fait de l’absence de cache bien géré ou d’une optimisation sérieuse du matériel et adaptée aux flux de post-production.

GB Labs nous a intéressé car leur approche est axée sur vos métiers et les usages courants et pas sur des performances brutes sur un ou deux flux. Le fait qu’ils aient longtemps installé eux même leur produits et leur passé d’ancien intégrateur nous confère une expérience commune et une bonne connaissance des problématiques de nos clients.

De plus, une fois mis en production chez des clients tests, ceux-ci initialement bloqués sur des spécificités matérielles (nombre de disques, contrôleur RAID) se sont vite rendu compte que la solution faisait plus que son Job face à n’importe quelle solution équivalente déployée dans les mêmes conditions.

Il est évident qu’un client qui a investi des sommes conséquentes dans une solution Fiber Channel par exemple récemment ne voudra pas (et n’aura pas besoin de tout remplacer).

Un point clef dans l’utilisation de vos stockages et la catégorisation et le cycle de vie de vos données. Il peut être tentant de tout garder en haute disponibilité sur votre stockage le plus rapide, on se rendra vite compte qu’un pourcentage élevé de ces données n’est pas ou peu utilisé et n’a pas besoin de haute disponibilité.

Notre approche pour ces usages sera de réutiliser l’infrastructure et les stockages encore performants et de les connecter à un produit appelé EchoBridge. Celui-ci au travers d’interfaces SAS ou Fiber Channel permettra de transformer ce stockage en Nearline accessible par le réseau. Selon les scénarios, nous envisagerons sans doute de lui adjoindre une unité de stockage intégralement SSD qui servira de cache quotidien pour les données en production. Les allées et venues entre le cache et le Nearline se feront automatiquement mais peuvent être aussi déclenchées manuellement si besoin. Dans le cas d’un utilisateur Tiger Box, celui ci sera utilisé comme Nearline via un partage SMB pour ne plus avoir à utiliser le support Tiger et le client associé.

Dans certains cas de figure, les solutions Tiger Technology peuvent néanmoins rester les plus adéquates et nous continuerons de les proposer si ça nous semble être le cas. Nous continuerons bien sûr à les maintenir et à vous apporter l’assistance nécessaire tout au long de la durée de vie du produit.

© Atreid - Mai 2020


Date de cloture 30/09/2021
Droits d'accés at9
Taux TVA par défaut 20
Date Passage Euro 1/11/2001
Login FTP at
Password FTP tempest
eMail contact@atreid.com
Longueur compte 8
Compte Ventes 70100000
Compte Achats 60000000
Comptes Clients 411
Comptes Fournisseurs 401
TVA déductible 4456
TVA collectée 4457
Compte d'attente bancaire 51130000
Pas de transfert des achats 1
Mode passif 1
Nom de l'utilisateur jpm
Serveur FTP www.atreid.fr
Répertoire pour Livraison 1
News Dernière Alerte Quotidienne 20071012075310
Prochain Transfert Comptable 20220928163100
Mise à jour du stock 1
Mise à jour du stock automatique 1
SSL 1
Informations spécifiques aux produits 1
Compositions 1
Variances 1
Date Dernier inventaire 02/04/2022
Tarifs 1
Classification des produits 1
Supports 1
Taux de marque 1
Téléphones au format international 1
Tri du répertoire intelligent 1
Nom ATREID
Adresse 377 rue de la Manade
Code postal 34160
Ville Castries
Pays France
N° Téléphone 0467156177
Date d'immatriculation 13/03/1997
Capital 77000
Nombre de parts 1400
Monnaie ### ### ##0.00 €;-### ### ##0.00 €;
Date de cloture N-1 30/09/2020
Date de cloture N-2 30/09/2019
Transfert comptable 01/01/2022
Inclure le résumé 1
Transfert Comptable OK 1
Transfert Comptable Vérification 1
Transfert Comptable Factures 1
Transfert Comptable Factures Date 01/01/2022
Transfert Comptable Réglements 1
Transfert Comptable Réglements Date 01/01/2022
Transfert Comptable Achats 1
Transfert Comptable Achats Date 01/01/2022
Transfert Comptable Réglements Achats 1
Transfert Comptable Réglements Achats Date 01/01/2022
Transfert Comptable Délai 3600
Ecriture 1763397
Dernier Transfert Comptable 20220928153117
Journaux à imprimer AC,BP,RE,VE,
Ne pas crypter les liens mails 1