Astrastore - teknisk systembeskrivelse

Astrastore er navnet til den nye konsoliderte lagringsløsningen som skal lagre data for UiO, og nasjonale forskningsdata de neste 5-6 årene. Systemet er designet for 100% oppetid med innebygget redundans i alle ledd. Innebygget virtualiseringsteknoligi sørger for dynamisk plassering av data på media med riktig ytelse i forhold til behovet (dynamisk «tiering»). Allokering av fysisk lagring skjer dynamisk og først når nye objekter opprettes (tynn provisjonering). Resultatet er en lagringsressurs som utnytter fysisk media effektivt og tilpasser seg endringer i behovene uten behov for nedetid.

Helt overordnet består Astrastore av følgende komponenter:

  • fire stykk HUS-VM (blokklagring fra Hitachi Data Systems) med over 4PiB lagring på disk
  • en NAS-løsning fra Hitachi Data Systems
  • et tapebibliotek fra SpectraLogic med nesten 4PiB lagring på tape
  • et arkivsystem fra Qstar
  • FC-san med Brocade-switcher levert av Hitachi Data Systems
  • 10Gb Ethernet levert av Cisco

Hvordan disse er koblet sammen er beskrevet i figuren over.

HUS-VM (blokklagring)

Hitachi Unified Storage (HUS) VM er en løsning for blokklagring fra Hitachi Data Systems. Med hensyn til funksjonalitet og muligheter plasserer HUS VM seg i grenselandet mellom «enterprise» og «midrange» segmentet i lagringsmarkedet. En HUS VM har Fibre Channel front end (32 porter à 8 Gb/s ) og SAS back end (6Gb/s) og støtter SSD, SAS og NL-SAS disker. Husvm01 og 02 har en kombinasjon av 10k SAS og 7.5k SAS-NL, og presenterer logiske disker til hnas-clusteret.

UiO's løsning består av fire stk HUS VM (husvm0[1-4] og er konfigurert som skissen over illustrerer. Husvm03 har en kombinasjon av SSD og SAS disker og husvm04 har kun SAS-NL. Husvm04 er virtualisert bak husvm03 og presenterer  sin lagringskapasitet kun til husvm03. Husvm03 har èn stor pool som består av intern SSD og SAS samt ekstern lagring fra husvm04 (NL-SAS). Husvm03 presenterer i sin tur logiske disker til forbrukere av blokklagring, i hovedsak VMware. HUS VM kan oppgraderes med ny kapasitet (disker og hyller ) og programvare uten nedetid. Dette er en viktig egenskap for et system som mange brukere er avhengig av.

HUS VM administreres av en programvarepakke: Hitachi Command Suite (HCS). Pakken tilbyr et sentralt administrasjonsgrensesnitt for all blokklagring og inkluderer avanserte verktøy for konfigurasjon og ytelsesovervåking både via webbasert GUI og kommandolinjegrensesnitt.

Samlet netto lagringskapasitet for HUS VM er 4.8 PiB (april 2014)

Tiering

En viktig egenskap ved HUS VM er dynamisk tiering. Dynamisk tiering betyr at data flyttes rundt dynamisk basert på aktivitetsnivået, illustrert ved følgende figur.

HNAS

Hitachi HNAS tilbyr nettverksfilsystemene NFS og CIFS/SMB og benytter selv HUS VM som blokklagring. HNAS ble opprinnelig laget av BlueARC, og var Hitachi NAS-partner noen år før BlueARC ble kjøpt opp av Hitachi Data Systems for noen år siden. UiO's løsning består av to clustere, hvert med to fysiske noder (3090 og 4010) og som kan utvides til fire noder. Presentasjon av nettverksfilsystemer gjøres av virtuell maskiner som kan flyttes mellom de fysiske nodene i fart. Dersom en av nodene feiler, vil den andre noen ta over de virtuell maskinene og tjenesten kjøre videre på den alternative maskinen.

SpectraLogic tapebibliotek og Qstar

UiO's løsning inkluderer et tapearkiv for langtidslagring av forskningsdata. Biblioteket er produsert av Spectralogic og modellen (T-Finity) skalerer til 3.6 Exabyte, 16 roboter, 320 rammer (rack) og 960 tape-driver.  For UiO's del betyr dette at biblioteket kan bygges ut til maskinrommets fysiske begrensinger. Arkivets kapasitet i dag er på 3.6 PiB.

Foran biblioteket står det en maskin med programvare fra Qstar. Denne opptrer som abstraksjonslag mellom tapebiblioteket og forbrukere. Qstar presenterer standard NFS-filsystemer over nett og lagrer data på lineært tapefilesystem (LTS) i biblioteket.

Hovedforbruker av tape-arkivet er IRODS (Integrated Rule Oriented Data System). IRODS er et system for lagring, beskrivelse og oppslag i forskningsdata og sørger for at metadata er lett tilgjengelig for søk, gjennfinning og oppdatering mens underliggende datamengder som sjelden aksesseres migreres til langtidsarkivet, i dette tilfellet T-Finity-arkivet. IRODS bruker HNAS til lagring av ferske data, dvs. data som nettopp er blitt lagt inn i systemet og data som er blitt aksessert og dermed er trukket ut av arkivet igjen.

FC-san

Løsningen ble levert med 10 standard Brocade 6510 med 48 16Gbps porter. Fire av disse  står for sammnkoblingen av HUS VM og HNAS og VMware hoster.

 

10Gb Ethernet

HNAS-nodene har to 10 Gb/s porter hver som er koblet til hver sin Cisco Nexus 5548. Nye VMware hoster i Dell Bladecenter har også 10GB uplink direkte mot Nexus'ene via intern IO-aggregator. Nexus'ene er kjøpt inn separat og er integrert med resten av UiO's nett-infrastruktur. HNAS-nodene har VLAN-trunking helt inn til sine 10Gb/s interface. EVS'er på forskjellig VLAN dermed deler dermed underliggende 10Gb/s fysiske båndbredde.

 

Av Jarle Bjørgeengen
Publisert 21. mai 2013 12:59 - Sist endret 12. sep. 2014 15:51