Jeg har fornøjelsen at arbejde med et lille SAN på min arbejdsplads fra Nimble Storage – et Adaptive flash array, model CS235.
Nimble CS235 array
Hardwaren er “off-the-shelf commodity” og altså ikke som hos visse andre storage producenter, eget udviklet hardware og ASIC´s, men det betyder ikke, at produktet er dårligere af den grund.
CS235 er en OEM boks fra SuperMicro indeholdende et SuperMicro X9DBS-F board (eller rettere 2, da arrayet har 2 controllere for redundans), Intel E5-2403V2 Ivy Bridge CPU, 20Gb SD-DIMM og 4Gb NV-DIMM fra Agiga technologies, og 4 stk. 1Gbit netkort.
nimble cs235 nvdimm
Om der er NV-DIMM eller et addon Non-volatile memory board i arrayet giver nok ikke den store latency forskel i den virkelige verden, men det sparer et pci-e slot, som giver rigtigt meget mening.
I “rå” plads er der 24TB, som med raid giver 16TB effektiv plads ikke medregnet komprimering eller andre plads besparende faktorer, og 640GB SSD cache fordelt på 2 Intel SSD diske.
nimble cs235 motherboard
Harddiskene er helt almindelige 2TB N-SAS diske – altså basalt set SATA diske – men alligevel for jeg 15.000 iops, grundet den måde Nimble CASL operativ er bygget op på. Data skrives altid sekventielt ud på alle diske á 4.5Mb stripe (som er lidt anderledes nu, hvor raid kan miste op til 3 diske uden datatab), og data skrives altid efterfølgende hinanden, så fragmentering er næsten lig nul.
De burde de også være eksperter i, da begge grundlæggere kommer fra DataDomain.
Det betyder jo så også, at der næsten aldrig køres Garbage Collection, og når det kører, er det ikke målbart på latency.
Det var måske det oprindelige mål for NetApp, men det er aldrig lykkedes for dem. Det jeg har hørt med NetApp (et af mange rygter) er, at deres filsystem bliver ekstremt langsomt, når deres volume fyldes op med mere end 60-90% – alt er jo relativt ift. volume størrelsen. Så slår GC igennem, og det mærkes på latency.
Hvad siger virkeligheden så mht. performance på CS235´eren?
Jeg har ikke kunne presse den overhovedet. Med ét 2Gbit/s trunk til enheden på fuld blæs med SMB kopiering, sidder den lige så stille uden at svede.
Jeg bruger boksen til en blanding af SMB shares, Microsoft SQL database, MySQL database, PostGres SQL logning og selvfølgelig virtualisering – bygget på Hyper-V 2012R2.
Det er et mix af sekventielt og random læsning og skrivninger – dog altovervejende random skrivninger, som nedenstående billede viser.
Snippet er taget lidt uden for primetime produktionstid, så ikke helt retsvisende.
Og hvorfor så meget skrivning kontra læsning. Alt vores firewall infrastruktur logger til en PostGres database kørende under Linux, jeg bruger Cacti til de mere almindelige snmp/wmi overvågning, vores MS SQL laver næsten kun skrivning, vores exchange backup fra Office 365 smides ned på arrayet hver 2. time og vores fotografer og grafikere smider utrolige mængder billeder/film ned på deres smb og afp shares dagligt.
Min read cache fra SSD ligger konsekvent på 95-99% med få undtagelser.
Komprimering – virker det?
Kommer jo helt and på dine data, men hos os har vi en data besparelse på faktor 1.07x, hvilket kan lyde latterligt lavt. Men ingen, hovedparten af vores data er ikke komprimer bare data som RAW filer eller film. Til gengæld har jeg en faktor 3.3X på min SQL databaser og 1.6X på min thin provisioning.
Og det er inline komprimering – always on – uden latency introduktion.
De-duplikering – virker det?
Næh, for det har arrayet slet ikke i den version og kommer heller ikke. Det var en feature, som jeg godt kunne have tænkt mig, men først med Nimbles CS1000 arrays, er der understøttelse for de-duplikering inline.
Når jeg har spurgt Nimble, hvorfor de ikke har haft de-dupe indtil nu, er deres begrundelse, at de ikke vil ud i samme problematik, som andre producenter har haft med denne teknologi (læs NetApp), hvor de-dupe reelt kun virker, når det afvikles som et planlagt job i natte timerne for at undgå latterlige lange svartider.
Derfor vil det heller ikke komme til deres “gamle” modeller, da det kræver enorme mængder memory og cpu for at være effektivt. Nimbles nye CS1000 modeller og større har inline de-duplikering – igen always on – men med begrænsninger i de mindre modeller.
Men det ville have været fedt. Under Windows ntfs med de-dupe fik jeg en besparelse på ca. 60%. Der var kun en ufed ting – Windows Search kan ikke indeksere sine egne de-dupede filer.
Opsætning
Da jeg modtog boksen tog det mig længere tid, at få den sat i rackskabet end at konfigurer enheden. GUI interface er intuitiv og meget nem at arbejde med. Her er ingen besværlige rutiner med at oprette raid stripes alt efter, hvilken type data, der skal placeres på volumen, og alt caching styres 100% automatisk af CASL selv – og det virker. Der er kun ét raid stripe, som er oprettet, når du tænder arrayet. That´s it.
Når du opretter en volume definere du størrelsen, protection (snapshots), access rettigheder, og hvilken performance policy, du vil have til volumen. I mit tilfælde er performance policy altid Hyper-V 2012r2, da alt er virtualiseret. Så sørger CASL selv for, at styre block size og skrive disse i én stripe over alle diske
En hverv med lidt it forstand vil kunne administrere et Nimble array uden et kursus. 1 eller 2 timer så er man kørende.
Monitorering
Nimble GUI interface er logisk opbygget, og du får realtime statistikker over hele arrayet eller enkelte volumener med enkelte klik.
Alarmering sker via snmp/email og bedst af alt – helt automatisk til Nimble support, som automatisk kontakter dig, hvis det er noget, der skal reageres på. Både pr. telefon og email.
Nimble operativsystem sender dagligt millioner af data til deres Infosight dashboard, hvor du online kan se, hvordan dit array og dit netværk performer – og hvor i netværket, du evt. har problemer.
Det skal dog bemærkes, at netværkslaget p.t. kun er understøttet på Infosight, hvis du kører VMWare, som hypervisor, men Hyper-V skulle være på roadmap´en.
En af de få ting, du ikke kan via GUI, er installation af eget certifikat, som skal gøres via CLI. -> Cert –import custom(-ca).
Det burde kunne gøres via GUI´en.
Infosight er også dér, hvor du finder dokumentation og knowledge base artikler.
Software opdatering
Arrayet opdateres via GUI. Installations pakken fylder p.t. 900Mb og en opdatering tager ca. 15 minutter, og kan gøres under drift. Jeg har selv gjort det nogle gange nu, og det er ikke noget, der giver problemer overhovedet forudsat, du har konfigureret dine trunks fra de forskellige controllere korrekt.
Licensering og support
Her er én af grundende til valget faldt på Nimble Storage.
Nimble har én licens model – nemlig du får alt med, også fremtidige nye features, så længe du har support på arrayet.
Det er, hvad enten, det er clustering, replikering,
support på telefon og/eller email.
Og Nimble har ingen 1. level eller 2. level support. Her kommer du direkte til en udvikler med det samme, så vi undgår det famøse support sprog haløj med en inder.
På den første support sag, jeg oprettede via Infosight, blev jeg ringet op efter 30 minutter af en udvikler. DET ER SERVICE.
Godt gået af et firma med 1200+ ansatte.
De har også et community – connect – men det er ikke værd at skrive hjem om. Her er det ganske umuligt, at finde brugbar information, og den person, som har valgt den platform, burde ikke være ansat 🙂
Nimble har meldt ud, at der introduceres en ny platform snarest muligt.
Clustering -virker det?
Fisk. Jeg er en alt for lille kunde til at have det behov.
Det nærmeste, jeg kommer til en udvidelse bliver, hvis jeg skal have flere disk hylder på. Her er det så fedt, at jeg frit kan vælge mellem disk hylder med almindelige roterende diske eller flash diske. CASL virker med begge dele fordelt over flere disk hylder – modsat nogle andre producenter.
CASL clustering er ægte cluster, som både kan “scale up” og “scale out” native.
nimble cs235 capacitor
Side bemærkning
Du skal være opmærksom på, at arrayet larmer helt vildt. Ikke bare meget, men unødigt meget, så det er ikke et array, du skal placere i et åbent kontor lokale.
No responses yet