[Løst] ASRock Z68 Extreme7 Gen3 - døde sata porter?

[Kamerat]

By the way; Hvorfor flasher du fra IR til IT på LSI? Skal du kjøre ZFS?

IT = HBA-mode, men det visste du vel.

 

IT skal være raskere enn IR firmwaren når man skal kjøre ZFS ja.

Har ikke helt bestemt meg hvilket OS jeg skal kjøre ZFS på enda bare, Solaris må så klart testes, samt en del varianter av etterlevningene fra opensolaris. Men så ser det litt spennendes ut det prosjektet for OS X også.

FreeNAS 8 fungerer dårlig med kombinasjonen av LSI2008 i pass through og ESXi, veit ikke om dette gjelder plain FreeBSD også. Har selv tenkt å teste ut en eller annen Solaris-utgave for å få ZFS på mitt IBM M1015 (LSI2008) da FreeNAS ikke var villig.

[vger42]

HBA= Host Bus Adapter og vel mer en definisjon på kontrolleren enn mode.

IT = Initiator Target.

IR = Integrated RAID.

 

Siden jeg skal kjøre ZFS så er det ønskelig at HBA'en gir meg et JBOD oppsett og det får jeg via IT firmwaren.

Det får jeg vel egentlig via IR firmwaren også, men da ligger det et software lag med en heller dårlig raid løsning på HBA'en som stjeler noen IOPS.

 

Har du kilder på FreeNAS 8 problemet?

For så langt jeg kan se så bør det virke, nettopp med IT firmwaren.

"Any LSI 2008 controller (onboard Supermicro or LSI 9211-4i/8i) is supported in FreeNAS 8 out-of-the-box. Just flash it with latest IT-firmware."

Dette var fra august i år.

At det skulle være problemer tilknyttet passthrough i ESXi (5?) er jeg ikke kjent med.

 

Syns forøvrig at FreeNAS har rotet mye i det siste, så det er ikke primærvalget mitt for ZFS.

Alt det tilfører er jo et fancy web interface (som jeg forsåvidt fint klarer å lage selv).

[Code#]

Det som er kjipt med ZFS er manglende støtte for online expansion av pools. Det eneste du kan gjøre er å bytte ut alle diskene en etter en (vent dog på resilvering mellom hver ). Dersom man ønsker å legge til flere disker støtter meg bekjent ikke zfs dette enda (utvidelse med en ny pool teller ikke i denne sammenheng )

 

Eller er det mye snacks der men caching (f.eks. til SSD), deduplisering etc. Om jeg ikke husker feil skal FreeNAS 8.3 støtte zfs versjon 28.

 

Har du tenkt til å kjøre raidz, raidz2 eller raidz3? Sistnevnte støttes ikke på FreeNAS, og raidz2 har iflg FAQ et performance-utfordring.

 

Et annet alternativ kan jo også være å kjøre OpenIndiana.

[vger42]

FreeNAS og andre støtter v.28 ja, men Solaris 11 har kommet seg opp på v.33.

Så jeg får se hva jeg gjør, alt skal testes først for å se hva som egner seg best.

 

Hm, mener å huske at jeg har lest at du kan legge til nye disker og på den måten dynamisk utvide pool'en og at det f.eks. er en av fordelen (av mange) over f.eks. BTRFS.

 

Men dette har jeg ikke enda lest 100% på.

 

OpenIndiana skal testes ja.

[Code#]

Alt over 28 er også non-free (mao: lukket source). Etter at Oracle tok over har nesten hele utviklingsteamet for ZFS sluttet og "gått over" til OpenIndiana/Illumos. Online expansion (krever block pointer rewrite støtte) er ikke implementert i ZFS as-is, og nå som Oracle har "stengt" tilgang til kildekode er det vel også uvisst om åpne varianter som OpenIndiana, Illumos og FreeBSD vil få dette med det første.

 

Personlig har jeg valgt å gå for storage som en appliance. Etter at jeg kjøpte store ReadyNAS til formålet har jeg hatt minimale problemer og minimalt med fuzz for å få ting til å fungere. ReadyNas (x86-64 baserte) støtter online expansion, online migration (raid 5 til 6), utvidelse med flere disker etc. I tillegg fungerer AFP, SMB, NFS, Rsync og ikke minst Time Machine med minimalt konfigurasjonsarbeid. Utover dette støtter den også både NFS og iscsi som gjør at du kan bruke den som disker (NAS storage) i ESXi og Hyper-V (de er til og med sertifisert).

[vger42]

Ja, har fått med meg det (28 og opp).

Og har også fått med meg hvem som har hoppet over, men OpenIndiana føler jeg kanskje ikke er helt modent enda? Mulig jeg tar feil, jeg er tross alt tidlig i researchen her.

 

Ref. online expansion, jeg ser dette hos oracle for solaris 10.

"These features enable you to increase the pool sizewithout having to export and import pool or reboot the system."

Kilde: http://docs.oracle.com/cd/E19253-01/819-5461/githb/index.html

Men igjen, jeg er tidlig i researchen av ZFS (har bare landet på ZFS pga features som er ønskelig).

 

Så langt jeg ser så kan jeg "vokse" et filsystem på ZFS, altså at området jeg ev. velger å share bare vokser uten at jeg trenger å tenke på partisjoner etc.

En kan her også ha ett stort pool man bare hiver nye disker på for å utvide... om jeg har forstått det rett.

Problemet oppstår først når man velger raidz løsninger, da må oppgraderingen enten skje ved å bytte ut til større disker, eller legge til nye vpools...

 

Jeg har vel egentlig et todelt behov når det kommer til ZFS.

Første behovet vil være bare et stort (og lett voksende/utvidbart) pool for data som ikke er kritiske.

Her er fart og tilgjengelighet nøkkelen.

 

Deretter vil jeg ha behov for alt hva ZFS kan tilby av sikkerhet.

Dette vil være "safen" min, hvor kritisk data skal lagres.

Tenker da på bilder og dokumenter.

Her blir det ikke et like stort behov for å kunne vokse dynamisk, og er helt ok å kunne utvide på en litt mer tungvindt måte.

 

Tips til løsninger mottas så klart med takk da jeg enda ikke har full oversikt over ZFS.

Siden jeg skal prøve forskjellige løsninger, så vil vel v.28 være rimelig å ta utgangspunkt i, men er også åpen for å kjøre solaris 11, jeg ser ikke noe i veien for det basert på lisensen, særlig da NAS'et som OS skal være adskilt fra Internet.

[Code#]

Hei. Uansett hvilket OS man kjører i bunn vil man ikke klare å utvide raidz-varanter, og det er jo litt kjedelig. Det eneste alternativet da er mirror, og det er jo i prinsippet raid 1/0/10 varant(er). Selv om det ikke er best practices kan du jo kjøre standard raid-5 eller raid-6 i hw, og ZFS på toppen av dette dersom du vil ha med sjekksum-mulighetene fra zfs (zfs som standard single-drive instans). Da kan du gjøre online-expansion i raid og utvide pool/vdev som går i mirror på toppen. Pent er det ikke, men du får i det minste checksums på datablokkene. Dokumentasjonen du linker til er autoexpand, og det gjelder bare dersom du bytter ut eksisterende disker med nye (eks 2TB->3TB). Når du har byttet ut alle, og resilver er ferdig på siste disken får du mer plass. Autoexpand er satt til false slik at dette ikke skal være default oppførsel (kan hende du vil benytte den nye plassen til noe annet). Du kan dog fortsatt ikke legge til en ny disk i eksisterende raidz.

 

Ellers ser jeg mange klage på at selv om zfs er modent, er IKKE drivere/distribusjoner som OpenIndiana, FreeBSD etc. det. Jeg har lest mye om at folk virkelig savner Linux i bunn, og dersom man skal kjøre det blir det jo zfs via fuse.

 

Som sikkert gjentatt til det kjedsommelige, there is no substitute for backup. Selv om du setter opp dette opp som en "safe" for dine viktige data BØR du ha backup et annet sted. Jeg har løst det med en ekstra ReadyNas Ultra 4 (4 slot x86-64) som jeg har plassert hos mine gamle foreldre som bor 50 km unna. Kjører rsync-jobber hver natt i uken (men fra forskjellige områder hver dag). Slik jeg ser det er bit-rot det eneste problemet, men jeg scrubber raidene en gang pr uke, og da sjekker de jo også sjekksum-verdier på lagrede data vs. raidets sjekksumverdi.

 

Primær nas: ReadyNas Pro 6 satt opp i raid-6

Backup nas: ReadyNas Ultra 4 satt opp i raid-5

 

Det er i alle fall nok til at jeg sover godt om natten mht. dette.

[Kamerat]

HBA= Host Bus Adapter og vel mer en definisjon på kontrolleren enn mode.

IT = Initiator Target.

IR = Integrated RAID.

 

Siden jeg skal kjøre ZFS så er det ønskelig at HBA'en gir meg et JBOD oppsett og det får jeg via IT firmwaren.

Det får jeg vel egentlig via IR firmwaren også, men da ligger det et software lag med en heller dårlig raid løsning på HBA'en som stjeler noen IOPS.

Takk for opplysningen. Det er vel også en mye enklere sak å flytte en disk mellom kontrollere fra forskjellige produsenter om man kjører IT.

 

Har du kilder på FreeNAS 8 problemet?

For så langt jeg kan se så bør det virke, nettopp med IT firmwaren.

"Any LSI 2008 controller (onboard Supermicro or LSI 9211-4i/8i) is supported in FreeNAS 8 out-of-the-box. Just flash it with latest IT-firmware."

Dette var fra august i år.

At det skulle være problemer tilknyttet passthrough i ESXi (5?) er jeg ikke kjent med.

 

Syns forøvrig at FreeNAS har rotet mye i det siste, så det er ikke primærvalget mitt for ZFS.

Alt det tilfører er jo et fancy web interface (som jeg forsåvidt fint klarer å lage selv).

Dette er samme problemet jeg støtte på, prøvde med 8.0.2-RELEASE og 8.2-r9255.

[vger42]

Code#

Takk for tilbakemeldingene ang. ZFS der.

Det ser ut til å være mye villedende "fakta" rundt om kring, så skulle likt å sett ZFS visualisert, altså en grafisk fremstilling av hvordan det er bygd opp.

Mange som roter med begrepene og siden jeg ikke har lest meg opp på temaet enda (nok) så blir det noen konflikter i forståelsen. Men det løser seg nok når man får litt handson erfaring med det.

 

ZFS via FUSE er så til de grader uaktuellt pga alle de problemene det medfører (treghet bl.a.).

Og jeg vet ikke om folk savner Linux i bunnen, men at alternativene (som BSD baserte) er for dårlige enn så lenge er det liten tvil om (særlig på driversiden på ting, mer om det lenger nede).

Derfor er nok Solaris 11 et reellt alternativ slik jeg ser det for min del.

 

Backup er så klart med i regnestykket her.

Data som er kritiske kommer til å ligge på hver sin server, hvorav den ene har backup funksjon og den andre er der jeg har filene "live" (der jeg jobber med de fra) - og selv der vil de være tilgjengelige i to varianter, en jeg jobber mot som ikke har noe "sikkerhet" i seg selv, og "safen" som jeg nevnte.

(dette er fysiske servere som har dedikerte disker ja)

 

Jeg sover nok godt om natten allerede, men det blir bedre når alt er oppe å kjøre.

 

 

Kamerat

Værsågod, og ja det vil det nok være.

 

Problemet du sikter til skyldes dårlige dirvere i FreeNAS (eller FreeBSD også vil jeg jo tro) og er faktisk et kjent problem om man sjekker mailinglistene - så langt tilbake som september i fjor.

Kilde:

http://lists.freebsd.org/pipermail/freebsd-scsi/2010-September/004520.html

 

Og dette er nok en av grunnen til at FreeNAS ikke akkurat er noe jeg ser for meg at jeg skal kjøre (bare teste).

De har fokusert på et veldig flott web grensesnitt, men det som virkelig teller, i bakgrunnen ser ut til å ligge litt etter.

 

Jeg hadde faktisk ikke sett dette før du viste linken til det, men sjekket selv og det stemmer også for min install her.

Løsningen finnes trolig i en patch (annen kilde, men tråden stoppet før løsningen kom i fjor) eller rett og slett kompilere kernelen på "rett måte" i følge andre igjen.

Disable det under install og enable den etterpå igjen skulle også ha virket for andre enheter (tilbake til 2007 for noen enheter) men akkurat i dette tilfellet så er det nok en kjent driver bug.

 

Siden de ikke har klart å fikset den på et år så tipper jeg det ikke skjer så mye med det første heller.

 

Så da får jeg droppe FreeNAS til så lenge.

Kommer til å sjekke det igjen på ny hardware neste år (om valg av hovedkort kan ha noe å si).