[Løst] ASRock Z68 Extreme7 Gen3 - døde sata porter?

[vger42]

Noen med erfaring fra dette hovedkortet?

 

Sata3_0 til Sata3_5 får bare No Device i bios selv etter en update til 1.30.

(dette er intel z68 sata portene, de grå, på hovedkortet)

 

Flytter jeg over til ASMedia sata kontrolleren så er alt ok, men det er ikke noen godtatt løsning så kortet får seg nok en RMA dessverre (det var den romjula).

 

Om ingen ellers skulle ha en løsning jeg ikke har fått med meg?

 

EDIT:

Jepp, kortet har B3 southbridge, så sata3 6Gb feilen til Intel skal være rettet.

Endret 21. desember 2011 av vger42

[vger42]

En noe sær utvikling på problemet.

 

Port 0 til 4 var koblet på en reverse breakout kabel som går til backplane på kabinettet.

Port 5 gikk direkte til dvdrw.

 

Ingenting kom opp i bios.

 

Flytet dvdrw over til ASMedia kontrolleren, og den dukket opp - fortsatt uten de 4 andre portene synlig i bios.

 

Nappet ut reverse breakout kabelen, og koblet tilbake dvdrw'en direkte, samt en hdd direkte - og begge to kom opp.

 

Så, da kan jeg vel slå fast at sata portene ikke er døde, men at feilen ligger i reverse breakout kabelen - eller i backplanen som den er koblet til.

 

Selv om det er rart at den skal dra med seg de siste 2 portene på intel kontrollene også...

(den gjorde sånn at dvdrw'en ikke ble synlig, selv om den var koblet direkte).

 

Så da får jeg feilsøke litt på reverse breakout oppsettet.

Noen som har tips der?

[Kamerat]

Det letteste er vel å teste med en annen harddiskkontroller eller hovedkort for å finne ut om feilen er i kabel eller backplane eller om det er inkompabilitet med hovedkortet. En annen breakout-kabel har du kanskje ikke? Hvis du kjøpte denne kabelen uavhengig av backplanet kan det jo være at du har fått en vanlig breakout-kablel.

[vger42]

Sorry, har glemt å oppdatere denne tråden med løsningen.

 

Bios feil på hovedkortet etter oppgradering til nyeste bios.

Det tok et utall med forsøk før hovedkortet ville clear'e cmos'en, men når det endelig ga slipp så startet hovedkortet å oppføre seg riktig.

[Kamerat]

Det var da merkelig at BIOSen skulle rote til, men godt det ordna seg.

[Code#]

Fungerer kortet OK nå med både RAID-kontroller og VMDirectPath?

[vger42]

Jeg kan komme med et utfyllende svar så snart jeg har fått kjørt siste testen.

Det var litt av en rundtur for å få fikset alt sammen.

Var forsåvidt klar over at det ikke kom til å bli plug'n play, men det ble noen ekstraomganger før alt virket.

 

Hovedkortet i seg selv ser i hvertfall ut til omsider å være stabilt.

I hvertfall oppfører det seg likt hele tiden nå uten å gi uforklarlige random feil.

Tempen på cpu ser ut til å ligge fint på 33 grader.

CPU vifta spinner seg fint opp og følger med, men det ser ut til at det skal lite til før CPU'en virkelig går opp i temperatur (går jo fort opp i 48-52 grader bare jeg roter litt rundt i bios'en)

 

Skal ta en kjapp reinstall av vmware, og skrive ned en liten loggføring av stegene, så kommer de her litt senere i kveld.

[vger42]

Det korte svaret er nei, det lange er forklart under her.

I bunnen står det med vmdirectpath.

 

 

Hardware:

- ASRock z68 Extreme7 Gen3

- Intel Core i7 2600 (non-k)

- G.skill Ripjaws-x 16GB (4x4GB) 9-9-9-24

- Intel Dual Gigabit ET nic, E1G42ETBLK (82576)

- LSI 9211-8i HBA

 

Hovedkortet ble flashet fra P1.00 til P1.30 bios.

Da gikk det meste galt.

I utgangspunktet så sier ASRock at bios ikke trenger hverken reset eller clear etter en update. Men når dvd/hdd/usb ikke dukker opp og en får ikke valgt rekke følge og det booter som det selv finner forgodt, så skjønner vel de fleste at her må en cmos clear til.

Det viste seg å være vanskeligere enn først antatt.

Den trykte manualen stemte ikke overens med online pdf.

Og samme hvilke gode råd en fulgte så nektet bios å la seg clear'e.

Til slutt gitt det, etter utallige forsøk.

Neppe anbefalt, men bootet til bios og trykte på clear cmos knappen på hovedkortet.

Holdt den inne i drøye 5 sekunder - og siden har hovedkortet oppført seg.

(alle kilder viser til at power skal være nappet ut når man gjør dette).

 

Innstillinger i bios

- sette ram til rette verdier (auto satt de feil til 11-11-11-28)

- Enable vt-d

- Enable no-execute memory protection

- Disablet alle onboard enheter jeg ikke skulle bruke

- Enable ide mode

- Enable legacy mode for usb

 

ctrl-c

LSI kontrolleren lar seg ikke konfigurere under boot.

Ikke noe stort tap, men kan være greit å vite at samme hvor mye en disabler i bios'en så

frigjør det ikke nok ram til å kjøre LSI oppsettet på dette stadiet.

 

Endre firmware på LSI fra IR til IT.

ADVARSEL - dette tar jeg absolutt ingen ansvar for da det er ekstremt lett å bricke hardwaren.

Å endre fra en type til en annen krever at man sletter firmwaren først.

ADVARSEL - sletter du firmwaren uten å legge inn ny UTEN å reboote, så bricker du kortet.

I utgangspunktet skal dette kun kreve en DOS bootdisk, men pga for lite bios ram på hovedkoret får man feilmeldingen : "ERROR: Failed to initialize PAL. Exiting program"

Man må da flashe fra EFI shell, heldigvis så kan man boote fra bios'en på dette hovedkortet og rett inn i EFI shell. Det krever at man legger "Shellx64.efi" filen på DOS bootdisken.

Videre krever det at man bruker efi versionen av sas2flash (sas2flash.efi).

 

Shellx64.efi (shell.efi heter den, bare å rename) finner du her:

https://wiki.archlinux.org/index.php/Unified_Extensible_Firmware_Interface

 

LSI KB'ene for å flashe fra IR til IT (og omvendt) samt efi shell løsningen finner du her:

http://kb.lsi.com/KnowledgebaseArticle16266.aspx

og

http://kb.lsi.com/KnowledgebaseArticle15807.aspx

 

LSI kontrolleren gikk da fra bios 07.11.00.00 til 7.21.00.00.

Og firmware 07.00.00.00 til 11.00.00.00

 

Installere ESXi 5

Bootet fra plate, installerte mot usb key på usb3 port.

 

Boot av ESXi 5

Booter fint fra usb3 stick på usb3 port.

 

Note:

Under install/boot av esxi så dukket det av og til opp rosa/lilla-skjerm med et par tre feilmeldinger.

Tidvis skyldes det at jeg glemte å enable no-execute i bios etc.

 

VMDirectPath

"This device is passthrough capable but not running in passthrough mode".

Markerer den og trykker ok og den ber om reboot av esxi hosten.

Når hosten kommer oppigjen så er LSI kortet vekke fra listen, så må legge det til på nytt.

Så nei, det virker ikke.

 

Det rare er at med forrige bios/firwmare version så la det seg i hvertfall til og ble liggende i listen selv etter en reboot.

Men det ba stadig om en reboot for å bli aktivert, så det kunne aldri brukes.

 

Mulig jeg ikke er i mål enda, at det er ting å gjøre.

Kanskje rett og slett teste esxi 4.1

 

Loggen sier:

Auto Power on - completed

Enter maintenance mode - completed

update pci passthrough configuration - completed

Så ting burde jo være lagret, men det ser ikke helt sånn ut...

 

Prøver å forwarde ene intel nic porten (den ene er opptatt med esxi så bør nok bare forwarde den andre.

Resultatet etter en reboot ble at den ikke husker det heller....

Så her tror jeg det er en esxi 5 feil og ikke nødvendigvis relatert til at hardwaren ikke funker på hovedkortet....

Med mindre jeg overser noe i esxi 5 da....tips?

[vger42]

En liten oppdatering til...

 

"Following a reboot, PCIe devices still report Reboot Required on the Configuration tab of the Hardware - Advanced Settings section in the vSphere Client."

Kilde: http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&externalId=1036811

 

Skulle tro at Nvidia NF200 switchen ikke er Access Control Services (ACS) kompatibel.

Men som sagt, den feilen forsvant jo etter en bios/firmware update av LSI kontrolleren.

 

Ellers så ser det faktisk ut til at ting jeg gjør ikke blir lagret.

Config fila, /etc/vmware/esx.conf, blir i hvertfall ikke oppdatert med endringene jeg gjør.

Om dette skyldes at jeg booter fra en usb3 stick på usb3 port aner jeg ikke.

[vger42]

"One should note that expansion cards sitting behind a NF200 chip cannot be used by VMware ESXi for VMdirectpath pass-through using VT-d at the moment."

Kilde: http://www.vt-tech.info/?tag=current-yields

 

I følge oversikten så sitter LSI kontrolleren (og intel nic'et) bak denne switchen (på hver sin kanal).

 

Nå sitter det heldigvis en PEX8606 chip på dette kortet også.

"This device supports Access Control Services (ACS)."

Kilde: http://www.plxtech.com/products/expresslane/pex8608

 

Så jeg prøvde å forwarde en usb port som står på den, men det gikk heller ikke.

 

Så jeg er litt usikker på hvor feilen nå er.

 

Skal først prøve å boote esxi fra usb2 porten og se om det har noe å si.

Deretter blir det muligens prøvd esxi 4.1

[Code#]

Hei, har også sett nevnt det du sier NF200 og VMDirectPath. Mener også å huske at man ikke kan tildele deler av hardware på et PCIe-kort til VMDirectPath. Du nevner at du prøver å gi den ene NICen til et VM, men det tror jeg ikke du kan gjøre så lenge de deler PCIe slot.

[Code#]

Forøvrig; når jeg ser hvor mye trøbbel du har med Asrock, ESXi5 og Vt-d er jeg egentlig litt lettet for å gå på sokkel 2011-veien i steden. I det minste har plattformen full PCIe-støtte på alle slots, og Intel ser ut til å bytte C1 mot C2 stepping på 3930k for de som har behov.

 

Lykke til og hold oss gjerne oppdatert! Jeg kommer tilbake med test av ESXi5 så snart jeg får den nye raid-kontrolleren jeg har bestilt (LSI 9265-8i)

[vger42]

Flyttet usb3 stick'en til usb2 port, og da lagret den endringene etter reboot av esxi.

 

Fortsatt så endres ikke LSI kortet, men nå vet jeg jo at det skyldes nf200 chip'en.

 

Ja, jeg ser at å dele ut 1 av 2 porter på ett og samme nic kanskje ikke er så heldig. Det er "mulig" å velge det, men det funker dårlig

(det er ikke noe jeg var tenkt å gjøre heller)

 

Usb portene som står på PEX8606 chip'en lot seg virtualisere (vmdirectpath).

 

Så da gjenstår det å se om det er mulig å flytte LSI kontrolleren til en pci slot som er styrt av PEX'en. Eller om jeg bare må tåle å kjøre uten LSI kontrolleren til jeg får oppgradert til Xeon E5 og tilhørende hovedkort (trolig over påske) og ta dette oppsettet over i desktop'en min.

 

Hvilket 2011 hovedkort gikk du for til slutt?

Godt å høre at intel bytter cpu'en for de som trenger det.

 

Jeg poster tilbake hvordan det går å bytte pci spor her, og om ikke så får jeg bare kjøre virtuellt uten alle planer realisert enn så lenge. Det går greit det.

Research er alfa og omega, men måtte bare ta et valg, trengte en plattform å ha virtuelle maskiner på (zfs'en var bonus) også får jeg ta steget fullt ut i 2012.

[Code#]

Jeg gikk for Asus P9X79 - Asus-kortet med MINST features for å maksimalisere sannsynlighet for at BIOS-minne og VMDirectPath ikke skulle bli problematisk. Førstnevnte gikk i alle fall bra, så får vi se på sistnevnte på C2-stepping av CPU ankommer.

 

Jeg lurer på om Asrock Extreme 4 har samme problem som Extreme 7 siden han fyren på TinkerTry ikke har hatt problemer med det mht. VMDirectPath? Skulle ikke forundre meg om forskjellen mellom kortene er at Extreme 4 ikke har NF200-chip.

[vger42]

Det kan se ut til at NF200 chiop'en er synderen ja og at den finnes på alle Gen3 hovedkortene.

 

Siden ingen selger non-gen3 utgaven av 4'ern så får jeg kanskje se om jeg finner ut av om non-gen3 7'ern kan være noe å satse på i mellomtiden.

 

I såfall blir det en opp/ned-gradering til det over nyttår, siden det da gir meg litt lenger horisont før jeg må over på supermicro.

[vger42]

Utifra denne grafikken, tilhørende z68 extreme4 (non-gen3) som skal være det kortet som TinkerTry har brukt, så gir PLX chip'en "bare" 1x bredde på pcie sporene den gir?

 

I såfall kan jeg ikke skjønne at det skal være nok til LSI kontrolleren som jo er 8x?

Mulig han ser den, og at han får VMDirectPath til å virke, men at han ikke får utnyttet farten?

 

http://www.asrock.com/mb/sticker/PLX-Z68-Desc1.gif

 

Det er ikke akkurat lett å finne ut av hvilke kort som har nf200 eller ikke heller.

[Code#]

Er det ikke slik at PLX-chipen gir bare X1 dersom man benytter alle portene? Jeg trodde at den ellers allokerte mer båndbredde. Forøvrig er jo også dette utfordringen med 1155-socket - litt liten båndbredde til PCIe.

[vger42]

Og endelig var det en liten gladnyhet her.

 

Jeg har ikke flyttet rundt på kortene så mye at jeg vet eksakt hvilke PCIe slotter som er rammet, men et oppsett som virker er i hvertfall på plass.

 

Etter generelle tips fra nettet så skulle LSI kontrolleren stå i slotten nærmest CPU'en. PCIe slot 1.

Dette av grunner relatert til å gi den nok fart og bios ram til å nå config verktøyene som er innebygd.

Det viste seg jo å ikke være nok, og også skape problemer da PCIe slot 1 ligger under NF200 chip'en.

 

Og jeg har Intel Nic'et stående i PCIe slot 4.

 

Da kom de begge to opp under Intel Corporation Sandy Bridge PCI Express Root Port.

Men under hver sin NF200 switch "port".

 

Jeg flyttet LSI kortet til PCIe slot nr. 5.

Og da kom det opp under "Intel Corporation Cougar Point PCI Express Root Port 1".

 

Verdt å merke seg forskjellen mellom Sandy Bridge og Cougar Point kontrolleren her.

Også verdt å merke seg at PEX8608 chip'en sitter på port 8.

Og at denne ser ut til å være opptatt med usb portene på hovedkortet.

Grunnen til at jeg hadde problemer med å skrive endringer i ESXi til config fil (usb3 stick på usb3 port) er nok at usb3 støtten kommer fra en

ASMedia ASM1042 chip.

 

Se vedlagt bilde som viser VMDirectPath og PCIe oversikten.

 

Noen bemerkninger.

Dette kortet, tross alle sine PCIe slot'er kommer trolig til kort likevel i det lange løp.

Behovet er nemlig 4 PCIe kort, LSI kontrolleren, Intel NIC'et, DVB-S2 PCIe kort og et GFX kort.

 

Sistnevnte får plass i PCIe 3 slot'en.

Og GFX kortet får plass i PCIe 6 slot'en.

Men det forutsetter jo at desse ikke faller inn under NF200 chip'en.

Siden PCIe4 slot'en ligger under NF200 chip'en så tipper jeg at 1,2 og 3 også gjør det dessverre.

 

Så for å nå målet om full virtualisering må jeg uansett over på en skikkelig plattform.

Men enn så lenge så virker i hvertfall VMDirectPath med LSI kontrolleren.

Og når DVB-S2 kortet skal på plass, og gfx kortet skal virtualiseres, så går jeg over til et server hovedkort.

 

Om PEX chip'en gir mer enn 1x ved mindre belastning vet jeg ikke.

Det ser uansett ikke ut til at jeg når noen av dens PCIe baner, da de ser ut til å være dedikert onboard utstyr.

Og at NF200 chip'en "ødelegger" PCIe1-4 slot'en og at jeg da sitter igjen med 2stk PCIe slot'er under Intel Cougar Point.

 

Endret 23. desember 2011 av vger42

[Code#]

By the way; Hvorfor flasher du fra IR til IT på LSI? Skal du kjøre ZFS?

[vger42]

IT skal være raskere enn IR firmwaren når man skal kjøre ZFS ja.

Har ikke helt bestemt meg hvilket OS jeg skal kjøre ZFS på enda bare, Solaris må så klart testes, samt en del varianter av etterlevningene fra opensolaris. Men så ser det litt spennendes ut det prosjektet for OS X også.