Hvordan oppleves ytelsen på forumet?

[eveant]

Jeg merket også at det var tregt igår kveld.

[blackbrrd]

Det er veldig tregt nå, timeout, osv, osv.

 

Synd dere ikke kan bruke postgresql, ellers kunne jeg nesten garantert ha hjulpet med tuning.

 

Vi har gjort nye justeringer i MySQL-config nå på morgenkvisten. Det er først og fremst tuning av minnebruk som er vanskelig, men vi ser at vi gradvis nærmer oss noe som skal fungere.

 

I går kveld hadde vi ny trafikktopp, og databaseserveren hadde i en periode over 600 spørringer per sekund. Av disse er ca. halvparten skriving til databasen, og den største utfordringen ligger i å håndtere all skrivingen samtidig som forumet skal være snappy.

 

Gi oss gjerne flere tilbakemeldinger (spesielt på kveldstid). Selv om vi ikke svarer på alle innleggene i denne tråden følger vi nøye med :-)

Er problemet mengden data som skal skrives, eller er det fordi deler av forumet bruker MyISAM og dere har locking problemer?

 

Hvis det er mengden data som skal skrives så er det vel kanskje på tide å kjøre SSD-er. Såvidt jeg husker så var databasen på < 64gb, så 2stk SLC SSD-er burde koste under 10.000kr.

 

(Såvidt jeg fikk med meg var så å si hele databasen cachet i ram, så det skal ikke være noe problem med lesehastighet)

[amund]

Er problemet mengden data som skal skrives, eller er det fordi deler av forumet bruker MyISAM og dere har locking problemer?

 

Vi kjører alt (av betydning) på InnoDB nå så låseproblemene som vi hadde tidligere er vi kvitt.

 

Hvis det er mengden data som skal skrives så er det vel kanskje på tide å kjøre SSD-er. Såvidt jeg husker så var databasen på < 64gb, så 2stk SLC SSD-er burde koste under 10.000kr.

 

(Såvidt jeg fikk med meg var så å si hele databasen cachet i ram, så det skal ikke være noe problem med lesehastighet)

 

Det er utvilsomt antallet spørringer som krever skriving som er problemet. For eksempel skal jo forumet huske hvilke poster du har lest, og hvilke du ikke har lest. En mulighet er å lagre dette i Memcache eller Cassandra, men da må vi skrive om mye av IPB-koden. Går vi en slik retning vil fremtidige oppgraderinger (f.eks. til 3.2) bli en formidabel/umulig(?) jobb.

 

Databasen ligger på et kraftig SAN med god lese- og skrivehastighet. Å bytte til SSD-disker vil i følge driftsleverandøren ikke gi noe bedre skriveytelse. Hele databasen ligger i minnet på serveren, og vi har tillatt MySQL en ørliten forsinkelse med å skrive data til disk for å få best mulig ytelse.

[blackbrrd]

Har du testet ytelsen på SAN-et noen gang?

 

Har du sjekket om alt faktisk blir cachet, eller om dere bruker om verdifull SAN-IO tid på lesing? Jeg vet ikke helt hvordan MySQL gjør det, men postgres bruker hovedsakelig OS-et sin cache, så å sette opp mer cache til Postgres gjør at ting blir cachet to steder istedetfor ett.

 

Hvis du følger linken nedenfor vil du se at en enkelt SSD slår et raid med 8x 15k rpm SAS disker i RAID10 med ca 66% ytelse. Jeg har ikke brukt SAN før, men at dere får dedikert mer IOPS enn et dedikert 8 disks raid er noe jeg stiller meg tvilende til.

http://www.anandtech.com/show/2739/11

 

En annen ting er write-ahead loggen, dette er strengt talt sequential IO, men jeg vet ikke helt hvordan SAN-et takler dette... Hvis SAN-et bruker samme diskene til write-ahead loggen og dataene, så vil det øke hvor mye random IO kapasitet du trenger med rundt 100%.

 

Har dere forresten sett på synk metoden for MySQL?

http://dev.mysql.com/doc/refman/5.1/en/innodb-parameters.html#sysvar_innodb_flush_method

Different values of this variable can have a marked effect on InnoDB performance. For example, on some systems where InnoDB data and log files are located on a SAN, it has been found that setting innodb_flush_method to O_DIRECT can degrade performance of simple SELECT statements by a factor of three.

Endret 19. mai 2011 av blackbrrd

[Illus]

Nå er forumet ubrukelig igjen (les supertregt).. fikk tilogmed en database driver feilmelding nå nettopp.

 

Regner med dere er klar over dette

 

Update: Og vips så var det responsivt igjen.. lukter reboot av mysql

Endret 19. mai 2011 av Illus

[amund]

Nå er forumet ubrukelig igjen (les supertregt).. fikk tilogmed en database driver feilmelding nå nettopp.

 

Databaseserveren ble nettopp restartet på grunn av dette. Vi jobber med saken.

[The Doctor]

Forferdelig.

[Balthier]

Dritt. Skaff dere nye/flere servere ellers slutter jeg å komme!

[fnats]

Elendig.

[Jason P. C.]

Kommer jo ikke inn på mine innlegg

[IcedInsanity]

Gikk voldsomt tregt nå ja...

[Diskutant]

Dritt. Skaff dere nye/flere servere ellers slutter jeg å komme!

 

Du kommer nok ikke til å slutte å komme.

 

 

Kommer jo ikke inn på mine innlegg

 

"Enig". Jeg kommer inn i vanlige tråder, men ikke inn på mine innlegg.

[Jason P. C.]

Fantastiske flotte greier dette her ja...

[Reeve]

Veldig dårlig. Opplever alt for ofte at jeg får SQL-error, eller at sidene bare lagger ut. Har også mistet lengre poster jeg har skrevet på grunn av det, som er fantastisk irriterende...

[iChristian]

lengre poster bør du jo kopiere før du poster uansett da. Man vet jo aldri med datamaskiner og internett

[Matsemann]

getnewpost virker ikke i tråder for min del lenger. I mine innlegg markeres alt som at det er nye poster, og trykker jeg på orange knappen havner jeg på innlegg bak i februar.

[TSP]

Det lagres ikke i databasen når ytelsesmodus er skrudd på.

[Matsemann]

Noe som gjør forumet komplett ubrukelig, dessverre.

[TSP]

Beklager, skal ærlig innrømme at jeg ikke tenkte over at det kom til å endre seg når det ble skrudd på. Det ble ikke nevnt som en av tingene som ble endret når jeg satte det på.

[Reeve]

Det har vært mye dritt med forumet den siste tiden, og alle vet det. Men jeg har troen på at det vil forbedre seg i fremtiden. Vi får bare smøre oss med tålmodighet. Det er tross alt brukbart, selv om det er langtifra optimalt.