Oppdatert: Det defekte minnet er nå byttet ut!

[blackbrrd]

Takk for en godt skiltet forklaring Man kunne jo kanskje postet at det var redusert kapasitet allerede på tirsdag?

 

Og en annen ting, kjører frontend til Norges største forum på kun én webserver av ukjent spesifikasjon? Ellers ser man ofte feilmeldinger fra databaseserveren bak og man får jo ofte inntrykk av at resursene er litt på hælene. Hvordan er egentlig dette?

 

Og hvorfor tar det 2,5 dag å skaffe minnebrikker til norges største forum? Snakker vi 10 år gamle servere? 4 timer til NBD (Som maks med sjeldne unntak) er forholdsvis vanlig ift. seriøs serverdrift.

At de har en webserver er ytelsesmessig ikke noe som overrasker meg.

 

At de bare har en databaseserver derimot, det er rimelig imponerende at de får til å gå rundt.

 

Kjører postgresql på jobben og skal vel relativt snart bytte til Postgresql 9.x som har god støtte for replikering/failover. Postgresql har forresten også støtte for fulltekstsøk nå.

[amund]

Man kunne jo kanskje postet at det var redusert kapasitet allerede på tirsdag?

 

Det burde vi. Feilen ble oppdaget sent tirsdag, men vi burde iallefall hatt informasjon ute onsdag morgen.

 

Og en annen ting, kjører frontend til Norges største forum på kun én webserver av ukjent spesifikasjon? Ellers ser man ofte feilmeldinger fra databaseserveren bak og man får jo ofte inntrykk av at resursene er litt på hælene. Hvordan er egentlig dette?

 

Ytelsesproblemer er ofte veldig komplekst å feilsøke. Det kan være mange årsaker til at det tar tid å poste et innlegg eller laste inn en tråd. I hovedsak ser vi at det er databaseserveren som oftest sliter, blant annet på grunn av MyISAM-avhengighetene som TSP har nevnt tidligere.

 

Vi håper og tror at vi vil kunne få langt bedre ytelse om vi konverterer til InnoDB, men det skal også sies at vi ikke har kunnet teste dette i full skala. Dilemmaet med slik testing er at det er veldig vanskelig å gjenskape reell trafikk med 2000 samtidige brukere.

 

Og hvorfor tar det 2,5 dag å skaffe minnebrikker til norges største forum?

 

Fra tirsdag kl. 23 til torsdag kl. 12 er det ca. 36 timer (altså 1,5 dager), men ja, dette er alt for mye. Jeg har forhørt meg med leverandøren om hvorfor det tok så lang tid å få tak i nye minnebrikker. Slike kurrante komponenter regner man jo med ligger på lokalt lager, og hvis ikke burde det ikke ta lang tid å få disse fra IBM.

[Theo343]

Dedikerte servere eller delte ressurser? Virker uansett mye bedre enn fryktet .

 

Har selv jobbet med IBM som hovedleverandør i 13 og snart 14 år og ikke opplevde å måtte vente over 1 døgn på helt kurrante minnebrikker, derimot har jeg opplevd å måtte vente opptil 2 dager på mindre kurrante hovedkort el. som må inn fra andre lagre enn man har i Norge. Men, alt kan skje selv om dette var litt skremmende å høre om IBM da vi har 4 timers avtale på hele drift og ASP parken som er kritisk at følges opp.

 

Topp at dere ser på den generelle ytelsen samt stabiliteten og jeg er fult klar over at dette ikke bare ligger i maskinvare, men alle ledd helt ned til hvordan ting er programmert.

Endret 7. april 2011 av Theo343

[amund]

Dedikerte servere eller delte ressurser? Virker uansett bedre enn man fryktet .

 

Dedikerte servere. Til våre andre tjenester kjører vi delte ressurser, men forumet er så krevende at her har vi dedikert jern til jobben.

[Theo343]

Veldig godt å høre, føler meg kraftig beroliget og glad for at det er et godt fokus på det. Men var det ikke slik at dere også hadde Varnish cache/lastbalansering/aksellerator foran webserverne, eller er det kun på hjemmesidene og ikke forumet?

 

 

PS!

Det er lett å bli frustrert og la den demme seg opp som bruker når man har opplevd så mye ymse som det har vært med forumet de siste par årene, men jeg ser lyst på det som nå skjer.

Endret 7. april 2011 av Theo343

[amund]

Men var det ikke slik at dere også hadde Varnish cache/lastbalansering/aksellerator foran webserverne, eller er det kun på hjemmesidene og ikke forumet?

 

Vi kjører Varnish på noen av de statiske elementene på Diskusjon, men ikke i noen utbredt grad. Grunnen er at forumdataene er lite cache-vennlige fordi forumposter og annet innhold oppdateres i et forrykende tempo. På det meste gjøres det over 400 endringer (inserts og updates) i databasen per sekund.

[Theo343]

Er klar over utfordringer med cache/akselerator ol. ift. dynamisk innhold, men store mengder er også statisk eller endrer/oppdaterer seg ikke ofte. Men vi trenger ikke gå i detaljene på det og at det ikke er enkelt å optimalisere vet nok de fleste som jobber med det. Lurte bare på om dere hadde det eller om de var fjernet etter de organisatoriske endringene som har skjedd siste tiden

 

Jeg er i hvertfall beroliget i dag over at det satses og er et prioriteringsområde.

 

Det hadde sikkert vært en glede for alle med en artikkel om hvordan virkeligheten er rundt forumet etterhvert som de nye tingene har satt seg. Ikke minst ville det vært veldig lærerikt for mange.

Endret 7. april 2011 av Theo343

[AnaXyd]

Utvilsomt et spennende tema dette! Hardwaren så jo god ut. Hadde vært svært interessant med en egen artikkel med biler osv av selve parken!

[arthon]

Disse problemene de siste dagene er ikke akkurat noe nytt. Samme problemet med å komme inn på forumet opplever jeg jevnlig, da spesielt om natten etter kl. 02:00.

 

Reagerte ikke spesielt de siste dagene da det var normal opplevelsen for meg. Til tider utrolig treigt, ikke bare å komme inn på forumet, men ofte når man er inne å skifter kategorier og skal skrive innlegg så henger funksjonene eller regelrett kræsjer.

Vi er klar over at vi har ytelsesproblemer ellers, men det var dette med en defekt minnebrikke som gjorde situasjonen langt verre fra og med tirsdag kveld. Dette er nå løst, så nå kan man si at vi går tilbake til å ha "normale ytelsesproblemer".

 

 

Om det er Forum Software eller Hardware som er skylden vet vel bare administrasjonen, men av 6 forumene jeg jevnlig deltar på rundt i verden så er dette forumet det enste som er så til de grader ustabilt at det er "ekstrem sport" å delta her.

Det er en del ting i forumprogramvaren som er langt mer krevende enn det burde være og vi har kontaktet utviklerne flere ganger for å snakke om dette.

 

For eksempel er systemet som passer på hvilke tråder du har lest - og sender deg til nyeste uleste svar - svært krevende. Dette er funksjonalitet som vi har fått forslag fra utviklerne om å skru av, men dette ønsker vi ikke av hensyn til dere. Vi anser det rett og slett som en såpass viktig funksjon som bør fungere - også på store forum som dette.

 

Samtidig er vi til min kjennskap den dag i dag verdens største IPB 3.X-forum, så det er ikke lett verken for dem eller oss å forutse ytelsesproblemer og skaleringsproblemer i forkant av oppgraderinger.

 

 

Siden dette vel er Norges største forum gruppe burde vel snart noen ta ansvar og få det forum tekniske til å fungere som det skal.

Drift jobber med utviklingen av et nytt søk, når det blir ferdigstilt og tilgjengelig for dere, kan drift gå igang med å konvertere tabelltypene på to tabeller.

 

Invision Power Board tar nemlig utgangspunkt i at man bruker tabelltypen MyISAM til forumet, denne tabelltypen har støtte for fulltekstsøk, det har ikke den nye tabelltypen. Men samtidig er InnoDB langt mer effektiv til å kjøre innleggs- og trådtabbellene i databasen.

 

Takk for utfyllende svar. Fint å få litt innsikt i hva som forgår.

 

 

Nå har jeg bare vært medlem siden 2008 så jeg har ikke så lang erfaring med utviklingen her.

 

Min opplevelse av forum funksjonaliteten har gitt meg inntrykk av at forumet hele veien er et teknisk eksperiment som aldri tar slutt. For å være ærlig så har jeg trodd at forum softwaren var noe som teknisk drift her har programmert selv og ikke at det var basert på et internasjonalt forum software som Invision, men nå vet jeg bedre.

 

Når jeg opplever forumets "problematiske tekniske liv" som et "teknisk eksperiment" så kan jeg ikke skjønne annet enn at det må ta utrolige resurser hos teknisk drift.

 

På den bakgrunn og forklaringen fra TSP, så burde dere vel egentlig vurdere om Invision plattformen er en plattform som det er riktig for dere å fortsette å "kjempe med"?

 

Nå når Tek.no gruppen omorganiseres allikevel, kanskje det bør taes opp til vurdering å bytte forumsoftware?

 

Jeg vet ikke mye om forum software, men bare av egen erfaring på de forumene jeg frekventerer så er det v/Bulletin baserte forum som har minst problemer og hvor alle funksjoner i forumet fungerer som de skal 99.99% av tiden. Det virker også som de bruker mye mindre resurser på vedlikehold.

 

Et sammenliknbart størrelse forum som jeg har vært medlem av lengre enn her, AVS Forum.com (Threads: 1,225,314, Posts: 19,633,954, Members: 942,424, Most users ever online was 7,465) fungerer hele tiden selv under/etter tekniske omlegginger og også de dagene de har max. trafikk.

 

Så med mindre dere har en slags spesiell "kjærlighet" til Invision, kanskje det er på tide å revurdere plattformen. Kan umulig være særlig rasjonelt å drifte Diskusjon.no med så mye daglige og ukentlige gjentakene problemer år etter år.

 

Jeg skriver dette fra ståstedet som en veldig frustrert bruker som opplever forskjellen mellom Diskusjon.no og 5 andre forum jeg besøker daglig.

[AnaXyd]

Om forumsoftware skal byttes, bør det vel bli Xenoforo.

[Reeve]

Godt med tilbakemelding, og enda bedre at det nå er fikset.

 

Hater så inderlig å ha problemer når jeg ikke vet hva som forårsaker det. Får jeg en forklaring, er ting mye lettere.

[AdNauseam]

Fantastisk bra at dere gir en god forklaring på hva som var årsaken til dette! Tommel opp for det!

[Matsemann]

Disse problemene de siste dagene er ikke akkurat noe nytt. Samme problemet med å komme inn på forumet opplever jeg jevnlig, da spesielt om natten etter kl. 02:00.

Kan hende du henger på forumet akkurat på tidspunktet for daglig backup.

[TSP]

Så med mindre dere har en slags spesiell "kjærlighet" til Invision, kanskje det er på tide å revurdere plattformen. Kan umulig være særlig rasjonelt å drifte Diskusjon.no med så mye daglige og ukentlige gjentakene problemer år etter år.

 

Jeg skriver dette fra ståstedet som en veldig frustrert bruker som opplever forskjellen mellom Diskusjon.no og 5 andre forum jeg besøker daglig.

Det vil vi sikkert ta stilling til på et senere tidspunkt, men jeg kan i alle fall ikke se for meg at forumplattformen skiftes ut dette året.

 

Nå har jeg ikke fått dette direkte bekreftet av drift, men planen fremover blir nok å samarbeide og snakke mer med IPS om gjøre den kommende versjonen 3.2 av IPB mer yteselseffektiv. Vi har gjort noen fremskritt i forhold til bedre kontakt med IPS i det siste og håper det fortsetter.

 

 

Rent personlig håper jeg drift om ikke altfor lenge kan ta seg tid til å forfatte en lengre offisiell tilbakemelding vedr. skalering av programvaren som kan postes på IPS sitt offisielle forum, slik at eventuelle skaleringsproblemer kanskje kommer bedre frem i lyset og andre får vite hvilke grep vi har tatt.

[Pseudopod]

Bra at dere informerer brukerene om slikt, det setter jeg stor pris på. Takk.

[007CD]

Har dere tittet litt på hva som skjer med forumet deres rundt kl 4? Da faller det ut og er ustabilt hver bidige natt.

Er omtrent rundt 0400, det starter, kan være senere og litt tidligere at det er problemer.

[TSP]

Da tas det kopi av databasen, derfor er forumet tregt og uresponsivt rundt klokken 4 hver natt. Backup-en starter 4 og det tar 10-30 minutter.

[L4r5]

Lurer på hvor mange ganger det spørsmålet er kommet opp og besvart.

Skulle kommet opp en beskjed om at backup foregikk så slapp folk å lure sånn.

[After Dark]

Da tas det kopi av databasen, derfor er forumet tregt og uresponsivt rundt klokken 4 hver natt. Backup-en starter 4 og det tar 10-30 minutter.

 

Jeg har hørt at det er fom. 04:00 tom. 06:00, men har stadig kommet meg inn i mellomtiden. Merker forøvrig ofte problemer rundt midnatt.

[fiskebollebiff]

Har dere tittet litt på hva som skjer med forumet deres rundt kl 4? Da faller det ut og er ustabilt hver bidige natt.

Er omtrent rundt 0400, det starter, kan være senere og litt tidligere at det er problemer.

Du er oppe for sent