Totalt kræsjet server

[Velmont]

Serveren min kjører RedHat 7.3 og er en 200mhz Pentium og den har 56mb sdram - dette er alltid oppbrukt og den har pleid å kjørt med 20-30 mb swap.

 

I dag skjedde det imidlertid noe rart - swap gikk noe sykt opp, sist gang jeg sjekket for 2 timer siden brukte den 175mb swap(av de 240 eller noe som er)!

 

Jeg sjekket dette fordi maskina var utroooolig treg, den har blitt tregere og tregere i det siste. - Før kræsjet la jeg til en ny bruker - som kjører IRSSI i SCREEN. Jeg tror jeg har 6 brukere som gjør dette.

 

Jeg har en webserver som bruker bl.a. til "Gallery" side - den har jeg nettopp oppgradert til 1.4.2 - kjører apache httpd 1.3.7 (elns), kjører også mysql.

 

httpd er den mest travle "delen". Uansett - den har kjørt fint og stabilt i 64 dager før idag, hvorfor i ALLE DAGER kræsjer driten nå?

 

Jeg kan ikke få noe som helst kontakt med den, og den står i Norge - jeg er i England resten av familien er i Kina i 2 måneder til. Noen som har noen idéer?

 

(Gjerne kom med idéer til å lette oppgavene til 200mhz'en min også)

Edit: Jeg tenker på kræsjet som et DoS angrep - bare det er EKTE forespørsler som er skjedd - siden folka mine er i Kina legger de ut bilder som masse folk ser på, jeg oppdaterer Gallery (som har 3600 bilder), 4stk bruker Irssi aktivt (hver dag), de to jentene jeg hoster bilder for har masse venninner som skal se på bildene osv. Jeg har nok en underdimensjonert server

Endret 25. februar 2004 av Velmont

[xeon]

hva med å stoppe httpd til problemet har stabilisert seg?

 

edit: og sjekket du hva som gjorde at det ble mye load før den ble borte?

Endret 25. februar 2004 av xeon

[Velmont]

Altså, jeg kan ikke "stoppe httpd"....

 

Tingen er at jeg hadde 100 kjørende oppgaver (fra "ps aux") - de som krevde mest var etter som jeg husker httpd, og irssi av og til.

 

Av RAM var httpd helt på toppen - den øverste var helt suveren (jeg tenker det er fra da jeg oppdaterte Galleriet med 3600 bilder (alle bildene samt albumene måtte "parses" på ny osv)). mysqld er en annen server som lå greit langt oppe på lista.

 

------

Men, kvitter ikke Linux seg med RAM den ikke bruker/trenger? - På min egen laptop er ofte 90% av 512mb RAM brukt hele tia. Dette virker jo også ganske rart

[slime mold]

Linux finner alltids på noe å bruke ledig RAM til. Den tenker som så at det er ikke vits i å ha så mye RAM om den bare skal ligge der ubrukt. Den kan heller bruke den til å cache litt og prøve å være litt inteligent og forutseende slik at ting virker raskere.

 

Det kan så klart også hende at et program som kjører lekker minne, men vanligvis er det ikke så gale.

[Velmont]

Linux finner alltids på noe å bruke ledig RAM til. Den tenker som så at det er ikke vits i å ha så mye RAM om den bare skal ligge der ubrukt. Den kan heller bruke den til å cache litt og prøve å være litt inteligent og forutseende slik at ting virker raskere.

 

Det kan så klart også hende at et program som kjører lekker minne, men vanligvis er det ikke så gale.

Ja, var egentlig noe slikt jeg tenkte.. Fordi RAM er jo raskere enn HD så da kan den heller bruke RAMen til slike småting...

 

Men - er den flink til å omprioritere da? Rask nok? Er SWAP effektivt nok? (selvfølgelig er SWAP elendig på min treeeeige 20gb på serveren, som resten av den )...

 

Men tror du den har kjæsjet pga. RAM? Eller? Jeg skjønner ikke hvordan den bare kunne bli knelet så fort.

[laaknor]

Vurdert å endre litt på minspareservers og maxspareservers i apache-configen? evt. sette ned max antall som kan kjøre av gangen....

[Velmont]

Vurdert å endre litt på minspareservers og maxspareservers i apache-configen? evt. sette ned max antall som kan kjøre av gangen....

Den skulle være satt ganske restriktivt den. Min er 8, max er vel mot 32 eller noe. (husker ikke og kan ikke sjekke). Uansett så har jo serveren gått stabilt i 64dager og da med større pågang på web-galleriet enn dagen idag.

 

Det som gjorde utslaget må ha vært at jeg har oppdatert Gallery, men problemet er at jeg oppgraderte det i går - og jeg synes det er rart at linux ikke hadde klart å kvitte seg med dét som hang igjen ifra oppgraderingen.

 

Trenger ikke være dette som utløste det, men det er helt klart den mest naturlige grunnen. - Uansett må jeg passe bedre på den og sette enda strengere httpd regler når jeg får den opp igjen (som kan være så lenge som 2 måneder til!)

[Egil.B]

Uansett, oppe igjen nå. Samme uptime, så den kan ikke ha gått ned. Må ha vært ngt som tuklet.

[Cronius]

Angående å "bruke opp minnet" så er min erfaring at Linux er veldig flink til å håndtere slike situasjoner. Det har hendt at multimedia-programmer skal cache previews av en hel haug av filer og fordi jeg har drevet på med så mye samtidig har den rett og slett brukt opp både minnet og swappen (har 256mb ram + 256mb swap). Det som da skjer er at X henger seg litt, mens harddisken jobber som en gal med å swappe inn/ut. Deretter dreper Linux noen programmer som tar opp minne (xmms, nettlesere, fil-browsere, sånne ting) inntill den kommer ned på et akseptabelt nivå. Etter dette fungerer alt som normalt, tar kun noen få sekunder.

 

Så at maskinen har kræsja høres merkelig ut, det er heller trolig at den sliter under heftig load som du sier. På tide å oppgradere server-distroen til noe litt mer hardcore kanskje? (tenker da hovedsakelig på optimaliseringsvennlige distroer: slackware, debian, gentoo)

[Velmont]

Jeg hadde tenkt å kjøre debian på det etter den klikket Så neste gang jeg kommer hjem nå blir det halshugging i huset!

 

Men flott Egil, herlig at den er oppe igjen. Den tok seg rett og slett en pause.. Kan tenke meg den drepte en del prosesser ja.. men uansett, slik ser det ut nå:

6:23pm up 64 days, 21:08, 2 users, load average: 3.08, 7.42, 7.24

 

-- Uhm, vel, den river jo litt den også.. Dessuten har den tydligvis bootet en del brukere

[Velmont]

Viste seg at det var apache som var synderen. Den kjørte 60stk (heh), trolig fordi en av dem hadde hengt seg. Den spawnet nye uten å kille de gamle tror jeg..

 

Uansett - da det var fikset sto jeg igjen med hele 20mb LEDIG ram! Det er helt fantastisk siden serveren aldri har hatt ledig ram.. og iallfall ikke så mye som 35%. - SWAP var nede i 30mb forbruk - tydeligvis kommet seg ned

 

Jeg har nå veldig restrektive instillinger for apache. Får håpe jeg ikke får for mange klager på det

 

-- Ellers må jeg si at Linux kjernen virkelig gjorde en knall-jobb for å håndtere saken Men siden jeg ikke visste hvordan ting fungerte begynte jeg selvfølgelig å tro at den var mongis ;p

[sim]

Du glemte å fortelle hvem som hjalp til og hvordan ;p

 

Hint: meg, og kernel exploits er det for en grunn ;p

[Velmont]

Vel, hadde du venta 30sek lengre hadde jeg gjort det selv

 

Jeg hadde nettopp skrevet "service httpd stop", og venta noen sekund for at den skulle funke. Den gjorde ikke - og akuratt da fikk du "killall httpd"´et

 

Menmen, er alltid greit å ha et par brukere med rootkits på boksen (øhm.. )

[Egil.B]

Hadde vi hatt god nok tid i juleferien hadde den jo kjørt 2.4.24...

[CrasY]

Kan igrunn ta en titt på Semaphores (stavet riktig?) også, ipcs og slette de som måtte spise for mye med ipcrm sim "sim" var det vel. sitter ikke foran boxen, men på jobb og kjeder meg.

 

-Henrik

Endret 26. februar 2004 av CrasY