mulig io-bound problem på webserver

[Morits]

Hei,

 

Jeg jobber for tiden med optimering av en web server og sliter litt med å finne ut av et problem.

Jeg bruker jmeter for å simulere load. jmeter er satt opp som følger:

400 tråder

Ramp-up 30 sekunder

Loop count 1

hver tråd besøker 17 forskjellige sider på serveren med 1 - 5 sekunders delay mellom hvert besøk.

Det jeg opplever er at inntil 350 tråder fungerer serveren som den skal.

Loaden øker og cpu går opp. Siden blir merkbart tregere, men man kommer inn.

 

Et sted mellom 350 - 400 tråder synker loaden ned til nesten ingenting igjen

, cpu idler på ca 75 - 85% og det blir så å si umulig for noen å komme inn på nettstedet.

Jeg klarer ikke helt å finne ut grunnen.

 

Litt info om serveren:

- serveren swapper ikke.

- det er ingen spørringer til mysql som henger. (Men mange åpne connections)

- vi bruker memcached, med timeout satt til 1 sekund

- max_connections i mysql er 1600 (1 mysql connection per request så skal være lenge igjen til den limiten er nådd)

- wait er så å si ikke eksisterende i cpu grafene (collectd)

 

apache config som kan være av interesse:

<IfModule mpm_prefork_module>
StartServers                    10
MinSpareServers                 10
MaxSpareServers                 50
ServerLimit                     1200
MaxClients              	1200
MaxRequestsPerChild             10000
</IfModule>

 

Noen som har noen ide om hva jeg kan se på videre for å finne ut av problemet?

[Terrasque]

hva sier ulimit -a ? Spesielt "open files" delen.

 

"vmstat -d" vil også gi noe info om disk og IO. Men tviler på at det er problemet, siden det meste bør være cachet i minne. Mistenker heller open files limit er truffet.

 

Du sier heller ikke hvordan siden er satt opp, hvilket språk den bruker, sserver løsning (fcgi / loadet i apache / annet), om alt kjører på samme maskin, osv...