[Løst] Laste ned samtlige Lunch-striper fra Dagbladet

[siDDis]

Denne tråden er morsom. Eg er heilt einige med Lycanthrope at hans løysning er best!

 

Prøvde det nettopp på Windows her og det funka som ein kule, måtte bare endre frå wget til curl. Kvifor gjere noko så enkelt meir komplekst?

 

[GeirGrusom]

Den

Prøvde det nettopp på Windows her og det funka som ein kule, måtte bare endre frå wget til curl. Kvifor gjere noko så enkelt meir komplekst?

Er ikke en interessant løsning.

 

Her er en asynkron løsning skrevet i C#:

 

from stripe in 
	from dag in Enumerable.Range(0, 14)
	let thisDay = DateTime.Today.AddDays(-dag)
	let unixEpoc = new DateTime(1970, 1, 1)
	let timeStamp = (long)(thisDay - unixEpoc).TotalSeconds
	select new 
	{ 
		TargetFilename = System.IO.Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.MyDocuments), "lunch-" + thisDay.ToShortDateString() + ".gif"),
		Uri = new Uri("http://www.dagbladet.no/tegneserie/pondusarkiv/serveconfig.php?date=" + timeStamp + "&strip=lunch")
	} select new System.Net.WebClient().DownloadFileTaskAsync(stripe.Uri, stripe.TargetFilename)

[Sprokket]

[Khaffner]

 

Man kan få det litt mer komprimert enn tidligere eksempler i tråden med PowerShell også;

0..7 | %{Date -UF %s (Date).Date.AddDays(-$_)} | %{wget -OutFile "lunch-$_.gif" "www.dagbladet.no/tegneserie/pondusarkiv/serveconfig.php?date=$_&strip=lunch"}

Diskusjon til side, får dere nå lastet ned striper eldre enn ca 14 dager gamle?

Jeg blir bare servert det samme bildet om og om igjen når jeg ber om eldre striper enn ca 14 dager. Både ved bruk av skriptet over, og mine egne. Testet på forskjellige pc'er og steder med forskjellige eksterne IP'er. Dette fungerte fint for noen dager siden, også for pondus, nemi, etc.

Kan det tenkes av Dagbladet har lagt inn en sperre pga oss?

[snippsat]

Diskusjon til side, får dere nå lastet ned striper eldre enn ca 14 dager gamle?

 

Regner med opplegget er det samme som da jeg svarte på dette før i tråden.

 

Ah, mente selvsagt 45-60 spørringer/iterasjoner, f.eks. fra koden lenger opp.

Dette er uansett ikke så ille,og når dagbladet ikke lagrer enn ca 14 dager tilbake.

Da laster man ned alt av tegneserier på et par min uten at server blir særlig belastet av den grunn.

[Khaffner]

Da syns jeg det er rart at jeg klarte å hente ut over 3800 unike pondus-striper fra dagbladet for et par dager siden. Datert helt tilbake til 3. Mai 2000

[tingo]

Tja, noen i Dagbladet har vel sett det i loggen, og fått en utvikler til å fikse feilen.

[delfin]

Da syns jeg det er rart at jeg klarte å hente ut over 3800 unike pondus-striper fra dagbladet for et par dager siden. Datert helt tilbake til 3. Mai 2000

 

Interessant...

 

Jeg har ~4000 unike striper selv, men de er lastet ned for lenge siden. Det begynner å bli noen år siden de "fjernet" (men tydeligvis ikke helt?) gamle striper.

 

 

Her er min fra 12.09.2003 f.eks. Er det samme fil som du har fått nå?

[delfin]

 

Ah, mente selvsagt 45-60 spørringer/iterasjoner, f.eks. fra koden lenger opp.

Dette er uansett ikke så ille,og når dagbladet ikke lagrer enn ca 14 dager tilbake.

Da laster man ned alt av tegneserier på et par min uten at server blir særlig belastet av den grunn.

 

For å ta det med asynkron nedlasting; det er selvfølgelig ikke et stort problem når det gjelder 14 striper, men det er heller ikke noe stort poeng, da det bare tar sekunder å laste ned 14*10 striper om du har en middels linje. "Problemet" med asynkron nedlasting er å sørge for at du ikke har for mange samtidige spørringer, som vil kunne bli et problem om man f.eks prøver å laste ned alt fra heltnormalt.no i et jafs.

 

Jeg vet ikke sikkert hvor mange filer det er snakk om, men la oss si f.eks. alle stripene i alle serier fra i dag og 3 år tilbake, så blir det fort 1000 spørringer per serie. I så fall bør man ha en kø som sørger for at det ikke blir sendt mer enn x antall spørringer samtidig. Dette er uproblematisk å lage, men likevel såpass unødvendig at jeg ikke helt ser poenget.

 

I de fleste tilfeller er det uproblematisk i praksis, men mange servere vil reagere om de plutselig får 4000 requests i løpet av et halvt sekund

[Khaffner]

 

Da syns jeg det er rart at jeg klarte å hente ut over 3800 unike pondus-striper fra dagbladet for et par dager siden. Datert helt tilbake til 3. Mai 2000

 

Interessant...

 

Jeg har ~4000 unike striper selv, men de er lastet ned for lenge siden. Det begynner å bli noen år siden de "fjernet" (men tydeligvis ikke helt?) gamle striper.

 

 

Her er min fra 12.09.2003 f.eks. Er det samme fil som du har fått nå?

 

Akkurat den hadde jeg faktisk ikke. Verken den stripen eller en annen fra den datoen. Så takk