Lage egen download manager?

[Vipo]

Jeg kunne trenge et lite script på mitt webhotell for nedlastning av noe data.

 

Feks at den laster ned en gitt nettside hver hverdag på et gitt tidspunkt og lagrer den i en mappe med filnavn "dato".

 

Gjerne eventuelt få programmet til å lagre spesifikke data fra nettsiden eller de nedlastede sider i en excel- eller tekstfil, så slipper jeg å gjøre det manuelt i etterkant.

 

Mistenker at det er mulig å benytte PHP, men jeg har ikke selv noe erfaring med programmering. Kan noe slikt enkelt la seg gjøre å lage eller få laget? Finnes noen standardscript man kan laste ned og benytte?

[Nickless]

Dersom du snakker om å laste ned websider å parse ut data(?) så kan du kan f.eks lage et bashscript som kaller på wget (http://linux.about.com/od/commands/l/blcmdl1_wget.htm).

 

Eventuelt så kan du også bruke cURL (siden du nevnte PHP).

 

De fleste webhotell har f.eks cron (http://en.wikipedia.org/wiki/Cron) som man kan sette opp slik at man kan tidsinnstille eventuelle script.

[snippsat]

Gjerne eventuelt få programmet til å lagre spesifikke data fra nettsiden

 

from bs4 import BeautifulSoup
from urllib2 import urlopen

def a_dream(s):
return s.replace('PHP', 'Python')

url = urlopen('https://www.diskusjon.no/index.php?showtopic=1511148&pid=20499245&st=0entry20499245')
soup = BeautifulSoup(url)
tag = soup.find_all('div', {"class": "post"})
for line in  tag[0].text.split('\n'):
if 'PHP' in line:
	print a_dream(line.split('.')[0])

Output-->

Mistenker at det er mulig å benytte Python, men jeg har ikke selv noe erfaring med programmering

 

Litt moro må man ha

Får bruke PHP for og gi et svar.

<?php
require_once('simple_html_dom.php');
$html = file_get_html('https://www.diskusjon.no/index.php?showtopic=1511148&pid=20499245&st=0entry20499245');
$ret = $html->find('div[class=post]');
$tag = $ret[0];
$pieces = explode(".", $tag);
$line = ($pieces[3]);
$line_replace = str_replace('PHP', 'PHP(PHP er grei og bruke til dette)', $line);
echo $line_replace;  
?>

Output-->

Mistenker at det er mulig å benytte PHP(PHP er grei og bruke til dette), men jeg har ikke selv noe erfaring med programmering

 

Ja dette er måter man kan kan finne spesifikke data,bruker her "parser" BeautifulSoup(Python) og PHP Simple HTML DOM Parser

Dette er gode "parser",som også kan lese ikke korrekt html uten og knekke ned(noe som er viktig i Web scraping)

 

Som nevnt av Nickless wget og cURL,PHP har også mye i biblioteket som man kan brukes.

F.eks file_get_contents

Laste ned et bilde som eksempel,kan laste ned det meste html(kildekode),zip,pdf.....

<?php
$url = 'http://images.imagecomics.com/blog_images//662779682560201.jpg';
$destination_folder = 'downloads/';
$fname = $destination_folder . basename($url);;
file_put_contents($fname, file_get_contents($url));
?>

Endret 5. mai 2013 av SNIPPSAT