Lage en crawler/finne ting på andre sider.

[surrehue]

Hei

Jeg har planer om å lage en crawlrer eller en robot som kan søke gjennom flere forhåndsdefinerte sider. Ved hjelp av regler og filtre skal den kunne finne frem til f.eks en tabell om inneholder noen verdier jeg ønsker å hente ut å putte i en database. Er det noen som har ideer, vet om noe liknede som har blitt laget før eller har noen tips på gode metoder/funksjoner for å lage en slik crawler?

[Peter]

file_get_contents er en god start

deretter kan du velge om du vil bruke regex eller strengefunksjoner for å navigere frem til innholder du skal ha. For sistenevnte er nok strpos og substr en fin miks.

 

Lykke til!

[surrehue]

Tusen takk for veldig nyttige tips! Er det noen som kjenner til noen verktøy som har blitt laget på dette området, altså konfigurerbare crawlere for å hente spesifikk informasjon på en nettside?

[-A-nders]

.

Endret 25. januar 2018 av -A-nders

[surrehue]

Google...hva er det for noe . Har tittet litt rundt, men tenkte kanskje at noen her hadde laget noe liknede før og kunne delen noen erfaringer og kunnskaper rundt det.

[The Red Devil]

Php er ikkje det beste programmerings språket for å lage crawlere.

 

Men som sagt tidligere du kan bruke file_get_contents du kan også bruke sockets, curl eller DOM det er alt etter kva du er ute etter på siden og vil lagre.

 

Kvar av dei funksjonene har sine fordelere, men du kan jo lese opp om dei på php.net

[Darkshade]

Her er noen crawlere

 

http://phpdig.net

http://www.htdig.org

http://wiki.apache.org/jakarta-lucene/PoweredBy

Endret 23. mai 2006 av kylefj

[Torbjørn]

jeg ville brukt perl, det ligner på php men kan faktisk brukes til dette