Enkel webbot i Python

[J. F. N.]

hei, jeg er ganske ny til Python, men har lært meg litt og tenker å lage en enkel webbot som skal ta to tall fra en webside, plusse de sammen skrive resultatet på websiden og trykke på en link.

 

noen som vet om gode guider til dette el. lignende eller vet om noen åpne webboter i Python? har søkt litt på google, men har ikke funnet noe

[etse]

det du egentlig ønsker å lage er vel en webside, med en backend i python. Dette kan gjøres utrolig enkelt om du bruker Web.py eller Flask.

Endret 4. mai 2014 av etse

[snippsat]

Tro nok ikke svaret ditt @este er det J.F.N spør om,men jeg kan ta feil da spørmålet er uklart.

Når du skriver webbot regner jeg at du vil ta to tall fra en side som allerede laget og gjøre noe med?

En "bot" er er et program som kjører automatiserte oppgaver over Internet.

Endret 4. mai 2014 av snippsat

[J. F. N.]

Tro nok ikke svaret ditt @este er det J.F.N spør om,men jeg kan ta feil da spørmålet er uklart.

Når du skriver webbot regner jeg at du vil ta to tall fra en side som allerede laget og gjøre noe med?

En "bot" er er et program som kjører automatiserte oppgaver over Internet.

 

ja, jeg menter mer det du skriver.

[Nickless]

hei, jeg er ganske ny til Python, men har lært meg litt og tenker å lage en enkel webbot som skal ta to tall fra en webside, plusse de sammen skrive resultatet på websiden og trykke på en link.

 

noen som vet om gode guider til dette el. lignende eller vet om noen åpne webboter i Python? har søkt litt på google, men har ikke funnet noe

 

Ta en titt på urllib2:

 

http://www.pythonforbeginners.com/python-on-the-web/how-to-use-urllib2-in-python/

[snippsat]

to tall fra en webside, plusse de sammen skrive resultatet på websiden og trykke på en link.

 

Dette kan variere fra side til til side,man må først tolke innholdet på siden.

Til dette er det naturlig og bruke verktøy som Chrome DevTools, Firebug...

 

Når det gjelder tilkobling til en side som nevnt urllib eller bredere Requests

Parser er veldig viktig for oppgaver som dette,og Python har 2 stjerner Beautiful Soup og lxml.

og trykke på en link.

Hva gjør du her viss oppgaven blir utføres Javascript og blir rendret av Dom i nettleser.

Bare tar med litt om dette,og svarer på mitt eget spørsmål

 

Når du leser innhold fra en webside med f.eks urllib eller Requests ,vil du ikke få ut alt innhold i en dynamisk webside som f.eks kan inneholde Javascript,Jquery,Ajax..osv.

 

Da må man bruke andre verktøy som kan lese/utføre samme oppgaver som f.eks Javascript gjør.

Du har vektøy som kan utføre full nettleser simulering som selenium, Splinter eller mindre verktøy som ghost.py, mechanize

 

Det var en liten gjennomgang,du får heller poste tilbake med adresse til websiden viss du sliter med noe.

Endret 4. mai 2014 av snippsat

[J. F. N.]

tenkte å lage en Facebook-bot, som (etter at man har logget seg inn) på visse tider oppdaterer statuser fra en tekstfil. også i tillegg lagre hvor mange 'likes' forskjellige postede statuser har. skal ikke bruke dette til noe konstruktivt, tenkte bare at det er en start for "eksperimentering" med boter..

Endret 5. mai 2014 av J. F. N.

[etse]

for å gjøre slike ting er det mye lettere å bruke APIet til facebook enn å prøve å logge inn og parse siden. Ved å tillate appen din kan du da gjøre slik at den kan poste og lese gjennom news-feeden gjennom å bruke et API som er veldig lettvint for maskinen å håndtere (i stede for selve siden som er lett for mennesker å lese - men nesten umulig for datamaskiner å få noe fornuftig ut av).

[snippsat]

Som nevnt av @este så er API veien og gå for Facebook.

Jeg skrev noen tester og lastet ned innhold uten API og det er et dynamisk rot blandet med html man får ned.

Nå greide jeg og ta ned innhold jeg testet for,med dette er knotete og måtte blande inn regex.

også i tillegg lagre hvor mange 'likes' forskjellige postede statuser har

 

Eksempel med API for like_count

Da kan jeg skrive en en rask demo med BeautifulSoup hvordan ta ut like_count.

from bs4 import BeautifulSoup

xml = '''\
<fql_query_response xmlns="http://api.facebook.com/1.0/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" list="true">
  <link_stat>
    <like_count>134</like_count>
  </link_stat>
</fql_query_response>'''

soup = BeautifulSoup(xml)
print soup.find('like_count').text #--> 134

Facebook er ingen "enkel" side og starte med,du bør starte med noen enklere sider og trene litt.

Endret 7. mai 2014 av snippsat