Scrape data fra Finn.no for bruk i Excel

[Nedward]

Jeg er novice på webutvikling, men er såpass kompetent at jeg vanligvis klarer å få til enkle ting. Men nå har jeg støtt på et problem: Når jeg bruker det innebygde verktøyet i Excel får jeg ingenting. Det er som en blank side. Antar Finn har gjort noe lurt for å unngå at hvem som helst får tilgang til å automatisere datafangst.

Spørsmålet er det finnes (pun intended) en vei rundt begrensningene til Finn?

[quantum]

nå tror jeg ikke excel er det beste verktøyet å bruke, men tipper finn har mekanismer som stopper dette. kanhende det hjelper å scrape fra mange forskjellige ip-adresser, skifte user-agent i requestene osv. så det ikke blir så lett å kjenne igjen, men du bør kanskje spørre deg selv om dette er innhold det er meningen du skal få lov til å scrape? svaret gir seg vel litt selv, basert på hvilke mekanismer som er satt inn for å beskytte det.  selv om innholdet er publisert på nett betyr det ikke nødvendigvis at du kan laste det ned systematisk og benytte det til hva du vil.

[Comma Chameleon]

Det er fullt mulig å scrape finn.no. Hvordan du gjør det med noe innebygd verktøy i excel vet jeg ikke, men det er mulig å scrape finn med et eget verktøy laget i f.eks. python eller noe og så lagre dataen og importere det i excel. Det er garantert i mot deres retningslinjer, men generelt sett så er det vel sånn at hvis du gjør det kun for deg selv og altså kun gjør det i en mengde som genererer trafikken du selv kunne gjort manuelt så skal det godt gjøres å bli tatt/straffet. 

Kjenner flere som har scrapet finn for å ha prishistorikk på boliger. Fungerte knirkefritt.

[Dan-Levi]

Det kan være at du ikke scraper siden som excel ser. Prøv å åpne Finn.no med chrome, og deaktiver javascript.

Får å kunne scrape sider med dynamisk innhold kan du bruke python eller noe som puppeteer i node.js.

[vidor]

rubrikk.no scrapet jo hele finn.no og ble tatt for det, men de fikk så vidt jeg vet et tilbud om å kjøpe tilgang etterpå. Pr nå viser de kortversjon med bilde på sine websider mens de måler klikk de sender videre til finn.no.

Kommer nok an på hvordan du har tenkt å bruke dataene du henter om det er akseptabelt eller ikke.

Finn er jo såpass stort at de kanskje har beskyttelse.

[Nedward]

@quantum Jeg har ikke planer om å bruke noe dataene til noe kommersielle greier. Kun personlig bruk. Det er snakk om et titalls annonser jeg skal hente data fra. Jeg vet dem tilbyr API-tilgang, men kun til bedriftskunder. @Comma Chameleon var inne på noe, jeg har et utvalg biler jeg er interessert i og skulle samle sammen alt (pris, km-stand osv.) i et regneark. Så slo det meg at det måtte være mulig å automatisere det, slik at jeg slipper å trykke alt inn manuelt. 

Bryr meg ærlig talt ikke om vilkårene til Finn. Og helt ærlig tviler jeg sterkt på at dem kommer til å bry seg om meg. 

@Dan-Levi takk for tips. Skal sjekke ut hva jeg får til. 

[vidor]

Hadde jeg vært ansvarlig for anti-scraping hadde du nok lett kommet deg unna med 10 annonser og privat egenbruk er helt legitimt.

Endret 7. desember 2023 av vidor

[oddeh]

Jeg har en scraper som tar 50 sider på 13 sekunder, altså ikke vanlig brukermønster. Har aldri hatt problemer, men kjører bare én gang om dagen.