Script/program som søker i Vegvesenet sin base?

[Nervevrak]

Jeg skal til å lage et register/hjemmeside over en spesiel type bil. Er også på leting etter en type bil det er få igjen på skilter, men en del som står bak låver.

 

Det å skrive inn selv alle skilter som har vært i omløp for å finne disse tar år.

Men hvor vanskelig er det for noen å lage et script/program der en setter inn start og stopp på skiltrekkene som er brukt + søkeord? Også kjører programmet automatisk søking?

 

Regner med at det ikke kan kjøre så lynraskt så siden blir flooded? Har kjørt ca 20-30 kjappe søk uten at det ser ut til at siden har noe IP begrensning på antall søk/minutt.

 

Hvor mange timer tar det å lage et slik program? Og noen som kanskje kunne tenkt seg å lage et mot betaling om det ikke tar veldig lang tid?

 

Tenker på denne siden.

[Sampson]

Ikke fryktelig vanskelig, men du kan møte en vegg om vegvesenet har filter / beskyttelse på plass som stopper for mange spørringer fra samme IP. 20-30 er nok ikke nok til å slå ut på det, men om du kjører igang et script som spør xxx ganger og går en stund kan det fort komme en sperre, hvis dette ikke er et script du skal kjøre over lengre tid kan du da bare kjøre via proxy eller noe slikt til du er ferdig med søkingen.

[Nervevrak]

Kjørte på med en del flere spørringer nå. Og kom opp en sperre der en må skrive inn vilkårlige tall og bokstaver 

Så da må det vel via proxy da...

Er registrert ca 2.5mil biler i Norge, så noen søk må den jo gjennom 

[Sampson]

Vel, da har du iallefall litt mer info til hvem enn som vil ha det oppdraget Finnes alltid en løsning.

[nightowl]

Lagde en fungerende løsning med node.js hvor man angir hvilke bokstavkombinasjon og nummer man vil begynne på.

 

Den jobber seg så oppover og lagrer resultatene hvor den finner søkeordet:

 

 

Problemet er at det oppstår alltid CAPTCHA i nettsiden om man er litt overivrig bare en gang (slik jeg var).

 

Har derfor en innstilling som gjør at den tar 2 sekunders pause mellom hver nye nedlastning. Dette kan selvsagt endres på. Forhåpentligvis er dette lenge nok til programmet kan kjøre og laste ned hver resultatside, noe som vil ta ca 2 måneder. Men da er antagelsen at CAPTCHA bare oppstår fordi det er for mange oppslag i sekundet, og ikke fordi man når en maksgrense...

 

EDIT: Ser ut til å dukke opp CAPTCHA uansett, så avslutter arbeidet og fjerner lenken til programmet.

Endret 16. desember 2015 av nightowl

[Enthroner]

Du kan alltids spørre om du kan få tilgang. Si at du lager en entusiastside eller hva enn du faktisk lager..
http://www.vegvesen.no/kjoretoy/Kjop+og+salg/Kj%C3%B8ret%C3%B8yopplysninger/Utlevering+av+kj%C3%B8ret%C3%B8yopplysninger

 

Kanskje de tilogmed vil gjøre spørringen for deg

[Nervevrak]

Takker Nightowl, skal se litt på den. Om det tar 2 mnd så gjør egentlig ikke det noe...

 

Enthroner, jeg har kontaktet vegvesenet. Og de kunne gi meg en liste. Problemet var at de tar seg betalt ganske mye mer en det jeg tror noen her kan lage en søkemotor for.

[nightowl]

Men du fikk vel også opp CAPTCHA når du gjorde søk? Da trenger du ny IP.

 

Mulige løsninger:

1. Du kobler til og fra strømmen på ruteren i noen sekunder - dermed får du kanskje en ny adresse.

2. Benytt en annen tilkobling eller VPN.

 

Bruk sider som whatismyip.com for å se IP-adressen du er gitt.

 

Det er mulig man kunne brukt en gratis-proxy der ute, men jeg vet ikke om det er noen som duger. 

[Nervevrak]

Fikk den til å kjøre. Men den lagret jo alle søk. Og ingen av de treffene inneholdt noen av søkeordene...

 

Regner med at for å endre søkekriterier og tidsperspektiv så må filen åpnes i et programeringsprogram?

Kan det f.eks. endres i hvilket som helst C++ ?

Er langt fra noen racer innen det her 

Endret 16. desember 2015 av Nervevrak

[nightowl]

Kjørte programmet fra en server med ny IP nå, den fikk CAPTCHA selv om den tok 2 sekunders pause.

 

Nei, er nok best å heller betale en slump penger i stedet for å holde på med det her.

 

EDIT: Alternativet blir å ta en ledig stilling hos Statens Vegvesen eller lignende, også kjøre søket i smug når man er alene på jobb en dag.

Endret 17. desember 2015 av nightowl

[Merko]

Bruker man "Rumola" nettleser-plugin, så vil den skrive inn Capatcha.