Data-mining programvare - laste ned automatisk pdf

[ChillyWilly]

Jeg trenger hjelp med programvare for automatisk nedlastning av pdf-filer (datablader) fra hjemmeside til leverandør.

Leverandøren av mange tusen produkter som jeg trenger datablader til.

 

Måten å gjøre dette på manuelt er å gå til leverandørens hjemmeside og angi artikkel.nr for å søke opp pdf/databladet.

 

Er det noe program som kan gjøre dette automatisk? Har lister med artikkelnr i excel for de databladene vi trenger..

 

Gode forslag til program mottas med takk!

[Q&A]

Har databladene individuelle URLer med artikkelnr som navn? altså f.eks.

 

http://www.datadudes.no/files/91837465.pdf

http://www.datadudes.no/files/91837466.pdf

osv

 

I såfall kan du bare eksportere excel til TXT, og så bruke søk og erstatt slik at du får adressen før nummeret og .pdf etterpå.

 

Da får du en liste som du deretter kan kjøre gjennom et nedlastingsprogram.

[ChillyWilly]

Kan generere en link med artikkel nr, men kommer ikke direkte til pdf filen.

Eksempel: http://www.sigma-aldrich.com/MSDSLookup.html?ProdNo=06579&Brand=

(mulig man må velge norsk på hjemmesiden før man får opp databladet)

Må lagre pdf'en manuelt siden pdf er integrert i siden på en slags måte.

[nebrewfoz]

Er det noe program som kan gjøre dette automatisk? Har lister med artikkelnr i excel for de databladene vi trenger..

Har du hørt med leverandøren om de muligens har et API du kan bruke for å å få direkte tilgang til databladene?

[Q&A]

Kan generere en link med artikkel nr, men kommer ikke direkte til pdf filen.

Eksempel: http://www.sigma-ald...No=06579&Brand=

(mulig man må velge norsk på hjemmesiden før man får opp databladet)

Må lagre pdf'en manuelt siden pdf er integrert i siden på en slags måte.

 

Dette er den direkte URLen:

www.sigmaaldrich.com/MSDS/MSDS/PrintMSDSAction.do?name=msdspdf_1306168161501713

 

Ser slik ut i kildekoden:

...
<iframe src="/MSDS/MSDS/PrintMSDSAction.do?name=msdspdf_1306168161501713" width="1000px"
...

 

Hvis nummeret på slutten tilsvarer det du har i Excel, så skal det gå (forutsatt at de ikke forhindrer automatisk nedlasting), men hvis det bare er tilfeldig generert, så blir det verre.

 

Men så lenge det er slik at du har en legitim grunn til å ville laste ned alt dette, så kan du kanskje ta kontakt med dem og høre med dem hvordan dette kan gjøres på den mest praktiske måten uten å belaste serveren deres for mye?

[ChillyWilly]

Dette er den direkte URLen:

www.sigmaaldrich.com/MSDS/MSDS/PrintMSDSAction.do?name=msdspdf_1306168161501713

 

Ser slik ut i kildekoden:

...
<iframe src="/MSDS/MSDS/PrintMSDSAction.do?name=msdspdf_1306168161501713" width="1000px"
...

 

Hvis nummeret på slutten tilsvarer det du har i Excel, så skal det gå (forutsatt at de ikke forhindrer automatisk nedlasting), men hvis det bare er tilfeldig generert, så blir det verre.

 

Men så lenge det er slik at du har en legitim grunn til å ville laste ned alt dette, så kan du kanskje ta kontakt med dem og høre med dem hvordan dette kan gjøres på den mest praktiske måten uten å belaste serveren deres for mye?

 

I linken jeg viste så er det artikkelnummer for produktet man ser.

Direkte linken du har inneholder ikke artikkelnr så den blir kanskje generert av nettsiden?

 

Greia er altså at vi sitter på flere tusen datablad-filer som må oppdateres for norske firma hvert år.

Manuelt kan jeg klikke på linken i min excel-liste, ny side åpner seg da til sigma-aldrich.com og jeg må lagre pdf-filen manuelt.

Burde kunne finnes et program som kan "klikke" på disse linkene og lagre pdf-filene selv

Endret 18. juni 2013 av ChillyWilly