program for å legge inn link basert på en liste og laste ned

[MrVilla]

Hei

Jeg har en link til et dokument som jeg kan gå inn på og laste ned dokumentet.
La oss si linken er https://www.test.no/side1.pdf
Hver side har en egen link slik at side2 er på https://www.test.no/side2.pdf

Er det noen måte  å sette opp et program slik at jeg kan lage en liste med linker som den kan gå inn og hente ned denne pdf slik at jeg slipper å gjøre dette manuelt for hver side?

PS! Det er ikke mulig å gå inn på https://ww.test.no, ei heller er det mulig med ftp.

[kjetilkl]

Hvis du legger linkene i en html-fil så kan du f.eks bruke https://www.downthemall.org/

Usikker på om den virker på txt-filer, men du kan legge til manuelle nedlastinger som støtter regex(eller lignende) ser det ut til.

[linux-fan]

MrVilla skrev (På 8.10.2020 den 11.41):

Hei

Jeg har en link til et dokument som jeg kan gå inn på og laste ned dokumentet.
La oss si linken er https://www.test.no/side1.pdf
Hver side har en egen link slik at side2 er på https://www.test.no/side2.pdf

Er det noen måte  å sette opp et program slik at jeg kan lage en liste med linker som den kan gå inn og hente ned denne pdf slik at jeg slipper å gjøre dette manuelt for hver side?

PS! Det er ikke mulig å gå inn på https://ww.test.no, ei heller er det mulig med ftp.

På linux kan man bruke curl for å laste ned pdf:

curl 'https://www.test.no/side2.pdf' --location --output min.pdf

[MrVilla]

linux-fan skrev (3 timer siden):

På linux kan man bruke curl for å laste ned pdf:

curl 'https://www.test.no/side2.pdf' --location --output min.pdf

Mye mulig men da jeg har hundrevis av sider så kunne jeg tenkt meg et program som kan gjøre dette automatisk ut fra en side med linker.

 

Takk for svar!

[NoBo]

Ville ha gjort som @kjetilkl foreslår og brukt nevnte verktøy eller tilsvarende. RegEx - Regular Expressions - som nevnes, gjør at man kan angi eks. https://www.test.no/side[1-300].pdf og få lastet ned alle pdf-er nummerert fra 1 og til 300.

cURL skal også kunne brukes med RegEx for å laste ned flere filer med samme kommando og bruk av nevnte RegEx.

Microsoft PowerShell kan også brukes men hvis du vil unngå scriptverktøy, er en download manager veien å gå.

 

[quantum]

#!/bin/bash

for i in `seq 1 100`;
do
    wget http://www.test.no/page$i.pdf
done 

Her skjer jo ikke akkurat det du ber om siden det lastes ned direkte, og ikke fra en liste som du har laget på forhånd. 

Hvis du lager en liste som nedenfor og lagrer den i en fil kalt liste.txt ...

http://test.no/page1.pdf
http://test.no/page2.pdf
http://test.no/page3.pdf

... så vil dette programmet lese fila og laste ned: 

#!/bin/bash

while read url; do
    wget "$url"
done<liste.txt

Hvis du faktisk ønsker å gjøre det akkurat som du skriver, altså at lista med filer som skal lastes ned skal være en egen webside, så vil wgets --recursive opsjon gjøre susen.

wget --recursive https://test.no/liste-med-linker-til-sider.html

Alternativt kan du bare legge ovenstående fil på en webserver, slik at den er tilgjengelig over http(s), da kan du med en veldig enkel modifikasjon av scriptet over først laste ned lista til lokal disk og så lese den inn i løkka på samme måte som før.

Men aller først må du vel skaffe deg tilgang til de sidene du vil laste ned.

Endret 15. oktober 2020 av quantum