Grimoire-Command.es

GNU+Linux command memo

Memo_9 : Récupération sur le web

D’après l’édition 11 des travaux d’Alain Leaper, 2018-04-10
Licence GPL

1. curl : récupération sur le web

1.1. Option : -O

Placer les données reçues dans un fichier portant le même nom que la source (le chemin n’est pas pris en compte).

curl -O http://www.unsite.com/nom.iso (1)
1 nom.iso sera placé dans le répertoire courant

Exemple réel :

curl -O http://slackware.org.uk/slackware/slackware-13.1-iso/slackware-13.1-install-dvd.iso
% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                             Dload  Upload   Total   Spent    Left  Speed
0 4118M    0 8088k    0     0   246k      0  4:44:46  0:00:32  4:44:14  251k$

1.2. Option : -C -

À utiliser en cas de coupure, pour éviter un rechargement complet.

curl -C - -L -O http://www.unsite.com/nom.iso (1)
1 Si l’option -L est absente on ne suis pas les redirections, mais on les télécharge.
curl -C - -L -O http://cdimage.debian.org/debian-cd/6.0.3/i386/iso-cd/debian-6.0.3-i386-CD-1.iso

2. wget

wget http://www.unsite.com/nom.iso

3. doc_crawler.py

doc_crawler.py --download-file http://a.com/file.txt

4. md5sum : vérification de l’intégrité d’un fichier

md5sum nomFichier (1)
1 Affiche la somme de contrôle à l’écran. C’est pas ce qu’il y a de plus utile !

4.1. Redirection vers un fichier de contrôle

md5sum nomFichier > fichCtrl (1)
1 Ce fichier (fichCtrl) contient la checkcsum suivie du nom du fichier qui l’a générée c’est évidemment la même chose qu’à l’écran, mais c’est plus commode pour la vérification.

4.2. Vérification d’un fichier à partir du fichier de contrôle créé précédemment

md5sum -w -c fichCtrl
nomFichier : OK (1)
1 Si c’est bien le cas

4.3. Utilisation lors d’un téléchargement

En plus du fichier à télécharger, les sites donnent en général un fichier de même nom avec une extension '.md5'. Celui-ci est utilisable en tant que fichier de contôle, avec la commande :

md5sum -w -c xxxxx.md5

5. sha1sum : autre vérification de l’intégrité d’un fichier

À nouveau :

sha1sum nomFichier

sha256sum et sha512sum s’utilisent de la même manière.