curlコマンドとwgetコマンドのメモ書きです。

[root@colinux tmp]# wget http://variable.jp
URLにアクセスしてHTMLをファイルに保存

[root@colinux tmp]# curl http://variable.jp
URLにアクセスしてHTMLを表示
——————————————————————————————–

[root@colinux wget]# wget http://variable.jp/wp-content/themes/cloudy/VARIABLE.J
P.jpg
–15:39:37– http://variable.jp/wp-content/themes/cloudy/VARIABLE.JP.jpg
=> `VARIABLE.JP.jpg.1′
Resolving variable.jp… 59.106.12.216
Connecting to variable.jp|59.106.12.216|:80… connected.
HTTP request sent, awaiting response… 200 OK
Length: 2,873 (2.8K) [image/jpeg]

100%[====================================>] 2,873 –.–K/s

15:39:37 (561.13 KB/s) – `VARIABLE.JP.jpg.1′ saved [2873/2873]

[root@colinux wget]#

ファイルに保存するには「 -O 」オプション
[root@colinux curl]# curl -O http://variable.jp/wp-content/themes/cloudy/VARIABL
E.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 12491 0 –:–:– –:–:– –:–:– 10550
[root@colinux curl]# ls
VARIABLE.JP.jpg
[root@colinux curl]#

または

[root@colinux curl]# curl –remote-name http://variable.jp/wp-content/themes/clo
udy/VARIABLE.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 10640 0 –:–:– –:–:– –:–:– 1787
[root@colinux curl]# ls
VARIABLE.JP.jpg
[root@colinux curl]#

[root@colinux curl]# curl -O “http://variable.jp/wp-content/uploads/2009/01/s{1,
2}.jpg”

[1/2]: http://variable.jp/wp-content/uploads/2009/01/s1.jpg –> s1.jpg
–_curl_–http://variable.jp/wp-content/uploads/2009/01/s1.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 278 0 278 0 0 1263 0 –:–:– –:–:– –:–:– 0

[2/2]: http://variable.jp/wp-content/uploads/2009/01/s2.jpg –> s2.jpg
–_curl_–http://variable.jp/wp-content/uploads/2009/01/s2.jpg
100 278 0 278 0 0 27800 0 –:–:– –:–:– –:–:– 27800
[root@colinux curl]#

——————————————————————————————–

[root@colinux curl]# curl -o logo1.jpg http://variable.jp/wp-content/themes/clou
dy/VARIABLE.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 14364 0 –:–:– –:–:– –:–:– 11253
[root@colinux curl]# ls -l
total 4
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo1.jpg
[root@colinux curl]# curl -o logo2.jpg http://variable.jp/wp-content/themes/clou
dy/VARIABLE.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 13058 0 –:–:– –:–:– –:–:– 9929
[root@colinux curl]# ls -l
total 8
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo1.jpg
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo2.jpg
[root@colinux curl]# curl -o logo3.jpg http://variable.jp/wp-content/themes/clou
dy/VARIABLE.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 14364 0 –:–:– –:–:– –:–:– 10550
[root@colinux curl]#

——————————————————————————————–

[root@colinux curl]# ls -l
total 12
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo1.jpg
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo2.jpg
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo3.jpg
[root@colinux curl]# curl -R -o logo4.jpg http://variable.jp/wp-content/themes/c
loudy/VARIABLE.JP.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2873 100 2873 0 0 13680 0 –:–:– –:–:– –:–:– 11253
[root@colinux curl]# ls -l
total 16
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo1.jpg
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo2.jpg
-rw-r–r– 1 root root 2873 2009-01-29 15:54 logo3.jpg

    -rw-r–r– 1 root root 2873 2008-12-31 09:55 logo4.jpg

[root@colinux curl]#

※ -R はタイムスタンプを保持
——————————————————————————————–

[root@colinux curl]# curl http://www.google.com/

302 Moved

302 Moved


The document has moved
here.

[root@colinux curl]# curl -L http://www.google.com/

※ -L はリダイレクトに対応。

——————————————————————————————–

リファラー指定 -e
[root@colinux curl]# curl -e http://variable.jp/ http://reconfirm.jp/

ユーザエージェントの変更 -A
[root@colinux curl]# curl -A curlAgent http://variable.jp/

HTTPのヘッダーの変更 -H
フォームの送信 -d
フォームでのファイルアップロード(POST) -F
ファイルのアップロード -T
最大転送時間制限 -m
[root@colinux curl]# curl -m 60 http://variable.jp/
最大接続時間制限 –connect-timeout

[root@colinux curl]# curl -# -O http://variable.jp/wp-content/themes/cloudy/VARI
ABLE.JP.jpg
######################################################################## 100.0%
[root@colinux curl]#

[root@colinux curl]# curl -I http://variable.jp/
HTTP/1.1 200 OK
Date: Thu, 29 Jan 2009 21:25:53 GMT
Server: Apache
X-Powered-By: PHP/4.4.9
X-Pingback: http://variable.jp/xmlrpc.php
Content-Type: text/html; charset=UTF-8

※ vオプションを利用すると、サーバレスポンスを見ることが出来ます。
[root@colinux curl]# curl -vIL http://variable.jp/
* Trying 59.106.12.216… connected
* Connected to variable.jp (59.106.12.216) port 80 (#0)
> HEAD / HTTP/1.1
> User-Agent: curl/7.16.4 (i386-redhat-linux-gnu) libcurl/7.16.4 OpenSSL/0.9.8b
zlib/1.2.3 libidn/0.6.8
> Host: variable.jp
> Accept: */*
>
< HTTP/1.1 200 OK HTTP/1.1 200 OK < Date: Thu, 29 Jan 2009 21:26:53 GMT Date: Thu, 29 Jan 2009 21:26:53 GMT < Server: Apache Server: Apache < X-Powered-By: PHP/4.4.9 X-Powered-By: PHP/4.4.9 < X-Pingback: http://variable.jp/xmlrpc.php X-Pingback: http://variable.jp/xmlrpc.php < Content-Type: text/html; charset=UTF-8 Content-Type: text/html; charset=UTF-8 * no chunk, no close, no size. Assume close to signal end < * Closing connection #0 その他にも色々なオプションがあるので便利ですね。 --helpで調べて見ましょう。 ※WGETやCURLでアクセス wget_curl

curl-o

curl-h

Comments are closed.

Post Navigation