Python HTTP數(shù)據(jù)下載

可以使用處理ftp或文件傳輸協(xié)議的python模塊從serer下載數(shù)據(jù)。還可以讀取數(shù)據(jù)，然后將其保存到本地系統(tǒng)。需要安裝模塊ftplib來實(shí)現(xiàn)此目的。

 
# Filename : example.py
# Copyright : 2020 By Codebaoku
# Author by : 
# Date : 2020-08-25
pip install ftplib
 

提取文件

可以使用getfile方法獲取特定文件。此方法將文件的副本從遠(yuǎn)程系統(tǒng)移動到啟動ftp連接的本地系統(tǒng)。

 
# Filename : example.py
# Copyright : 2020 By Codebaoku
# Author by : 
# Date : 2020-08-25
import ftplib
 import sys
 def getFile(ftp, filename):
     try:
         ftp.retrbinary("RETR " + filename ,open(filename, 'wb').write)
     except:
         print "Error"
 ftp = ftplib.FTP("ftp.nluug.nl")
 ftp.login("anonymous", "ftplib-example-1")
 ftp.cwd('/pub/') change directory to /pub/
 getFile(ftp,'README.nluug')
 ftp.quit()
 

當(dāng)運(yùn)行上述程序時，發(fā)現(xiàn)文件README.nlug存在于啟動連接的本地系統(tǒng)中。

讀取數(shù)據(jù)

在以下示例中，使用模塊urllib2讀取數(shù)據(jù)的必需部分，可以將其復(fù)制并保存到本地系統(tǒng)中。當(dāng)我們運(yùn)行上面的程序時，得到以下輸出 ：

 
# Filename : example.py
# Copyright : 2020 By Codebaoku
# Author by : 
# Date : 2020-08-25
import urllib2
 response = urllib2.urlopen('http:///python/spider-test.html')
 html = response.read()
 print html
 

執(zhí)行上面示例代碼，得到類似以下結(jié)果：

 

 
    <meta charset="UTF-8">     <title>python spider </title>  
 
    Hello，I am yapf
    Welcome to Python spider