国产精品成人VA在线观看,亚洲日韩在线中文字幕综合,亚洲AV电影天堂男人的天堂,久久人人爽人人爽人人av东京热

News新聞

業(yè)界新聞動態(tài)、技術(shù)前沿
Who are we?

您的位置:首頁      JS/JQ/AJAX      python小技巧之批量抓取美女圖片

python小技巧之批量抓取美女圖片

標(biāo)簽: 發(fā)布日期:2014-06-06 00:00:00 702
學(xué)了python以后,知道python的抓取功能其實(shí)是非常強(qiáng)大的,當(dāng)然不能浪費(fèi),呵呵。我平時很喜歡美女圖,呵呵,程序員很苦悶的,看看美女,養(yǎng)養(yǎng)眼,增加點(diǎn)樂趣。好,那就用python寫一個美女圖自動抓取程序吧~~
 
 
 

其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼:

[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容
import urllib,urllib2,gevent
#引入正則表達(dá)式模塊,時間模塊
import re,time
from gevent import monkey

monkey.patch_all()

def geturllist(url):
    url_list=[]
    print url       
    s = urllib2.urlopen(url)
    text = s.read()
    #正則匹配,匹配其中的圖片
    html = re.search(r'<ol.*</ol>', text, re.S)
    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
    for i in urls:
        url=i.group(1).strip()+str("jpg")
        url_list.append(url)
    return url_list

def download(down_url):
    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
    print name
    urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

def getpageurl():
    page_list = []
    #進(jìn)行列表頁循環(huán)
    for page in range(1,700):
        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
        #把生成的url加入到page_list中
        page_list.append(url)
    print page_list
    return page_list
if __name__ == '__main__':
    jobs = []
    pageurl = getpageurl()[::-1]
    #進(jìn)行圖片下載
    for i in pageurl:
        for (downurl) in geturllist(i):
            jobs.append(gevent.spawn(download, downurl))
    gevent.joinall(jobs)
[/code]

程序不長才45行,不是太難,大家可以研究下,這里我只是拋磚引玉,大家可以根據(jù)原理開發(fā)出其他的抓取程序,呵呵,自己想去吧。。。我就不多說了~~