Python学习笔记之简单爬虫

　　现阶段我们利用urllib模块，去做最简单的爬虫，因为比较简单，所以直接看代码就行。主要知识就是通过urllib模块的各个函数加上正则表达式去完成。
 

1. #encoding:utf-8 
2.  
3. import re 
4. import urllib 
5.  
6. #利用urllib的urlopen（）函数打开一个url地址 
7. #并读取所有的html代码， 
8. def gethtml(url): 
9.     content=urllib.urlopen(url) 
10.     html=content.read() 
11.     return html 
12.  
13.  
14. #根据正则表达式去匹配符合规则的内容 
15. def geturls(html): 
16.     r=r'data-src="(http://.*?)"' 
17.     alllist=re.findall(r,html) 
18.     return alllist 
19.  
20. #利用urlretrieve（）下载文件 
21. def download(list): 
22.     x=0 
23.     for li in list: 
24.         x=x+1 
25.         urllib.urlretrieve(li,"%s.jpg"%x) 
26.  
27. if  __name__ == '__main__': 
28.     #内涵段子 
29.     url = "http://neihanshequ.com/pic/" 
30.     #获取网页源码 
31.     html = gethtml(url) 
32.     #根据一定规则过滤出想要的内容 
33.     list = geturls(html) 
34.     #下载图片 
35.     download(list) 
36.  
37.     print list