[干货下载]精通Python网络爬虫核心技术、框架与项目实战：https://pan.baidu.com/s/1slZCuD3#list/path=%2F
网盘内容如下：
精通Python网络爬虫源码.rar
精通Python网络爬虫核心技术、框架与项目实战,韦玮.pdf
前言
第一篇理论基础篇
第1章什么是网络爬虫 ……….3
1.1初识网络爬虫 …………..3
1.2为什么 要学网络爬虫………4
1.3网络爬虫的组成
1.4 网络爬虫的类型…………5
1.5爬虫扩展一聚焦爬 虫……..6
1.6 小结…………………..8
第2章网络爬虫技能总览 …….9
2.1。网络爬虫技能总览图……9
2.2搜索引擎核心 ………….10
2.3用户 爬虫的那些事儿……..11
2.4小结……………………………………12
第二篇核心技术篇
第3章网络爬虫实现原理与实现技术……… 15
3.1网络爬虫实现原理详解 ……… 15
3.2爬行策略……………….17
3.3网页 更新策略…………..18
3.4网页分析算法 …………..20
3.5身份识别……………….21
3.6网络爬虫实现技术………..21
3.7实例一metaseeker ……….22
3.8小结…………………..27
第1章Cuptcr1 ;
什么是网络爬虫?
随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是
海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，
而爬虫技术就是为了解决这些问题而生的。我们感兴趣的信息分为不同的类型:如果只是做
搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页;如果要获取某- -垂直领
域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需求所定位的这
些信息，此时，需要过滤掉一- 些无用信息。前者我们称为通用网络爬虫，后者我们称为聚焦
网络爬虫。
1.1初识网络爬虫
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当
然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用
Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。
搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫作百度蜘蛛( Baiduspider)。百度蜘
蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上
检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一
定的排名规则进行排序并将结果展现给用户。在这个过程中，百度蜘蛛起到了至关重要的作
用。那么，如何覆盖互联网中更多的优质网页?又如何筛选这些重复的页面?这些都是由百
度蜘蛛爬虫的算法决定的。采用不同的算法，爬虫的运行效率会不同，爬取结果也会有所差
异。所以，我们在研究爬虫的时候，不仅要了解爬虫如何实现，还需要知道一- 些常见爬虫的
算法，如果有必要，我们还需要自已去制定相应的算法，这些在后面都会为大家详细地讲
解，在此，我们仅需要对爬虫的概念有一个基本的了解。
除了百度搜索引擎离不开爬虫以外，其他搜索引擎也离不开爬虫，它们也拥有自己的爬
虫。比如360的爬虫叫360Spider,搜狗的爬虫叫Sogouspider,必应的爬中叫Bingbot。
如果想自己实现一款小型的搜索引擎，我们也可以编写出自己的爬虫去实现，当然，虽
然可能在性能或者算法上比不上主流的搜索引擎，但是个性化的程度会非常高，并且也有利
于我们更深层次地理解搜索引擎内部的工作原理。
大数据时代也离不开爬虫， 比如在进行大数据分析或数据挖掘时，我们可以去一些比较
大型的官方站点下载数据源。但这些数据源比较有限，那么如何才能获取更多更高质量的数
据源呢?此时，我们可以编写自己的爬虫程序，从互联网中进行数据信息的获取。所以在未
来，爬虫的地位会越来越重要。