Python编程之数据爬虫抓取 下篇

def print_all_links(page):
    while True:
          url, endpos = get_next_target(page)
          if url:
                print url
                page = page[endpos:]
          else:
                break

def get_all_links(page):
    links = []
    while True:
          url, endpos = get_next_target(page)
          if url:
             print url (strikthrough)
             page = page[endpos:]
          else:
                break

• 抓取网页 Crawl Web

要启动crawl_web过程，需要提供tocrawl和crawl的初始值：

def crawl_web(seed):
    tocrawl = [seed] - initialize this variable
    crawl = []       - initialize this variable

• 抓取网络循环the Web Loop

下一步是写一个循环来进行抓取，只要有页面可以抓取，你就会继续前进。要做到这一点，你将使用一个 while 循环，以 tocrawl 作为测试条件。你可以使用 len(tocraw) == 0 来测试列表是否为空。还有一种更简单的方法，就是只用tocrawl来写。一个空列表（一个没有元素的列表）被解释为false，而每一个非空列表被解释为true。

在循环里面，我们需要选择一个页面来抓取。对于这个测验，你的目标是找出一个好的方法来完成这个任务。有很多方法可以做到这一点，但利用我们在本单元学到的东西，你可以用一行代码来实现，它既可以将页面初始化为我们要抓取的下一个页面，也可以将该页面从tocrawl列表中删除。

最好的方法是使用pop。pop是我们见过的唯一一个真正从列表中删除元素，并且还具有返回该元素的属性的东西。如果我们使用tocrawl.pop()，就会得到tocrawl列表中的最后一个元素，将该元素从列表tocrawl中删除，并将其赋值给变量page。

def crawl_web(seed):
    tocrawl = [seed]
    crawled = []
    while tocrawl:
        page = tocrawl.pop()

因为我们首先得到的是最后一个元素，所以我们实现的是所谓的深度优先搜索depth-first-search。这意味着当我们抓取网页时，我们将查看网页链中每个页面的第一个链接，直到我们到达终点。只有这样，我们才会开始查看第一页的第二个链接以及后续的每一页。如果我们的目标是快速获得一个好的网络语料库，那么做深度优先搜索可能不是最好的方式。如果我们完成搜索，无论按照什么顺序，我们都会找到同一组网页。如果我们不能够完成搜索，而对于真正的网络爬虫来说，有太多的网页要等到我们把它们全部抓取后才能返回结果，那么我们查看网页的顺序就很重要了。

• 抓取 If

下一步是管理链接中的循环问题。我们不想抓取已经抓取过的页面，所以我们需要的是测试页面是否被抓取的方法。

为了做出这样的决定，我们使用if。我们需要一个if的测试条件，只有在页面没有被抓取过的情况下，才会做我们抓取页面的事情。

我们应该只抓取还没有抓取的页面。crawled变量会跟踪我们已经抓取的页面。所以，我们要测试这个页面是否没有在抓取中。如果它的页面不在crawled中，那么我们就抓取。如果是，那么我们继续前进。在这个迭代中，我们在while循环中不做其他事情，继续检查下一个页面。

def crawl_web(seed):
    tocrawl = [seed]
    crawled = []
    while tocrawl:
          page = tocrawl.pop()
          if page not in crawled: 
          ...

• 完成抓取网页

现在你已经准备好完成我们的爬虫的编写了。写两行代码来更新tocrawl的值，以反映页面上发现的所有新链接，并更新crawled的值，以跟踪已被抓取的页面。

首先，我们需要将我们在一个页面上找到的所有链接添加到页面上，我们可以使用本单元前面一个测验中的联合过程来完成。使用append，我们可以跟踪我们已经抓取的页面。

def crawl_web(seed):
    tocrawl = [seed]
    crawled = []
    while tocrawl:
          page = tocrawl.pop()
          if page not in crawled:
              union (tocrawl, get_all_links(get_page(page)))
              crawled.append(page) 
    return crawled