当我们需要在互联网上搜索一些信息时，往往会选择使用搜索引擎来获取更加准确和丰富的信息。Google搜索引擎是全球最大的搜索引擎之一，拥有着极其庞大的数据库和算法，可以根据关键词搜索出大量的相关信息。但是，当我们需要采集搜索结果中的URL时，手动复制粘贴会非常繁琐。因此，本文将介绍如何使用Python编写爬虫程序，自动爬取Google搜索结果中的URL。注意:谷歌爬取是要代理。

　　前置条件

　　在开始编写爬虫程序之前，需要确保已经安装了Python编程环境和一些必要的Python库，比如requests、re等。可以使用pip命令来安装这些库。

　　爬虫程序的实现

　　首先，我们需要设置请求头信息和搜索关键词。在实际爬取时，应该将搜索关键词替换为需要搜索的具体内容。

　　import requests
　　import re

　　设置headers

　　headers = {
　　'User-Agent': '********'}

　　设置搜索关键词  这里建议采用谷歌语法查询

　　keyword = "***"

　　接着，我们使用requests库发送HTTP GET请求，获取Google搜索结果的HTML页面。由于Google搜索的结果通常会分为多个页面，因此我们需要对每一页的结果进行爬取。这里我们以每页显示10个结果为例，共爬取10页的搜索结果。在爬取过程中，我们使用正则表达式匹配出HTML页面中所有的URL链接。

　　爬取搜索引擎的结果

　　urls = []
　　for page in range(0, 101, 10):
　　url = "www.google.com/search?q={}…, page)
　　r = requests.get(url, headers=headers)
　　# 使用正则表达式匹配所有url
　　urls += re.findall('href="(https?://.*?)"', r.text)

　　最后，我们将爬取到的所有URL链接进行去重，并将结果保存到本地文件中。这样就完成了整个爬虫程序的实现。

　　去重

　　urls = list(set(urls))

　　将url保存到文件

　　with open('urls.txt', 'w') as f:
　　for url in urls:
　　f.write(url + '\n')

　　代码汇总

　　import requests
　　import re
　　# 设置headers
　　headers = {
　　    'User-Agent': '****'}
　　# 设置搜索关键词 
　　keyword = "***"
　　# 爬取搜索引擎的结果
　　urls = []
　　for page in range(0, 101, 10):
　　    url = "https://www.google.com/search?q={}&start={}".format(keyword, page)
　　    r = requests.get(url, headers=headers)
　　    # 使用正则表达式匹配所有url
　　    urls += re.findall('href="(https?://.*?)"', r.text)
　　# 去重
　　urls = list(set(urls))
　　# 将url保存到文件
　　with open('urls.txt', 'w') as f:
　　    for url in urls:
　　        f.write(url + '\n')

　　总结

　　本文介绍了如何使用Python编写爬虫程序，自动爬取Google搜索结果中的URL。通过这种方法，我们可以快速地采集大量的URL链接，为后续的数据分析和挖掘提供更加丰富的数据来源。在实际爬取时，还需要注意一些反爬虫措施。

作者：mss    

来源：http://www.51testing.com/html/02/n-7795902.html