还不赶快来体验！！！

        王小船深以为然，“是啊，大数据的处理。百度和谷歌的差距，微点和百度的差距，最主要的就是体现在我们在数据处理时的效率问题。按理来说，通过爬虫技术，可以抓取到互联网上所有信息。可相关信息太多了，数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来，是搜索引擎最大的技术难题。”

        周不器打了个响指，笑道：“巧了，我这次过来，就是想问问你爬虫的事。”

        王小船有些费解。

        周大老板这个技术外行，怎么还关心起技术细节来了？

        就缓缓的解释道：“爬虫是搜索的基础工具，爬虫搜信息……嗯，就跟使用浏览器上网差不多，都是先向服务器发送请求，获得返回的页面，然后筛选出有价值的内容。如果时间足够长计算量足够大，使用爬虫工具，就可以把互联网上的所有信息都搜索一遍。”

        见周大老板似乎很感兴趣的样子。

        王小船就拿过纸笔，很快速的写下了一行代码，“假如说我们要爬取微知网的信息，用这行代码就可以实现了。”

        周不器拿过代码一看，嗯，是很简单。

        headers={‘use-agent’:‘chaiknowsthebot’，}

        r=requests.gets“

        内容未完，下一页继续阅读