分布式爬虫什么意思

分布式爬虫是指在多个计算机上部署爬虫程序，共享队列，去重，让多个爬虫不爬取其他爬虫爬取过的内容，从而实现实现联合采集，是一种提高爬取效率的方法。

相对应的就是单机爬虫，单机爬虫是指只在一台服务器上部署爬虫程序，单机爬虫是使用本地电脑发出http请求，是一种反爬策略，可以突破ip限制。