其抓爬频率每秒几十次甚至高达数百次严重影响网站正常访问，爬虫程序直接毫无节制的疯狂抓爬无视网站性能，甚至导致网站瘫痪。
正常情况下搜索引擎爬虫会根据网站实际访问性能来进行抓取，即动态调整抓爬频率不会导致网站出现异常情况。然而头条搜索使用的爬虫毫无节制的抓爬网站耗费网站的服务器和带宽资源，部分配置较低的网站已经直接瘫痪。也说明人家财大气粗，同时高频这么爬服务器还撑得住，我前公司也爬内容，爬虫频率太高了我们自己服务器都撑不住……
如若转载，请注明出处：https://www.zhangzs.com/356167.html
赞 (0)
打赏
微信扫一扫
微信扫一扫
丁丁
翻译，就是这么简单……
« 上一篇
2019 年 10 月 25 日 15:02
这就看该怎么定义“小女孩”了
下一篇 »
2019 年 10 月 25 日 15:07
