反制爬虫利器:基于机器学习的网站恶劣采集算法识别与处理大型网站和目录网站。
从上述例子可以看出,这几个站的算法是一致的,如:
1、特征域名大量采集
基于人工识别的网站恶劣采集算法需要对此类站进行剔除。
具体算法说明如下:
1、判断搜索引擎在满足一定标准后的情况下,对站点进行过滤
2、判断采集内容与受众阅读行为的吻合度
3、识别抓取网站的链接属性和指向属性
4、判断对搜索引擎友好的网站的层级
5、为采集的页面提供加权的返回通道
6、判断采集内容是不是被直接屏蔽
7、判断采集内容是不是是由平台本身抓取
8、判断采集内容是不是是百度
9、是不是被延迟收录
10、判断采集内容的有效性
在飓风算法发布前,百度已经明确表示将对采集站进行降权。这就意味着之前的大量采集站被归入低质站点行列,搜索引擎认为采集站降权是在打击之下,更加多的是试图抢占高质量文案。
我们希望尽可能让搜索引擎在众多恶劣采集站中找到优质的内容,索引库的作用是让搜索引擎知道自己网站上的内容是不是真正的原创。
因此,当我们试图构建一个采集站的时候,需要保证采集站的质量可以满足一定条件,优质内容是爬虫和受众的最爱,亦是我们获取信息的主要来源。
我们在构建采集站的时候,要留意:
1、明确采集站和我们自己的网站是不是相关。
2、选择采集站点的主题,重点考察。
3、参考相关采集站点的数据,评估对方站点的内容是不是是原创。
4、需要提供内容源站点的数据。
5、采集站的URL需要对应到相应的页面,可恰当地用百度站长平台的链接提交工具进行提交。
亦就是说,我们在构建采集站的时候,可将一些没有价值的页面及时的向百度提供。
9、robots.txt屏蔽搜索引擎抓取。
10、给采集站加标签。
11、禁止使用群发软件将其加入过滤行列。
任何平台网站,当我们在构建采集站的时候,需要清楚一点:我们的采集站并不能简单地使用采集来提高网站的价值,它一定是基于一定的目标和受众群,针对特定的群体进行特定的关键词优化,要我们的就是这一个在建站之前就做好足够的准备,以方便于后续的运营优化。
