你有没有遇到过这种情形?辛辛劳苦做的网站,内容品德也不错,但百度就是不收录?客岁有个做母婴用品的顾客找我,网站上线半年只收录了3个页面。我打开一看,好家伙,全部首页就是个会转的Flash动画——这玩意儿就是典型的蜘蛛陷阱,直接把搜查引擎的爬虫挡在门外了。
一、蜘蛛陷阱究竟是什么鬼?
浅易来说,蜘蛛陷阱就是给搜查引擎挖的坑。举一个例子,你开个超市,门口放个扭转门。个别人能轻松收支,但送货的推车卡在门口进不去——这一个扭转门就是"陷阱"。在网站里,蜘蛛陷阱会让搜查引擎的爬虫(昵称"蜘蛛")要么卡死,要么白手而归。
最常见的三种陷阱:
- 动态网址:带问号和等号的链接,比如说"http://www.xxx.com/id=123",蜘蛛看到这种地址就头疼,容易迷路
- 强制登录:要求注册才可能看内容,就像超市非要开销者办会员卡才让进门,蜘蛛可不会填注册表
- 无限循环:某些网页打算让蜘蛛进去就出不来,比如说万年历页面点"下个月"永远有新内容,蜘蛛被困到死机
二、这些陷阱有多害怕?
客岁有个做装修的网站,把商品详情页都做成Flash展现。终局百度收录量从500多页暴跌到20页,老板急得差点转行。厥后咱们把Flash换成图文先容,三个月就重回忆页。
这里尚有个对比表格,看一看陷阱的杀伤力:
| 陷阱范例 | 收录下降幅度 | 规复时间 |
|---|---|---|
| 全站Flash | 90% | 3-6个月 |
| 动态URL过多 | 50% | 1-3个月 |
| 强制Cookies | 70% | 需技巧整改 |
| 跳转设置错误 | 30% | 2周 |
三、怎么避开这些坑?
第一步:检讨你的网站有没有这些症状
- 网址里带"","="等符号(动态URL忠告!)
- 必须登录才可能查看重要内容
- 用了大量JS脚本做导航
- 首页是个会动的Flash大图
第二步:记着三要三不要
要:
- 用静态或伪静态网址(比如说"http://www.xxx.com/news/123.html")
- 重要内容直接开放访问
- 用CSS代替JS做导航特效
不要:
- 搞自动跳转(消除301永恒跳转)
- 强制网民启用Cookies
- 把重要内容放在框架网页里
有个取巧的办法:用百度搜查资源平台的"抓取诊断"功能,模拟蜘蛛看一看它能抓到啥。
四、新手最常踩的雷区
"我显明天天更新文章,为啥收录仍是上不去?"上周尚有个做茶叶批发的老板这么问我。一看后盾,好嘛,文章页要加载5个弹窗广告,蜘蛛刚爬进来就被弹晕了。
这种症结切实很好化解:
- 关闭不必要的弹窗
- 给图片加上笔墨说明(alt标签)
- 保证手机端打开不卡顿
- 每周用Xenu查死链(超过10条就要小心)
小编观点
干了八年网站优化,最大的心得就是:别把搜查引擎当傻子。当初百度算法越来越聪明,客岁推出的"惊雷算法"专门打击跳转诈骗。与其费经心理绕开蜘蛛陷阱,不如老老实实做好三件事:
- 内容真正化解网民症结(比如说把"本公司优势"改成"装修避坑指南")
- 网站架构像超市货架一样清晰
- 重要页面离首页不超过3次点击
记着,蜘蛛陷阱防得住一时,防不了一世。与其终日胆战心惊,不如把精神花在创作优质内容上——这才算是永远不掉排名的终极武器。







