分享Google SEO的一个小经验:Robots屏掉之后Google依然会抓取

时间:12-07-10 栏目:SEO优化 作者:kyle 评论:1 点击: 5,469 次

成都SEO小五曾经一度认为Robots.txt屏掉蜘蛛之后,百度和Google只会抓取robots.txt分析之后,不会再对页面内容进行抓取和分析。

看下面的服务器日志记录说明

1

具体的太不好截图了。我只说以下几个观察结果正式换官方域名之后

第一天:Google立即开始抓Robots.txt文件。百度来首页看了就退了。

第二天:Google图片蜘蛛抓了20个左右的图,Google开始抓文章,百度没来。

第三天:Google图片蜘蛛抓图翻倍,Google抓文章翻倍,百度来抓了一个图

第四天:Google图片抓取稳定,文章抓取稳定,网站修改一些代码。Google抓取速度和频率下降。百度图片蜘蛛抓到10多个图

第五天-网站上线解除蜘蛛当天:Google图片抓取稳定,文章抓取稳定,问答有社会化的性能,抓取比文章好。百度依然只抓图。

搜索结果中Google和百度依然没有。

第N天:网站上线后一天:Google抓取增加不少,Alexa来抓了10多个页,百度开始抓取一些页面。

 

个人拙见:Google会抓取页面进后台进行处理分析。而百度是比较自觉的。

图片蜘蛛比文章蜘蛛更快。

手上的工具不行。得找个更细化分析的工具。感觉有些东西不是很准确。

还要说明一个悲剧的事。网站上线时间正好是百度大K的22号前1天。

个人觉得这对网站有一定的影响,加上刚开始几天修改页面比较多。而且反复改了几次标题。

最后形成网站被K也是意料之中的事。

后面我把工具升级一下做个更完整的分析出来。

成都SEO小五嚎2句: 本文是(成都SEO小五)辛苦弄出来的,转载成都SEO小五原创的请保留链接: 分享Google SEO的一个小经验:Robots屏掉之后Google依然会抓取,3Q

分享Google SEO的一个小经验:Robots屏掉之后Google依然会抓取:目前有1 条留言,牛逼吧!

  1. 沙发
    vpn uk:

    伟大的职位!感谢分享!

    2012-07-12 2:21 pm [回复]

来给哥评论评论


------====== 小五公告 ======------
成都SEO小五,专注成都搜索引擎优化。
小五善长站内外优化,C#、PHP开发,中英文SEO,Google中英文和百度优化技术。欢迎群内交流。伸手党请绕路,求资源的请绕开,求问题解答的请进群内交流。开放了一个QQ交流群:160750032。加入验证时请标注任何SEO相交字眼。友情链接直接Q我,收录正常,内容大部份原创、SEO或者程序开发、网络营销、线上推广等相关行业即可。

常用工具

赞助广告

来看过哥的人