抓取某网站所有URL

时间:12-10-07 栏目:SEO工具 作者:kyle 评论:1 点击: 6,513 次

抓取自己或者别人网站的所有URL。在某些情况下是非常有用的。

比如我要把我三方博客的所有文章拿去Ping一下,不知道所有的URL,比如我要偷他的文章页面的URL去刮对方的评论,比如我要拿对方的页面来搞个神马坏事之类的,就非常好用了。

我来说下有几种方法:

1、通过搜索引擎的inurl:***.com抽出所有的URL,但是要过滤一次,不然不准确。而且只能抓取收录的页面,没有收录的页面是抓取不到的。

2、通过我下面说的这个办法。

方法一之装逼版:首先要准备几个工具,一个Xenu。一个正则表达式测试工具,下载地址是:

http://deerchao.net/tools/regex_tester/index.htm

然后,用Xenu给网站扒一次。取出所有图片JS,CSS和HTML链接。导出来,再用正则抽出链接,保存出来就来了。

测试之后,发现完整保存,爽。

1

如果熟练的话,操作也是非常快的。而且可以把所有链接抽出来。

方法一之高手版:只上一张图就行了。不解释了。

2

 

其实做SEO,手上称手的工具不会太多。但是每个工具都可以发挥它牛X的作用。才是最重要的。

合理使用自己的工具,大多情况都可以合理解决。国庆假期结束了,成都SEO小五,也要开始继续工作了。加油赚钱哦。。。

成都SEO小五嚎2句: 本文是(成都SEO小五)辛苦弄出来的,转载成都SEO小五原创的请保留链接: 抓取某网站所有URL,3Q

抓取某网站所有URL:目前有1 条留言,牛逼吧!

  1. 沙发
    四川SEO:

    博主文章不错,四川SEO http://www.seo028.net/能不能挂一个友情链接?

    2012-10-08 12:23 am [回复]

来给哥评论评论


------====== 小五公告 ======------
成都SEO小五,专注成都搜索引擎优化。
小五善长站内外优化,C#、PHP开发,中英文SEO,Google中英文和百度优化技术。欢迎群内交流。伸手党请绕路,求资源的请绕开,求问题解答的请进群内交流。开放了一个QQ交流群:160750032。加入验证时请标注任何SEO相交字眼。友情链接直接Q我,收录正常,内容大部份原创、SEO或者程序开发、网络营销、线上推广等相关行业即可。

常用工具

赞助广告

来看过哥的人