批量检测被百度收录的死链的方法

admin3年前网站建设26

前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。

现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?

在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。

自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。

不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。

下面教程开始

先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。

我们先用这个工具查询所有被收录的页面。

打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn换成你的网址)

baidu/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn

等待检测完成。

点击导出为制表符分隔的文件。

导出的文件,我们可以看到格式是:网址+空格+状态码

那么写一个正则,把需要的网址提取出来就行,比如baidu下的404页面就是

/http:\/\/baidu(.*?)\s404/i

(以baidu开头,\s代表空格,404,/i代表匹配大小写)

不会正则怎么办?

为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。

head怎么改,举个例子,

你的网站是baidu/abc,那么你就写baidu/

你的网站是abc.baidu.com/abc,那么你就写abc.baidu.com/

把正则写入php,在php环境下运行get.php。那么结果就出来了。

这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。

我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。

这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。

把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。

原创:blog.vg欢迎来小博逛逛


免责声明:本文内容来自用户上传并发布,站点仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请核实广告和内容真实性,谨慎使用。

相关文章

SEO新人需警惕的“地雷区”

大学毕业之后没多久,我就从事网站方面的工作,担任网络编辑一职。随着我所在网站的迅速发展,它逐渐开设了各类频道,比如新闻、娱乐、体育等。因为我自己对体育很感兴趣,所以领导便让我负责体育频道。 一个刚工作...

如何发外链不会被删技巧

说起发外链的工作,估计只要做SEO的没有谁敢说自己没发过,因为外链建设是网站外部优化的一个非常重要的环节,外链发布的质量直接影响着咱们SEO工作的进展。和所有的伙伴们一样,本人最开始接触这个行业也是从...

简要分析个性域名对网站SEO优化的影响

域名可谓是网站的门牌,用户进入网站会并会设法记住网站域名,越个性的域名对用户来说印象会越深刻,网站的内容、流量和用户体验跟域名紧密相连着,个性的域名对seo优化存在的影响是巨大的。个性域名网站的品牌建...

你要做的是消化而不是不断参加培训

说到培训,可能大家都参加过各种各样的培训。音乐有音乐的培训,还有各种技能培训。有贵的,有便宜的,也有免费的。我也参加过N多培训,从2012年初参加某WP模板制作培训开始直到现在。前前后后也花了不少钱!...

透过卢松松博客的图片收录窥探百度图片收录规则

我相信大部分站长都懂得在输入:site:我们的域名,来查看我们的文章被搜索引擎收录的数量,但是应该有很大一部分人知道我们也可以通过相同的命 令在百度图片(image.baidu.com/)中查看我们的...

说说我心目中的SEO专家

上次写的“SEO伪专家”一文,文章反映很强烈。也许文章说大家心坎里去了!这几年SEO培训太多,站长们也开始厌倦那些SEO伪专家滔滔不绝大道理。很多深受其害朋友加我的QQ!倒苦水...