突然想到这个标题,相信很多做正品的站长都想过这个问题,尤其是像我们这样小型的团队,一定程度上完全依赖于SEO的小型外贸零售站,可以说大家都觉得有必要对自己的推广手法采取必要的隐藏,我也分析了一下,一般来说有以下几种原因:
1 外链的资源被对手采集利用(俗话说对手的成长就是自己的下滑)
2 有一些人习惯于在别人链接页面继续“污染”,发布自己的链接(尽管这是一种很傻的行为,但是还是有不少人在做)
3 一些人恶意污染你的页面,比如在你的外链页面发布一些成人图片,明显的垃圾内容(极少但是有)
4 一些群发软件会对你的外链list进行分类,同时导入到群发软件进行污染(比如黑页的外链资源是软件首选目标)
5 一些黑帽链接,本身就不愿意被人发现,首先是怕被对手删除(如黑链),其次是怕被对手Google Spam举报
6 俗话说单纯靠链接起来的站,都不愿意公布他的外链,因为没有人愿意曝光自己的优势面
好了我们再来看看我们的外链数据是怎么公开的吧,大家都知道Site Explorer类型的网站这是最直接的,代表网站有:
Ahrefs
Majestic
Spyglass
Semrush
Dnfight
博主最喜欢的是Majestic,Ahrefs这两种虽然价格都不便宜,但是工具的功能以及数据的准确程度非常让人满意。而且最关键的这些网站都有数据导
出的功能,更加便于使用,尤其是AH还有批量查询域名比较的功能,好了再说就变成软文了,我们继续谈外链的隐藏。很显然这些Site
Explorer的站都是有其独立的抓取蜘蛛,应该与SE的蜘蛛同样的原理,只不过他们更加精通于链接的分析,不过Google的蜘蛛对于链接的分析应该
更加科学以及高效,这点大家也不会不同意吧。应此屏蔽这些Site Explorer site的蜘蛛,理论上就能隐藏掉直接公布的外链:
robots.txt写法方式隐藏:
User-agent: *
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
Rewrite设置方式隐藏:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule .* – [F]
好了据博主所知目前这些蜘蛛还是严格遵守robots协议的,所以这是一个很直接有效的办法。所以我们也不要经常惊叹于“零外链,高排名”的表面现象。我们惊叹之前要看一下robots.txt吧。
或许大家也已经想到了Google的”link:”搜索命令,我们知道这个命令有一种“名存实亡”的感觉吧。有一种说法这个命令只显示高质量的,这
种说法也根本站不住脚,原因很简单:”你去找几个站搜一下就知道”。所以我们不可能去屏蔽Google蜘蛛吧,哈哈。这里要提的是Google
Webmaster Tools里面的外链选项“link to your
site”选项,这里的数据是很全面的,也是对你的流量作用起到直接重要的外链数据,不过这个数据仅仅是对网站管理员公开,也正应为如此有些人在使用非常
规手段获取一些网站的管理员身份后,盗取网站的外链数据。当然遇到这样情况的网站很少。
好了获取外链恐怕只有这些途径了,当然我觉得对于对对手屏蔽外链没有实质的必要,应为好的外链是不怕暴露的,洽洽相反,只有开放的,曝光率高的外链
才会在将来的算法中使你的网站获益更多。当然做FP的或者做小站的,只要网站存活周期相对短暂的网站,在一定程度要有必要屏蔽一些暴露外链的蜘蛛。