anytao.net | 《你必须知道的.NET》网站 | Anytao技术博客
发布日期:2009.12.29 作者:Anytao
© 2009 Anytao.com ,Anytao原创作品,转贴请注明作者和出处。
开发期部署的应用程序,也会被神通广大的Google爬到,很多时候我们可能不情愿应用待价而沽,过早的暴露在世人的面前,所以得想办法告诉Google:老兄,我现在还不想被你搞,以后再说吧。那么,怎么告诉Google及其兄弟姐妹(Yahoo、Baidu、Live and so on)呢?
显然我们要了解一点简单的知识,有文化才能有作为,这年头的哲学呀。
答案是:为应用程序添加搜索引擎访问和索引控制。
一般而言,有两种方式(可能还有其他方式,您不妨告诉我):
- 使用robots.txt
- 添加Robots Meta Tag标签
下面我们分别来看看,到底是怎么回事儿?
robots.txt
简单的说,robots.txt就是一个标准,用于Web站点控制搜索引擎如何访问其站点信息。其可控制的方式也是多种多样,通常robots.txt对于搜索的控制也分为几个层次:
关于robots.txt还有很多的信息值得我们探讨,本文是无能为力了,仅仅给出一些参考:
Robots Meta Tag
在用户无法Upload或者Control robots.txt时,Robots Meta Tag提供了我们控制搜索引擎的另一种方式。例如:
设置Page不被搜索引擎索引:
<meta name="robots" content="noindex">
设置搜索引擎不Follow Page的链接:
<meta name="robots" content="nofollow">
注意,如果不想让Google索引您的目标页面,那么添加onindex是必要的,因为单纯的nofollow,还是会让Google读取页面的链接和URL信息,所以通常情况下我们可以:
<meta name="robots" content="noindex, nofollow" />
当然,如果你热烈欢迎Search Service索引和Follow你的站点,那么
<meta name="robots" content="index">
<meta name="robots" content="follow">
就是很好的选择了。
下表给出了一个详细的Robot Meta Tag控制对照:
更多信息可以参考:http://noarchive.net/meta/
如果您有这方面的需求,不妨试试先:-)
参考文献