Anytao

() => Console.WriteLine("Anytao's idea collection.");

[Web这回事儿]第一回:应用robots,为你的应用程序添加搜索引擎访问和索引控制

十二月 29
by Anytao 29. 十二月 2009 05:30

anytao.net | 《你必须知道的.NET》网站 | Anytao技术博客 

发布日期:2009.12.29 作者:Anytao
© 2009 Anytao.com ,Anytao原创作品,转贴请注明作者和出处。

开发期部署的应用程序,也会被神通广大的Google爬到,很多时候我们可能不情愿应用待价而沽,过早的暴露在世人的面前,所以得想办法告诉Google:老兄,我现在还不想被你搞,以后再说吧。那么,怎么告诉Google及其兄弟姐妹(Yahoo、Baidu、Live and so on)呢?

显然我们要了解一点简单的知识,有文化才能有作为,这年头的哲学呀。

答案是:为应用程序添加搜索引擎访问和索引控制。

一般而言,有两种方式(可能还有其他方式,您不妨告诉我):

  • 使用robots.txt
  • 添加Robots Meta Tag标签

下面我们分别来看看,到底是怎么回事儿?

 

robots.txt

简单的说,robots.txt就是一个标准,用于Web站点控制搜索引擎如何访问其站点信息。其可控制的方式也是多种多样,通常robots.txt对于搜索的控制也分为几个层次:

  • 整个站点
  • 具体页面

 

关于robots.txt还有很多的信息值得我们探讨,本文是无能为力了,仅仅给出一些参考:

Robots Meta Tag

在用户无法Upload或者Control robots.txt时,Robots Meta Tag提供了我们控制搜索引擎的另一种方式。例如:

设置Page不被搜索引擎索引:

<meta name="robots" content="noindex">

设置搜索引擎不Follow Page的链接:

<meta name="robots" content="nofollow">

注意,如果不想让Google索引您的目标页面,那么添加onindex是必要的,因为单纯的nofollow,还是会让Google读取页面的链接和URL信息,所以通常情况下我们可以:

<meta name="robots" content="noindex, nofollow" />

当然,如果你热烈欢迎Search Service索引和Follow你的站点,那么

<meta name="robots" content="index">
<meta name="robots" content="follow">

就是很好的选择了。

下表给出了一个详细的Robot Meta Tag控制对照:

更多信息可以参考:http://noarchive.net/meta/

如果您有这方面的需求,不妨试试先:-)

 

参考文献

 

更多精彩,尽在anytao.net

 

anytao | © 2009 Anytao.com

2009/12/29 | http://anytao.net

本文以“现状”提供且没有任何担保,同时也没有授予任何权利。本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

第一个打分

  • Currently 0/5 Stars.
  • 1
  • 2
  • 3
  • 4
  • 5

Tags: , ,

05 Web这回事儿

评论

添加评论


(将显示你的Gravatar图标)  

biuquote
  • 评论
  • 在线预览
Loading