英文网站SEO,英文网站搜索引擎优化之meta标签的robots里的index,follow,noodp,noydir,noarchive
什么是Robots META标签
Robots.txt 文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots
META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots
META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
robots的取值
none
搜索引擎将忽略此网页，等价于noindex，nofollow。
noindex
搜索引擎不索引此网页。
nofollow
搜索引擎不继续通过此网页的链接索引搜索其它的网页。
all
搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
index
搜索引擎索引此网页。
follow
搜索引擎继续通过此网页的链接索引搜索其它的网页。
noodp noydir
不使用DOMZ、Yahoo!目录中描述作为网页摘要
使用noodp和noydir
做SEO的朋友都经常和meta标签打交道，比如写description、keywords之类，但却很少用到noodp和noydir这样的标签（这两个其实比较老了，只是国内一般不太实用），这里我想对这两个做下说明，因为在不少做英文SEO的地方还得使用到。（meta标签详解）
有些时候站点加入了dmoz或者yahoo的分类目录，这本是好事，但很多时候开始加入的时候并未考虑完全，或者后来网站业务出现的变化等等，这样的情况下，使得原本的好事可能在一些时候反倒有了负面影响，因为Google和yahoo默认情况下会优先抓取dmoz和雅虎分类目录里面的信息作为搜索结果的标题和描述。
为了让搜索引擎抓取现有网页的描述就得使用到上述标签，比如对付google就用
< meta name=”googlebot” content=”noodp” />
对付yahoo就用
< meta name=”slurp” content=”noydir” />
当然还有对付msn的
< meta name=”msnbot” content=”noodp” />
如果想对付多个可以用
< meta name=”robots” content=”noodp,noydir” />
如果你觉得分类目录上的信息未能准确概述现有网站内容，不妨试试noodp和noydir
<meta name="robots" content="noarchive">
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
<meta name="Baiduspider" content="noarchive">
需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。
第二种情况：禁止搜索引擎抓取本页面。
在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因此我们需要对这一部分重点做一次讨论。
为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
在这里，META NAME="ROBOTS"是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME="Googlebot"、META NAME="Baiduspide"等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。
INDEX命令：告诉搜索引擎抓取这个页面
FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。
NOINDEX命令：告诉搜索引擎不允许抓取这个页面
NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
根据以上的命令，我们就有了一下的四种组合
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接#p#分页标题#e#
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接。
这里需要注意的是，不可把两个对立的反义词写到一起，例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
这里有一个简便的写法，如果是
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">的形式的话，可以写成：
<META NAME="ROBOTS" CONTENT="ALL">
如果是
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">的形式的话，可以写成：
<META NAME="ROBOTS" CONTENT="NONE">
当然，我们也可以把禁止建立快照和对于搜索引擎的命令写到一个命令元标记中。从上面的文章中我们得知，禁止建立网页快照的命令是noarchive，那么我们就可以写成如下的形式：<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW,noarchive">
如果是对于单独的某个搜索引擎不允许建立快照，例如百度，我们就可以写成：
<META NAME=" Baiduspider" CONTENT="INDEX,FOLLOW,noarchive">
如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW, archive">
因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。
在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容。介绍了robots.txt 和robots meta标签的不同使用方法及搜索引擎处理的办法,英文网站SEO,英文网站搜索引擎优化之<meta name="robots" content="index,follow,noodp,noydir" />和<meta name="robots" content="noarchive">
