Robots meta tag的使用案例

1. 允许索引和跟随：

```html

```

这个指令告诉搜索引擎爬虫可以索引当前页面，并且可以跟随页面上的链接去爬取其他页面。

2. 禁止索引但允许跟随：

```html

```

这个指令告诉搜索引擎爬虫不要索引当前页面，但是可以跟随页面上的链接去爬取其他页面。这适用于例如用户生成的内容，你可能不希望搜索引擎索引这些内容，但仍然希望它们能够被搜索引擎发现。

3. 允许索引但禁止跟随：

```html

```

这个指令告诉搜索引擎爬虫可以索引当前页面，但不要跟随页面上的链接去爬取其他页面。这可以用于防止链接到不受信任的第三方网站，或者防止垃圾链接的权重传递。

4. 禁止索引和跟随：

```html

```

这个指令告诉搜索引擎爬虫不要索引当前页面，也不要去跟随页面上的任何链接。这适用于那些你不想让搜索引擎知道的页面，例如登录页面、后台管理界面等。

5. 禁止快照和ODP目录：

```html

```

这个指令告诉搜索引擎爬虫不要保存当前页面的快照，并且不要使用Open Directory Project (ODP) 的描述作为搜索结果的摘要。

6. 禁止显示搜索文字上下文：

```html

```

这个指令告诉搜索引擎爬虫不要在搜索结果中显示当前页面的搜索文字上下文。

这些只是robots meta tag的一些基本使用案例，实际上可以根据需要组合不同的指令来达到更精细的控制效果。需要注意的是，在使用robots meta tag时，要确保它们位于HTML文档的头部，并且放在正确的HTTP响应头中。