为什么网站不被百度收录（网站有抓取但是不收录）

巧用网站禁止收录机制屏蔽蜘蛛抓取页面

基于网站安全与盈利的因素，站长并不希望某些目录或页面被抓取和收录，比如付费内容、测试阶段的页面及复制内容页面等。

SEO

尽管在网站建设的过程中，使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步，而导致页面不被收录。

但在某些情况下搜索引擎是能够读取他们的，基于网站排名考虑，我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。

强调一下，建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱，致使搜索引擎不能正确判断与抓取页面的主题与文字。

要确保网站某些目录或页面不被收录，需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。

1、robots 文件

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。

user-agent：* 适用于所有蜘蛛

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Disallow 禁止抓取哪些文件或目录，Allow 告诉搜索引擎应该抓取哪些页面，由于不指定就是允许抓取，所以allow单独写没有意义。

2、meta robots标签

Meta robots 标签是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引本页内容。

最简单的 meta robots 标签格式为：

<meta name=”robots” content=”noindex,nofollow”>

效果是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

<meta name=”robots” content=”noindex”>

效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

Google、必应、雅虎支持的标签如下：

Noindex:不要索引本页面

Nofollow:不要跟踪本页面上的链接

Nosnippet:不要在搜索结果中显示摘要文字

Noarchive:不要显示快照

Noodp:不要使用开放目录中的标题和描述

百度支持：Nofollow和Noarchive

只有禁止索引时，使用meta robots才有意义。

使用了 noindex meat robots 标签的页面会被抓取，但不会被索引，页面URL也不会出现在搜索结果中，这一点与 robots 文件不同。

网站不被搜索引擎收录，网站再怎么优化都没用

有一些站长在工作中会发现自己的网站经过了很多优化处理，但是搜索引擎没有收录，但是对一些网站的优化很笼统，却一直被收录在搜索引擎中，这是为什么呢？

网站不能被搜索引擎收录一般是由以下原因造成的。

网站不收录在内吗？让我们看看我们是否犯了这四个错误

1、 该网站使用的域名已被处罚

有的人在建设网站时贪图方便，使用老域名。虽然旧域名的优势不足以掩盖旧域名的风险。如果旧域名有权利，并且其内容与你网站的内容相似，那确实有利于网站获得更高的排名。但如果您选择的域名已经注册，请不要大意。你必须去百度查看记录，以确定该域名是否已被制裁。

2、 网站屏蔽蜘蛛抓取

一般来说，当网站刚开通时，会设置机器人。此设置是为了防止百度蜘蛛在网站未完成时抓取网站。但有些网站管理员可能会在网站实际上线后发布此设置。如果无法爬网的设置仍然存在，则无法被搜索引擎抓取，也不会收录在其中。

3、 使用的服务器不稳定

有些站长为了更快、更省时，会在国外选择一些归档空间，但这种做法不值得推广。因为国外空间的稳定性无法保证，而稳定的空间是网站长期发展的最基本条件。不稳定的空间在实际使用中会面临缓慢甚至倒塌的问题，从而降低用户体验。我们都知道搜索引擎会参考用户体验来工作，所以我们应该尽量放弃降低用户体验风险的做法。

网站不被搜索引擎收录，网站再怎么优化都没用

4、 内容不够新颖

在确保所有技术问题都得到解决后，如果网站仍然没有收录，就要反映内容是否有问题。创意是网站运营和SEO过程中反复提到的问题。虽然搜索引擎是算法化的，没有情感的机器，但我们都知道搜索引擎更喜欢原创内容。转载或收录的文章，无论质量有多高，都不能取代原来的内容。

因此，如果你想让网站顺利被搜索引擎收录，就必须增加网站内容的原创性。即使内容的质量可能稍逊于一些收录的内容，它给网站带来的帮助也远远大于收录到的优质内容。

如果网站不能收录在搜索引擎中，那么一定是工作有问题。在这个时候，我们需要停止和调查上述四个问题。如果一切都能解决的话，相信会被收录到搜索引擎中，希望能够帮助一些被困在网站不收录的站长。