拥有独立ip的网站,防止ip地址被百度等搜索引擎收录的办法

不可否认,采用独立ip来建设网站是有一定好处的,但是如果不在服务器上做一些细节设置的话,会导致用户可以通过ip地址直接访问你的网站。而且,不管是通过ip访问,还是用域名访问,得到的网站内容是一模一样的。下图,是我在百度上随便找的一个例子,请相信我,这种可以通过ip地址直接访问的网站数不胜数:

通过ip访问网站

接着上图的例子,下面去百度上site它的域名和ip,分别得到下面的结果:

域名和ip在百度上不同的site结果

  • site:域名的时候,该网站共有 4,263 个网页被百度收录,首页不在第一位
  • site:该网站服务器独立ip的时候,该网站共有 1,082 个网页被百度收录,首页在第一位

这就导致了网站权重的分散。在这种情况下,“域名”和“服务器的IP地址”对百度来说,是两个内容相同的网站,是两个相互竞争的网站。我们经常说人生最大的敌人就是自己,又有谁能想到独立ip也会成为域名的敌人?有的站长可能会说,我没有出去发过ip啊!百度怎么知道的?

  • 其一:你的竞争对手发现了你网站的这个漏洞,他给百度做的ip地址引流,降低你域名的权重,好看你自己打自己;
  • 其二:谁都可以去诸如爱站、站长之家等网站上查询你网站的综合信息,在查询结果页面中,有你的域名url,也有你服务器所在的ip地址。最重要的,这样的查询结果页面是可以被百度收录到的。所以,你问百度怎么知道的?

问题已经产生,我们该如何避免这样的情况复现呢?下面我用linux服务器的apache设置来举例说明。安装好apache之后,一般在/etc/apache2/目录下会有vhosts.d、sites-available这种类似的目录,里面就是给你放虚拟主机的。我一般会在里面建立一个000.conf的文件,内容如下:

<VirtualHost *:80>
    ServerAdmin webmaster@all.com
    ServerName www.all.com
    DocumentRoot /home/all/public_html
    ErrorLog /home/all/logs/error_log
    CustomLog /home/all/logs/access_log combined
</VirtualHost>

当然,我并没有all.com这个域名的控制权,但这个并不重要。在apache启动的时候,它是一个接着一个读取配置文件的,因为000.conf这个文件名的特殊性,它是第一个被读到并被加载的。这个000.conf的作用就是给服务器的独立ip地址开一个虚拟主机,以后每个用ip来访的客户都会被指定到/home/all/public_html/这个目录下,我们可以在这个目录下建立一个简单的index.html文件,诸如"Hello world."之类的。

如果我们的网站已经像上面的那个例子一样,被百度收录了域名版的网页和ip地址版的网页,该怎么办才好呢?这时候我们需要用到apache的mod_rewrite。在网站的根目录下建立一个.htaccess文件,以我这个网站域名为例,内容如下:

RewriteEngine On
RewriteCond %{HTTP_HOST} !^chengduwangluo\.com [NC]
RewriteRule ^(.*)$ http://chengduwangluo.com/$1 [R=301,L]

它的用处就是告诉网站服务器,如果访客或者搜索引擎蜘蛛访问的不是 http://chengduwangluo.com/ ,而是诸如http://ip地址/一类的网址,全部301重定向到 http://chengduwangluo.com/ 。这种做法可以让我们网站的权重集中,也可以防止ip地址被百度等搜索引擎收录。

  • TEL:18628060627

  • QQ:890341

  • 地址:成都市郫都区重百汉正广场3号楼1408室 网站地图

Powered by Joomla!