最新文章

 

公司公告

 

业务范围

 

联系我们

  • 上班时间：星期一 至 星期六
  • 电话： 0311-83998177 89856787
  • 手机： 18931879114
  • E-Mail： flyes@flyes.net
  • 一部：石家庄市西里街30号
    中山西路433号金鱼文化产业园4层
  • 二部：中山西路433号金鱼文化产业园4层

  • 点击这里给我发消息
    • 点击这里给我发消息
  • 更多

河北网站建设不可不重视百度的善意警告！SEO注意

发布时间:2011-10-21 05:49:31  浏览次数:2765
 

河北网站维护公司，网站外包公司，网站运营公司，石家庄网站运维公司

 

 禁止搜索引擎收录的方法

  1. 什么是robots.txt文件?
    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

    请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
  2. robots.txt文件放在哪里?
    robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

    网站 URL 相应的 robots.txt的 URL
    http://www.w3.org/ http://www.w3.org/robots.txt
    http://www.w3.org:80/ http://www.w3.org:80/robots.txt
    http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt
    http://w3.org/ http://w3.org/robots.txt