---

　　所谓网站地图，即Sitemap可方便网站管理员通知搜索引擎，他们网站上有哪些可供抓取的网页，搜索引擎会首先爬行网站的robots文件，在这个文件里，其实还包含了另外一个非常重要的...