怎样才能正确使用网站地图?一个文件中的网址条数不能超过50,000条,文件大小不能超过10 M,这样做可以保证我们的文件更好地被爬行爬取,不给它造成压力;不断更新频率,当爬虫爬取 sitemap时有间歇性,那么在它下一次出现之前,我们应该确保在 sitemap中有新内容;在动态更新 sitemap的基础上,开发一种功能,实现每次更新文章时,都将地址记录添加到 sitemap中,以确保 sitemap内的数据是最新的。每一页都有目标关键字,当 A页面中出现 B页面的目标关键词时,就应该把这个单词指向 B页面。一页最多放5个内链,因为我们要考虑用户体验,一