作者:狐灵科技 | 2020-03-31 17:32 |点击:
主要注意的几点:
1.关闭强制https跳转,在工具内填写http协议的首页
2.使用工具的自动替换将http在替换成https即可
3.加一个替换规则
4.每页生成的url数量最好修改成2000
具体截图:
最后将爬取完的文件命名为 sitemap.xml 放在网站/public 目录下,这样你的地图地址就是https://的域名/sitemap.xml
例如:https://www.hulingweb.cn/sitemap.xml
将这个地址添加到各大搜索引擎即可.
同时还可以添加到robots.txt文件中,如下:
User-agent: *
Disallow:
Sitemap: https://你的域名/sitemap.xml