作者:狐灵科技 | 2019-08-05 14:15 |点击:
在尖叫青蛙 SEO蜘蛛是一个网站爬虫,允许你抓取网站的网址,并获取关键元素现场分析现场搜索引擎优化。免费下载,或购买许可证以获得更多高级功能。
SEO Spider是一个功能强大且灵活的网站爬虫,能够有效地抓取小型和超大型网站,同时允许您实时分析结果。它收集关键的现场数据,以便SEO能够做出明智的决策。
立即抓取网站并找到损坏的链接(404s)和服务器错误。批量导出要修复的错误和源URL,或发送给开发人员。
审核重定向查找临时和永久重定向,识别重定向链和循环,或上传URL列表以在站点迁移中进行审核。
分析页面标题和元数据在抓取过程中分析页面标题和元描述,并识别网站中过长,短缺,缺失或重复的内容。
发现重复内容使用md5算法检查发现完全重复的URL,部分重复的元素(如页面标题,描述或标题)以及查找低内容页面。
使用XPath提取数据使用CSS Path,XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标记,其他标题,价格,SKU或更多!
审查机器人和指令查看被robots.txt,元机器人或X-Robots-Tag指令阻止的网址,例如'noindex'或'nofollow',以及规范和rel =“next”和rel =“prev”。
生成XML站点地图快速创建XML站点地图和图像XML站点地图,通过URL进行高级配置,包括上次修改,优先级和更改频率。
与Google Analytics集成连接到Google AnalyticsAPI并针对抓取获取用户数据,例如会话或跳出率和转化次数,目标,交易和抓取页面的收入。
抓取JavaScript网站使用集成的Chromium WRS渲染网页,以抓取动态的,富含JavaScript的网站和框架,例如Angular,React和Vue.js.
可视化站点架构
使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和URL结构。
下载地址:https://www.screamingfrog.co.uk/seo-spider/
软件官网是https://www.screamingfrog.co.uk/seo-spider/官网售价是149英镑/年,相信懂汇率换算的小伙伴们都知道,这价格可不低了,相当于一年要1300多元的人民币,所以,重庆网站建设小编为大家分享的是破解版可使用的版本。
当然,软件也有免费版本,不过唯一最大的区别就是免费版的一次性最多只能抓取500条链接,而收费版的不限制。接下来小编为大家带来简单的使用方法。
下载解压完成后,点击安装好软件,一直下一步;
安装完成后,打开软件,点击Licence,出现两个下拉,选择第二个Enter Licence,此时出现一个对话框;
在解压的文件夹中找到(Keygen获取破解码)文件,运行Keygen.exe,就会出现用户名跟密码,复制粘贴到第二步中出现的对话框,点击确定即可。
至此,screamingfrog软件就按照破解完成,大家就可以无限量的提取全站的URL了,当然,还有其他更多的方法,比如会操作数据库的小伙伴们可以直接从数据库中提取也是一种方便快捷的方法。