今天，Mac618要来分享的是Mac下一款专业的网络爬虫软件——Screaming Frog SEO Spider，它使用Java开发并为用户提供一种简单的方法来收集有关任何给定网站的SEO信息，以及生成多个报告并将信息导出到HDD。
Screaming Frog SEO Spider是一个网站爬虫，可通过提取数据和审核常见的 SEO 问题来帮助您改进现场 SEO。Screaming Frog SEO Spider是一个强大而灵活的站点爬虫，能够有效地爬行小型和超大型网站，同时允许您实时分析结果。它收集关键的现场数据，让 SEO 做出明智的决定。
Mac618简单说明下Screaming Frog SEO Spider的特点：
查找损坏的链接
立即抓取网站并查找损坏的链接 (404) 和服务器错误。批量导出错误和源 URL 以修复或发送给开发人员。
审计重定向
查找临时和永久重定向，识别重定向链和循环，或上传 URL 列表以在站点迁移中进行审核。
分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并识别那些在您的站点中太长、太短、缺失或重复的内容。
发现重复内容
使用 md5 算法检查发现完全重复的 URL，部分重复的元素（例如页面标题、描述或标题）并找到低内容页面。
使用 XPath 提取数据
使用 CSS 路径、XPath 或正则表达式从网页的 HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 或更多！
审查机器人和指令
查看被 robots.txt、元机器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及规范和 rel=“next”和 rel=“prev”阻止的 URL。
生成 XML 站点地图
快速创建 XML 站点地图和图像 XML 站点地图，对 URL 进行高级配置以包括、上次修改、优先级和更改频率。
与 GA、GSC 和 PSI 集成
连接到 Google Analytics、Search Console 和 PageSpeed Insights API，并获取抓取中所有 URL 的用户和性能数据，以获得更深入的洞察力。
抓取 JavaScript 网站
使用集成的 Chromium WRS 呈现网页以抓取动态的、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。
可视化网站架构
使用交互式爬行和目录力导向图和树图站点可视化来评估内部链接和 URL 结构。
安排审核
安排抓取以选定的时间间隔运行，并将抓取数据自动导出到任何位置，包括 Google 表格。或者通过命令行完全自动化。
比较抓取和登台
跟踪 SEO 问题和机会的进展并查看抓取之间的变化。使用高级 URL 映射将暂存环境与生产环境进行比较。
“Screaming Frog SEO Spider” Mac软件镜像包下载完了后，首先将“Screaming Frog SEO Spider” Mac软件拖至电脑应用程序，然后从电脑应用程序中打开SEO Spider，在顶部菜单栏打开licence，点击“Enter Licence”
评论