n8n-nodes-mrscraper

使用 MrScraper 在您的n8n工作流中创建和运行人工智能或手动抓取，提取结构化内容，发现url，搜索web和检索结果。

这个包裹是 N8n团体节点 为人工智能驱动的MrScraper网页抓取平台。

版本4.0.0

4.0.0版本围绕六个基于任务的资源重新组织节点，并删除重复的操作。

• 新 发现， 提取， 结果， 刮刀创造, 刮板运行 资源名
• 一个 刮板运行 单个和批量运行的人工智能和手动刮刀界面
• 用于基于提示、列表和网站抓取抓取的专用创建流
• 基于提示和清单提取的预期JSON输出模式
• Web搜索输入：查询、国家和结果数量
• 流线型的渲染页面控件，具有可选择的标记和屏幕截图，可选择的屏幕截图模式，选择器等待，主页导航和分组高级浏览器选项
• 呈现的HTML请求现在一致地使用MrScraper API POST 方法
• 通用、清单、地图和手动抓取器的更多运行选项

版本4.0.0更改了资源和操作选择。检查 迁移指南 在激活现有工作流之前。

目录表

• 安装
• 凭证
• 资源及运作
  • 账户
  • 发现
  • 提取
  • 结果
  • 刮刀创造
  • 刮板运行
• 用法示例
• 从2.x迁移
• 兼容性
• 合规和法律风险
• 资源

安装

安装 n8n-nodes-mrscraper 从 设置>社区节点 在上帝。其他安装方法请参考 N8n团体节点安装指南。

凭证

节点需要 MrScraper API 证书。

1. 登录到 MrScraper应用。
2. 从您的帐户创建或复制一个API令牌。
3. 在n8n中创建一个 MrScraper API 凭据并输入令牌 API令牌。
4. 在MrScraper节点中选择凭据。

保持令牌的私密性。不要将其直接放在工作流字段中，也不要将其提交到源代码管理中。

资源及运作

版本4.0.0公开了6种资源。选择一个资源，然后选择它的一个操作。

账户

• 获取帐户信息 -获取帐户详细信息，令牌使用情况和令牌限制。

发现

• 抓取网站网址 —从起始URL发现链接。设置抓取深度、计算的页面、结果限制和可选的管道分隔包括或排除正则表达式。
• 网络搜索 —使用查询，国家（默认） us)，以及结果的数量(默认值 10）.

WebSearch是一个搜索网络以获取实时结果的工具，包括相关网站的url、标题、描述和基于给定查询的相关问题。

提取

• 按提示提取页面 -使用自然语言提示符和可选的预期JSON输出模式从一个页面提取数据。支持超级或廉价模式和可选的代理国家。
• 提取列表和分页内容 -使用提示、可选项目模式、页面限制和代理国家提取重复列表数据。
• 提取结构化数据 -对文章、论坛帖子、酒店、职位发布、帖子、产品、物业、餐厅、社交媒体简介或旅游/景点内容使用预设提取模式。
• 获取已呈现的HTML -使用MrScraper隐形浏览器加载一个带有渲染JavaScript页面的页面。默认情况下返回HTML；降价和截图是可选择的。截图可以覆盖整个页面，也可以只覆盖顶部。主字段配置重试、超时、地理位置和代理国家，而 高级选项 包含令牌上限、CSS选择器等待、生命周期等待条件、资源阻塞、主页导航、cookie和Super模式。

结果

• 得到结果 -获取页面大小和创建日期排序顺序的scraper ID的分页结果。
• 获取最新结果 -获取刮板ID的最新N结果。
• 获取结果详情 —根据结果ID获取一个完整的结果。

刮刀创造

• 创建基于提示的刮板 -从URL，提示符，可选的预期JSON模式，模式和代理国家创建通用AI scraper。
• 创建清单刮板 -从URL，提示，可选项目模式，最大页数和代理国家创建列表AI刮板。
• 创建网站抓取工具 -创建一个地图AI刮板与爬行深度，最大页面，结果限制，可选的URL包括或排除模式。

创建的scraper可以在您的MrScraper帐户中使用，并且可以使用 刮板运行。

刮板运行

• 运行现有刮板 -运行一个URL与现有的人工智能或手动刮板。
• 批量运行现有刮板 -运行多个url与现有的AI或手动刮板。

对于单个AI运行，选择代理类型：

• 一般 -基于提示的页面提取，具有可选的HTML， Markdown，截图，cookie， JavaScript渲染，选择器等待和主页访问设置。
• 清单 -列表和分页提取，页面和超时限制加上可选的流和渲染设置。
• 地图 -网站URL发现与抓取限制和URL过滤模式。

手动运行支持浏览器、代理、cookie、分页器、记录、输出、超时和令牌上限选项。批处理运行接受url作为JSON数组或逗号/换行符分隔的列表。

用法示例

在网上搜索

1. 选择 发现b>网络搜索。
2. 选择已保存的文件 MrScraper API 证书。
3. 输入 搜索查询例如： best hotels in New York。
4. 集 国家 (默认 us), 结果数量 (默认 10)，然后运行该节点。

节点发送 POST https://api.mrscraper.com/ 与 action: "websearch"， query， country, numResults。中保存的凭据进行身份验证 x-api-token 头。

使用JSON形状提取数据

1. 选择 提取>提取页面提示。
2. 输入页面URL。
3. 输入提示符，例如 Extract the product name, price, availability, and image URL。
4. 可选地输入预期的输出模式：

{
    "name": "string",
    "price": "number",
    "inStock": "boolean",
    "imageUrl": "string"
}

5. 选择 超级 为更强的刮擦能力或 便宜的 对于保护较弱的站点，则运行该节点。

获取已呈现的页面

1. 选择 提取>提取渲染HTML 并输入目标URL。
2. 离开 返回的HTML Enabled或enable 返回减价 如果还需要Markdown输出。
3. 要捕获映像，请启用 截图，然后选择 全 或 前 下 截图模式。
4. 使用 高级选项 当页面需要CSS选择器等待、不同的生命周期事件、资源阻塞控件、主页导航、返回的cookie、Super模式或自定义令牌上限时。

该操作默认为300秒超时，重试三次， us 地理位置和代理国家，启用HTML输出，禁用Markdown和截图输出。 等到 支持 加载的DOM内容， 负载, 网络空闲。

批量运行现有的刮板

1. 选择 刮刀运行>批量运行现有刮刀。
2. 选择 人工智能 或 手册 并输入刮板ID。
3. 以JSON数组的形式输入url：

["https://example.com/page-1", "https://example.com/page-2"]

您还可以使用逗号分隔或换行分隔的url。

检索完成的结果

使用 Results >获取最新结果 与刮刀ID，或使用 获取结果详情 当您已经有一个结果ID时。

从2.x迁移

升级后，打开每个现有的MrScraper节点并重新选择其资源和操作。最常见的映射是：

还要回顾这些字段的变化：

• 网络搜索 取代遗留的搜索操作(syncSerp）. 重新选择 发现b>网络搜索 在现有的搜索节点中进行配置 query， country, numResults;区域、语言、页面、响应格式和JavaScript呈现不再是搜索输入。
• 现在可以共享单个和批处理重播 刮板运行． 选择 人工智能 或 手册 明确。
• AI单次运行在选择General、Listing或Map之后会暴露特定于代理的字段。
• 批处理url可以是JSON数组字符串或逗号/换行符分隔的列表。
• 基于提示符的操作和清单操作可以将预期的JSON模式附加到提取提示符中。
• 获取已呈现的HTML 现在使用屏幕截图切换，后面跟着 全 或 前 模式;默认情况下，屏幕截图和Markdown是禁用的。
• 浏览器呈现始终是启用的，并且不再是用户可配置的字段。
• 令牌上限，资源阻塞，生命周期等待，cookie和超级模式现在 高级选项，它还添加了CSS选择器等待和可选的主页导航。

在生产环境中启用迁移的工作流之前，测试它们。

兼容性

• n8n-nodes-mrscraper 版本: 4.0.0
• node . js: 22或以上
• 此项目使用的包管理器： npm

合规和法律风险

[!警告) 抓取受登录保护的页面会带来严重的法律和合规风险。许多网站在其服务条款中禁止自动访问。仅抓取您有权访问的内容，查看目标网站的条款和适用法律，并对如何使用此节点承担责任。

资源

• MrScraper
• MrScraper应用
• MrScraper API文档
• MrScraper程序指南
• scraper先生没有整合
• N8n社区节点文档
• 更新日志

许可证

这个包是在MIT许可下发布的。