内容提取
这个包提供了一种代理工具来提取网页内容,YouTube记录稿,维基百科文章,PDF文本和结构化的页面数据. 用这个 axios 用于HTTP请求,YouTube oEmbed和字幕端点,以及维基百科 REST和MediaWiki API.
安装
npm install @framers/agentos-ext-content-extraction
同伴依赖 : @framers/agentos 有范围 >=0.10.40。 。 。 .
使用量
import { AgentOS } from '@framers/agentos';
const agentos = await AgentOS.create({
extensionManifest: {
packs: [{ package: '@framers/agentos-ext-content-extraction' }],
},
});
工具
| 工具 | 它会做什么 |
|---|---|
extractUrl | 从 URL 中提取干净的文本、 标记下或 HTML . |
extractYoutube | 从视频ID或URL获取YouTube记录和视频元数据. |
extractWikipedia | 提取所请求语言中的文章内容、摘要和元数据. |
extractPdf | 在 URL 从 PDF 文档中提取文本. |
extractStructured | 从网页中提取表格、列表、链接和元数据. |
extractUrl
| 参数 | 类型 | 需求 | 说明 |
|---|---|---|---|
url | 字符串 | 对 | 从中提取内容的 URL |
format | 字符串, enum : text, (中文(简体) ), markdown, (中文(简体) ), html | 没有 | 输出格式( 默认 ): text(中文(简体) ) |
extractYoutube
| 参数 | 类型 | 需求 | 说明 |
|---|---|---|---|
videoId | 字符串 | 对 | YouTube视频ID或全URL(如"dQw4w9WgXcQ"或"https://www.youtube.com/watch?v=dQw4w9WgXcQ") |
extractWikipedia
| 参数 | 类型 | 需求 | 说明 |
|---|---|---|---|
title | 字符串 | 对 | 维基百科文章标题(如"人工智能") |
language | 字符串 | 没有 | 维基百科语言代码(默认: en(中文(简体) ) |
extractPdf
| 参数 | 类型 | 需求 | 说明 |
|---|---|---|---|
url | 字符串 | 对 | 从 PDF 文档中提取文本的 URL |
extractStructured
| 参数 | 类型 | 需求 | 说明 |
|---|---|---|---|
url | 字符串 | 对 | 从中提取结构化数据的 URL |
selectors | 对象 | 没有 | 可选 CSS 样式选择器以瞄准特定元素 |
selectors.tables | 字符串 | 没有 | 表格选择器 |
selectors.lists | 字符串 | 没有 | 列表选择器 |
selectors.links | 字符串 | 没有 | 链接选择器 |
页:1
工厂没有读取任何配置或秘密. 激活初始化服务;初始化前调用返回出错. 工具返回 success: false 还有一个 error 提取失败时发出消息.
URL 和结构提取请求超时 15000 m. 其他 HTTP 请求使用 a 30000 ms超时. 最多结构化取出返回 100 链接并忽略已提供的 selectors。 。 。 .
PDF 从未压缩流读取文本运算符 。 当它找不到文本时, 它会返回一个消息, 解释需要未压缩的文本流 。 YouTube 提取返回 (Transcript not available) 当无法获取标题时.
许可证
阿帕奇 - 2.0