@ geti- ui/ 智能工具
Intel Geti产品计算机视觉工具包.
@geti-ui/smart-tools 提供面向浏览器的OpenCV和基于ONNX的工具集成,用于注释和分块工作流程.
状态 : 初步迁移 - 包脚手架正在进行中. 见
plans/migrate-smart-tools.md整个移民计划.
安装
npm install @geti-ui/smart-tools
此软件包包含什么
- OpenCV 支持的工具设施和接口(
/opencv, (中文(简体) ),/utils, (中文(简体) ),/types(中文(简体) ) - ONNX 运行时 Web 模型包装器 :
- 里特姆(RITM)
@geti-ui/smart-tools/ritm(中文(简体) ) - 任意部分( E)
@geti-ui/smart-tools/segment-anything(中文(简体) )
- 里特姆(RITM)
- 用于注释式工具链的共享几何和域名助手
快开始
import { buildGrabcutInstance } from '@geti-ui/smart-tools';
import { buildRITMInstance, RITMModels } from '@geti-ui/smart-tools/ritm';
import { buildSegmentAnythingInstance, SegmentAnythingModels } from '@geti-ui/smart-tools/segment-anything';
配置 ONNX 运行时 WASM 二进制
@geti-ui/smart-tools 用途 onnxruntime-web 给RITM和任何部分 这个包裹没有
捆绑或服务ORT .wasm编号 :.mjs 艺术品本身——它们所在的地方是应用建筑
因此,它被授权 消耗性应用:
- 复制了ORT的文物
node_modules/onnxruntime-web/dist/无论您的应用程序 为来自(例如通过Rsbuilding的)静态资产提供服务output.copy) (中文(简体) ). - 告诉聪明人他们住在哪里
setOrtWasmPaths(...)。 。 。 .
如果跳过此选项, ORT 将尝试解决与它自己的捆绑(或默认的CDN)相对的文物. 配置 setOrtWasmPaths(...) 当您的应用程序复制/服务 ORT 时 .wasm编号 :.mjs 来自不同URL的文物(否则ORT可能无法在运行时找到它们).
打电话 setOrtWasmPaths 在创建前 Session或装入RITM。 这个
参数是 ONNX 运行时的 env.wasm.wasmPaths 接受:字符串前缀/URL,记录
将每个文物文件名映射到一个明确的 URL,或 { wasm } 使用的形状
onnxruntime-web >= 1.24.
import { setOrtWasmPaths } from '@geti-ui/smart-tools';
// Files served at https://<your-app>/ort/<name>.wasm — note the trailing slash
setOrtWasmPaths('/ort/');
// Or point at explicit URLs per artifact (e.g. served from a CDN)
setOrtWasmPaths({
'ort-wasm-simd-threaded.wasm': 'https://cdn.example.com/ort/ort-wasm-simd-threaded.wasm',
'ort-wasm-simd-threaded.mjs': 'https://cdn.example.com/ort/ort-wasm-simd-threaded.mjs',
});
过 undefined 清除覆盖并让 ORT 解析相对于自身捆绑的二进制
(或默认CDN).
示例 Rsbuilding 复制配置( R)rsbuild.config.ts:
export default defineConfig({
output: {
copy: [{ from: 'node_modules/onnxruntime-web/dist/*.{wasm,mjs}', to: 'ort/[name][ext]' }],
},
});
配置 OpenCV.js 源码
@geti-ui/smart-tools 使用自定义编译 opencv.js 用于GrabCut,智能剪刀,
水库 SSIM RITM和任何部分 这个软件包不捆绑也不服务于二进制本身——编译它
(见 编译 OpenCV WASM 二进制 (见下文)和副本
进入您的应用程序服务 静态资产从哪里, 然后告诉智能工具 它住在哪里
setOpenCVSourceUrl(...)。 。 。 .
打电话 setOpenCVSourceUrl 在启动期间,在使用任何OpenCV后置工具之前。 争论可能是
- (单位:千美元)
URL(建议用于跨源/CDN设置), - 绝对的 URL 字符串 (
https://...),一种由app起源的绝对路径(/opencv/opencv.js, (中文(简体) ), 或相对路径字符串解决了您的应用程序的出处( 回落到智能工具模块 URL 时)location页:1.
import { setOpenCVSourceUrl } from '@geti-ui/smart-tools';
// Served at https://<your-app>/opencv/opencv.js
setOpenCVSourceUrl('/opencv/opencv.js');
如果您跳过此选项, 任何 OpenCV 支持的工具在首次尝试加载时都会丢出描述性错误
opencv.js ——不存在默认/CDN倒置,与ORT的原声分辨率不同.
示例 Rsbuilding 复制配置( R)rsbuild.config.ts:
export default defineConfig({
output: {
copy: [{ from: 'src/opencv/opencv.js', to: 'opencv/[name][ext]' }],
},
});
执行提供者 (WebGPU vs CPU)
分段 Anything 自动选择其 ONNX 运行时执行提供者 。 WebGPU( 通过 ORT )
sAM编码器的线性JSEP编码快得多
SharedArrayBuffer,浏览器仅在其中曝光 不同原生体 环境.
智能工具在启动时检测到:
- 在相互孤立的情况下,它要求
['webgpu', 'cpu']和多条线的相机. - 否则(非同位素标签,嵌入式的Web visions, 如 Tauri)它会钉入一个被单行径
['cpu']供养.
要启用 WebGPU 路径, 消耗的应用程序必须:
- 通过在文档上发送这些响应信头
Cross-Origin-Opener-Policy: same-originCross-Origin-Embedder-Policy: require-corp
- 运输有线的JSEP是文物(
ort-wasm-simd-threaded.jsep.wasm编号 :.mjs) (中文(简体) ). 这个*.{wasm,mjs}上面的复制块已经包含它.
如果缺少任何一个,智能工具会自动倒回CPU——不需要配置. 作为一名 最终安全网,运行时间 WebGPU/JSEP 失败仍会触发一次性降级到只限CPU 会话,所以一个被损坏的GPU驱动程序不能对工具进行楔形.
实例和文件
- 安装 :
documentation/docs/smart-tools/installation.mdx - OpenCV 文档 :
documentation/docs/smart-tools/opencv.mdx - 抓起来 :
documentation/docs/smart-tools/grabcut.mdx - 莱特:
documentation/docs/smart-tools/ritm.mdx - 任何部分 :
documentation/docs/smart-tools/segment-anything.mdx
编译 OpenCV WASM 二进制( 手工)
OpenCV JS 二进制 没有 已检查入存储器, 且未对此进行捆绑/服务
软件包。 必须在本地进行整理或从文物中获取,然后复制到您
应用和指向通过 setOpenCVSourceUrl(...) (见 设计OpenCV.js
来源" (见上文).
先决条件
- 夹克: 用于运行基于 Dockerfile 的决定性建筑
步骤
# From the repository root:
cd packages/smart-tools
# Run the build script (compiles OpenCV 4.9.0 with the configured allow list)
./scripts/compile-opencv-wasm.sh
# Override the target version (optional)
OPENCV_VERSION=4.9.0 ./scripts/compile-opencv-wasm.sh
# Override the emscripten Docker image (optional)
EMSCRIPTEN_IMAGE=emscripten/emsdk:3.1.25 ./scripts/compile-opencv-wasm.sh
# `--skip-cleanup` is accepted for backward compatibility (no-op now)
./scripts/compile-opencv-wasm.sh --skip-cleanup
剧本将:
- 构建
scripts/opencv-build.Dockerfile并带有被绑定的OpenCV+标注版本. - 使用
scripts/opencv_js.config.py(白名单配置) 在图像构建. - 摘录
/artifacts/opencv.js(可选)opencv.wasm) 从所建相. - 将产出复制到
src/opencv/<version>/。 。 。 .
Dockerfile 真理的来源
scripts/opencv-build.Dockerfile 目前是本地和CI自动化所使用的 Cononical OpenCV 构建定义.
白名单配置
scripts/opencv_js.config.py 将 OpenCV 模块和函数汇编到二进制中的控件.
编辑此文件以添加或去除函数 - 只包括智能工具包为保持输出大小而实际使用的内容.
CI / 发布
GitHub Action 工作流程(计划)将构建该文物,并附在版本名称的发布上:
opencv-<version>-<configSha>.js
这使得配置变化可以通过文物身份来追踪.
子包装
| 子路径 | 目录 |
|---|---|
@geti-ui/smart-tools | 主要条目 |
@geti-ui/smart-tools/opencv | OpenCV 类型接口 |
@geti-ui/smart-tools/utils | 几何和工具设施 |
@geti-ui/smart-tools/types | 共享域类型 |
@geti-ui/smart-tools/ritm | RITM 交互式分区模型 |
@geti-ui/smart-tools/segment-anything | 任何部件模型( SAM) |
发展
# Build
npm run build --workspace=@geti-ui/smart-tools
# Tests
npm run test --workspace=@geti-ui/smart-tools
# Type check
npm run type-check --workspace=@geti-ui/smart-tools
# Lint
npm run lint --workspace=@geti-ui/smart-tools
# Format check
npm run format:check --workspace=@geti-ui/smart-tools