电容 ML Kit 面部检测插件

非官方电容插件 ML Kit 面部检测[^1]

使用大小写

通常在应用程序需要定位图像中面相时使用面相检测插件,例如:

• 图片组织: 检测哪些相片包含面相并位于何处, 例如可以剪切周围的缩略图 .
• 自我效应:使用被检测到的面部地标和轮廓来将贴纸或其他虚拟元素放在面上.
• 微笑检测:利用分类结果确定一个人微笑或睁开眼睛的概率.
• 脸部跟踪: 使用跟踪选项对相接相框的每个面相保持一致的ID.

兼容性

安装

你可以用我们的 AI 辅助设置 以安装插件. 添加数据 超级技能 至您的 AI 工具,使用以下命令:

npx skills add capawesome-team/skills --skill capacitor-plugins

然后使用下列提示:

Use the `capacitor-plugins` skill from `capawesome-team/skills` to install the `@capacitor-mlkit/face-detection` plugin in my project.

如果你喜欢 手动设置,通过运行以下命令来安装插件,并遵循下面的平台特定指令:

npm install @capacitor-mlkit/face-detection
npx cap sync

请注意: 此插件 只支持可口可乐Pods iOS的依赖性管理。 Swift 软件包管理器( SPM) 不支持 ML Kit SDK, 参见 本评论。 。 。 .

机器人

依赖关系

您需要添加以下元数据 内 页:1 application 在您的标签 AndroidManifest.xml数字 :

<meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="face"/>
<!-- To use multiple models: android:value="face,model2,model3" -->

变量

如果需要, 您可以在您的应用程序中定义以下工程变量 variables.gradle 要更改依赖的默认版本的文件 :

• $mlkitFaceDetectionVersion 版本 com.google.mlkit:face-detection (默认 : 16.1.7(中文(简体) )
• $playServicesMlkitFaceDetectionVersion 版本 com.google.android.gms:play-services-mlkit-face-detection (默认 : 17.1.0(中文(简体) )

如果您在工程中遇到其它插件的依赖性冲突, 这会有所帮助 .

iOS系统

最低部署目标

确定部署目标 ios/App/Podfile 至少改为 15.5数字 :

platform :ios, '15.5'

配置

此插件不需要配置 .

演示

这里有一个实例: robingenz/电容-mlkit-plugin-demo

使用量

以下例子说明如何在图像中检测面相.

在图像中检测面相

在局部路径上用图像检测人类相貌. 可以配置精度/速率取舍,并实现地标,轮廓,分类(微笑和眼睛打开概率),并实现面相跟踪. 仅在Android和iOS上提供:

import {
  FaceDetection,
  PerformanceMode,
  LandmarkMode,
  ContourMode,
  ClassificationMode,
} from '@capacitor-mlkit/face-detection';

const processImage = async () => {
  const { faces } = await FaceDetection.processImage({
    path: 'path/to/image.jpg',
    performanceMode: PerformanceMode.Fast,
    landmarkMode: LandmarkMode.All,
    contourMode: ContourMode.All,
    classificationMode: ClassificationMode.All,
    minFaceSize: 0.1,
    enableTracking: false,
  });
  return faces;
};

API 密码

• processImage(...)
• 接口
• 数字

进程图像(...)

processImage(options: ProcessImageOptions) => Promise<ProcessImageResult>

从提供的图像中检测出人相.

仅在Android和iOS上提供.

回返情况: Promise<ProcessImageResult>

自: 5.1.0 国家

接口

进程图像结果

脸

代表被检测到的面相 FaceDetector。 。 。 .

矩形

矩形 为矩形持有四个整数坐标.

正面标记

代表一个脸部地标. 地标指被检测到的相貌上的一个点,如眼睛,鼻子,或口.

点

点 持有两个坐标

相貌轮廓

代表面相轮廓. 轮廓是检测到的面相上点的列表,如口.

进程图像选项

数字

地标类型

轮廓

绩效模式

地标模式

轮廓模式

分类模式

财务问题

此插件支持哪些平台 ?

这个 processImage(...) 方法只在Android和iOS上可用. 网络平台不支持基础的ML Kit Face SDK.

插件是否识别图片中是谁 ?

不,插件执行面部检测,而不是面部识别. 它在图像中检测出面相的位置以及地标,轮廓,头旋转等属性,并笑出概率,但并不识别个体. 与 enableTracking 选项中,您只能在连续的相框中为同一面相保持一致的ID.

地标和轮廓有什么区别?

地标是被检测出的脸上的一个单点,如眼,鼻,口等. 轮廓(英語:A Contour)是一列可以勾勒出面部特征的分数,如面部椭圆形,眉毛,眼睛或唇. 通过 landmarkMode 通过 contourMode 选项。 注意: 轮廓只返回最多5个面相 .

我怎么才能发现一个人是笑着还是睁开眼睛?

设定 classificationMode 选项到 All。然后检测到的面孔中包含 smilingProbability, (中文(简体) ), leftEyeOpenProbability,以及 rightEyeOpenProbability 属性,每个值在 0.0至 1.0 之间.

此插件与 Face Mesh 检测插件有何不同 ?

这个插件检测面相,有边框,地标,轮廓,以及Android和iOS的分类. 这个 ML Kit 面膜检测 插件返回一个由468个3D点和三角形信息组成的稠密网格,用于检测到的面相,但只在Android上可用.

我能用这个插件吗? 有Ionic、React、Vue或Angular?

是的,插件是框架不可知的。 它在任意网络框架的Capacitor app中工作,包括有Angular,React,或Vue的Ionic,以及平版JavaScript等项目.

相关插件

• ML Kit 面膜检测: 探测器在图像中以468个3D分来面对 meshes.
• ML 基特自拍分裂: 以 ML Kit自拍片段为背景的自拍片段.
• ML Kit 主题分割: 以ML Kit主题片段从背景中分离出主题.
• ML Kit Pose 检测: 探测出的尸体与同一场景中的相貌并列.

术语和隐私

此插件使用 Google ML Kit (Google ML Kit) 页面存档备份,存于互联网档案馆数字 :

• 术语和隐私
• Android 数据披露
• iOS 数据披露

通讯

随时更新有关卡帕韦索姆、Capacitor和Ionic生态系统的最新消息和最新消息,因为我们 《卡帕索克通讯》。 。 。 .

更改日志

见 变动情况。 。 。 .

许可证

见 自由主义。 。 。 .

[^1]: 这个项目不附属于Google LLC或其任何子公司或子公司,也不获得其认可、支持、赞助或批准.