跳转到主要内容

rPPG是什么?

远程光电体积描记法 (rPPG) 从标准相机捕获的面部皮肤的细微颜色变化中提取心率。不需要接触传感器,只需要一个网络摄像头。

何时使用此包

当您的应用程序需要时,请使用 @elata-biosciences/rppg-web :
  • 浏览器中基于摄像头的生物信号处理
  • 更高级别的 rPPG 会话API而不是原始的 WASM 编排
  • 围绕 rPPG 会话的诊断工具与应用集成辅助功能

安装

要求: Node.js 20+,具有摄像头访问权限的浏览器并支持 WebAssembly 。

推荐用法: createRppgSession

对于大多数浏览器应用程序,以 createRppgSession()开头。它处理 WASM 初始化、帧捕获、ROI 编排、诊断和清理。
如果您还希望在处理器发生不可恢复故障后自动重新启动,请使用 createManagedRppgSession() 。

诊断指导

每个会话诊断有效负载包括状态、问题代码、采样统计数据和处理器故障信息。
  • 如果 session.state.status 变为 failed,则将底层处理器视为已发生不可恢复故障并重新创建会话。
  • 如果 backend: "auto" 回退到不可用的后端模式,诊断程序会报告该状态,而不是静默失败。

进阶: RppgProcessor

对于自定义编排,直接降至 RppgProcessor 。仅当您需要 createRppgSession() 未提供的东西时才使用此选项。如果您正在调试,请先与 createRppgSession() 进行比较。

构造函数

输入样本

指标


输出与质量指导

对于消费者应用程序,保留面部跟踪(faceMesh: "auto",或忽略该选项),除非您故意需要视频帧后备。上面的例子使用 "off" 来明确后备;该模式不定位面部皮肤区域。 当前的 SDK 源还提供 CaptureConfidenceScorer:用于捕获和校准的运动和照明置信度,与脉搏信号领域的置信度分开。使用质量和发布门控,而不是将每个数字估计都呈现为可靠的。 高级源 API 包括基线相关生理学特征、通用激活/恢复解释、可选波形重建和实验性的形态学替代指标。生理激活评分不是情绪效价、面部情感、压力诊断或临床测量。基于面部推导的情感指标属于独立 API。基于学习模型的波形重建需要调用者提供模型文件,并且仍然是可选的诊断路径。 这些 API 应与实际安装的软件包版本相关联;当前存储库源可以包含比 npm 版本更新的功能。请参阅 当前包自述文件。

主要导出

  • createRppgSession
  • createManagedRppgSession
  • RppgProcessor
  • loadWasmBackend
  • createRppgAppAdapter
  • createRppgAppMonitor
  • normalizeRppgError
  • computeTraceWaveformDebug
  • ensureVideoPlaying

下一步

rPPG 现有应用教程

分步集成指南

帧来源

MediaPipe 人脸检测和摄像头捕捉

校准

Muse 融合和校准模型

相机集成指南

端到端 rPPG 设置