¿Qué es rPPG?
La fotopletismografía remota (rPPG) extrae la frecuencia cardíaca de cambios sutiles de color en la piel del rostro capturados por una cámara estándar. No se necesita ningún sensor de contacto, sólo una cámara web.Cuándo utilizar este paquete
Utilice@elata-biosciences/rppg-web cuando su aplicación necesite:
- procesamiento de bioseñales basado en cámara en el navegador
- una API de sesión rPPG de nivel superior en lugar de una orquestación WASM sin formato
- diagnósticos y ayudantes de aplicaciones en torno a rPPG sesiones
Instalación
Uso recomendado: createRppgSession
Para la mayoría de las aplicaciones de navegador, comience con createRppgSession(). Maneja WASM inicio, captura de fotogramas, orquestación de ROI, diagnóstico y limpieza.
createManagedRppgSession() si también desea un reinicio automático después de fallas en el procesador del terminal.
Guía de diagnóstico
Cada carga útil de diagnóstico de sesión incluye estado, códigos de problema, estadísticas de muestreo e información de falla del procesador.- Si
session.state.statusse convierte enfailed, trate el procesador subyacente como terminal y vuelva a crear la sesión. - Si
backend: "auto"vuelve a un modo de backend no disponible, los diagnósticos informan de ese estado en lugar de fallar silenciosamente.
Avanzado: RppgProcessor
Para una orquestación personalizada, vaya directamente a RppgProcessor . Úselo solo cuando necesite algo que createRppgSession() no proporciona. Si está depurando, compare primero con createRppgSession() .
Constructor
Empujando muestras
Métricas
Orientación sobre resultados y calidad
Para aplicaciones de consumo, mantenga el seguimiento facial (faceMesh: "auto"u omita la opción) a menos que necesite deliberadamente el respaldo del fotograma de video. Los ejemplos anteriores utilizan "off" para hacer explícita la alternativa; ese modo no localiza las regiones de la piel del rostro.
La fuente SDK actual también proporciona CaptureConfidenceScorer: confianza en movimiento e iluminación para captura y calibración, aparte de la confianza en el dominio del pulso. Utilice la calidad y publique la selección en lugar de presentar cada estimación numérica como confiable.
Las API de fuente avanzada incluyen características de fisiología relativa a la línea de base, interpretación genérica de activación/recuperación, reconstrucción de forma de onda opcional y proxies de morfología experimental. Una puntuación de activación fisiológica no es una valencia emocional, un afecto facial, un diagnóstico de estrés ni una medición clínica. El efecto derivado de la cara es una API separada. La reconstrucción de formas de onda aprendidas requiere un artefacto modelo proporcionado por la persona que llama y sigue siendo una ruta de diagnóstico opcional.
Estas API deben estar vinculadas a la versión del paquete realmente instalada; La fuente del repositorio actual puede contener características más recientes que la versión npm. Consulte el paquete actual README.
Exportaciones clave
createRppgSessioncreateManagedRppgSessionRppgProcessorloadWasmBackendcreateRppgAppAdaptercreateRppgAppMonitornormalizeRppgErrorcomputeTraceWaveformDebugensureVideoPlaying
Siguiente
rPPG Tutorial de aplicación existente
Guía de integración paso a paso
Fuentes de marco
MediaPipe detección de rostros y captura de cámara
Calibración
Modelos de fusión y calibración de Muse
Guía de integración de cámaras
Configuración de extremo a extremo rPPG