IT之家 11 月 12 日消息,苹果公司今天(11 月 12 日)发布新博文,在介绍适用于 iPhone 18 Pro 和 iPhone 18 Pro Max 的“安全隔离区”(Secure Exclaves)架构同时,还公开其首款智能家居中枢 HomeView 的人员识别流程。
(资料图)
IT之家此前报道,在家庭环境下,苹果 HomeView 最多识别 6 位用户,并依据识别结果提供个性化体验。HomeView 不使用 Face ID,主要通过 Center Stage 摄像头进行面部识别,并结合语音识别判断在场的是哪位家庭成员。
前置条件方面,用户须拥有一台支持 Apple Intelligence 的“已注册个人设备”,该设备需连接至家庭 Wi-Fi,并且必须为最近解锁状态。满足条件后,HomeView 才能通过面部或语音识别该用户。
识别逻辑方面,HomeView 先通过 Center Stage 摄像头和语音,先判断“谁可能在场”,再核对该用户的 iPhone 或 iPad 是否连接家庭 Wi-Fi、且近期解锁过。三者匹配后,系统才会将该成员与个性化体验关联起来。
在最新博文中,苹果详细披露了 HomeView 人员识别的内部流程,可以概括为摄像头、麦克风输入 → 隔离区内检测与处理 → 提取人脸、声音特征 → 匹配已登记身份 → 仅向系统返回“谁、在哪、把握多大”。
1. 启动时,先加载已登记用户资料
设备启动后,人员识别隔离区(Person Recognition Exclave)会从安全存储隔离区(Secure Exclaves)中,加载此前登记的人脸、声音识别模型及身份数据库,为后续匹配做好准备。
2. 摄像头发现人脸,但不把画面交给系统
摄像头拍摄的连续画面进入摄像头隔离区,由其检测人脸、标记人脸边界框,并将相关画面排队等待进一步处理。
此时,摄像头隔离区可以通知主系统中的后台进程:“可能有人出现了。”但通知中不包含图像数据,画面仍留在安全隔离区内。
3. 麦克风提供另一条判断线索
音频先经过音频隔离区,完成异常检测和回声消除等处理,再送入人员识别隔离区。
与摄像头类似,音频隔离区也能向主系统报告“可能有人在附近”,但不把音频交给主系统。也就是说,“检测到有人”与“允许系统取得录音”是两回事。
4. 神经网络引擎提取人脸和声音特征
人员识别隔离区随后请求神经网络引擎隔离区加载人脸、声纹模型,生成用于身份匹配的特征。
计算过程中,数据始终保存在隔离区控制的内存中,主操作系统无法访问。神经网络引擎使用隔离区专用的工作队列,每个模型完成运行后,还会清除相关状态。
5. 综合人脸与声音,判断具体是谁
人员识别隔离区中的编排服务,将生成的人脸、声音特征与已登记用户的身份数据库进行匹配,再综合两类识别结果,得出身份判断及其置信度。
这里的“置信度”,可以理解为系统对这次识别结果有多大把握,而不是简单输出一个不带可靠程度的姓名。
6、只把识别结果交给主系统
最终,主系统中的人员识别后台进程收到的是三类元数据:
在这一人员识别流程中,原始音视频不会共享给操作系统。系统再利用这些结果,支持日历、信息、Apple Music 等依赖用户身份的功能,以及来自用户 iPhone 的兼容第三方音视频应用。
参考
北京市发改委等八部门印发《关于助企纾困促进消费加快恢复的具体措施》(以下简称《措施》)。7月7日,五部门联合召开发布会解读《措施》内容
白酒新国标实施一个月后,不少酒企也纷纷推出适应新国标的光瓶酒新品。7月7日,北京商报记者走访各大商超时注意到,光瓶酒货架上的产品包装
7月8日,北京市文化和旅游局发布2021年北京市文化和旅游业统计报告,2021年北京接待市民在京游人数1 26亿人次,较上年增长45 9%,较2019年
5月14日,郑州经开区第五大街一地铁口,一个核酸采样舱已布点就位,市民有序进行核酸采样。郑州经开区宣传部供图近日,河南省发布《河南省
稳就业保民生。由人力资源和社会保障部主办,河南省人力资源和社会保障厅承办的河南省2022年百日千万网络招聘专项行动将于5月16日启动,持
X 关闭
X 关闭