本次带来一篇sci的全文翻译，该论文主讲如何使用可穿戴相机和计算机视觉评估个人在不断变化的环境中的屏幕暴露情况！
【论文题目】Assessing personal screen exposure with ever-changing contexts using wearable cameras and computer vision
【篇名翻译】
使用可穿戴相机和计算机视觉评估个人在不断变化的环境中的屏幕暴露情况
【作者及邮箱】Nanxi Su建筑学院，清华大学，中国北京Zhaoxi Zhang建筑学院，清华大学，中国北京Jingjia Chen建筑学院，清华大学，中国北京Wenyue Li建筑学院，清华大学，中国北京Ying Long建筑学院及恒隆房地产中心，生态规划与绿色建筑教育部重点实验室，清华大学，中国北京,ylong@tsinghua.edu.cn
【摘要】
电子屏幕在日常生活中无处不在，支持不同环境中的日常活动。在现代社会中，适度使用屏幕对个人的身心健康至关重要，而实证研究已验证通过改善微环境质量可以改变心理和行为选择的潜力。本文假设不断变化的环境可能会影响人们的屏幕行为，探讨如何通过这些微环境中的设计干预促进更健康、更平衡的屏幕使用。为此，基本步骤是了解人们在包括室内外空间在内的多种自由生活场景中如何使用屏幕。尽管这一点很重要，但当前文献对于准确检查屏幕行为及其环境的方法提供的仍然有限。为了弥补这一差距，本研究提出了一种使用可穿戴相机和计算机视觉技术的自动化方法，以量化屏幕曝光及从收集的生活记录图像中提取的相关日常环境（N = 30,186）。研究发现，“室内”和“桌子”与屏幕行为的发生呈正相关。相反，“绿化”、“人群”、“旅行”和“食物”与屏幕曝光显示出强烈的负相关性。这项研究提供了一种客观自动测量屏幕曝光的新方法，提高了传统方法的效率和可靠性。此外，它为未来在更广泛数据集上的研究建立了一个可复制的框架，并为建筑和城市设计领域提供信息，以塑造个人更健康、更平衡的屏幕使用。
【引言】
在当代社会中，数字屏幕的接触已变得无处不在。然而，问题性屏幕使用可能导致社交情感延迟、学业表现不佳、抑郁症、干眼症，以及威胁道路安全的潜在风险。因此，适度和有规律的屏幕使用十分重要，它影响健康、安全和个人发展的多个方面。此外，大量研究强调环境因素在塑造人类经验和行为中扮演着重要角色，包括屏幕行为及其相关行为（例如，睡眠、健康、工作、社交等）。例如，先前的研究发现，睡觉时靠近小屏幕或卧室内有电视机，以及增加的屏幕时间，与睡眠时间缩短有关；家长的屏幕观看时间和家庭环境中电子媒体（电视、电脑、笔记本电脑、游戏设备）的使用与儿童的总体屏幕接触时间密切相关；由于电视观看时间增加和不健康食品营销的影响，导致高糖饮料、快餐和咸零食消费量增加，从而增加了肥胖风险；热环境、照明条件和布局是与员工在以屏幕使用为主的工作场所的反应和表现密切相关的重要因素。
屏幕行为的环境背景，指的是个体周围的微环境，这些环境是动态且不断变化的，尤其是随着屏幕尺寸和功能的技术进步。这些环境的范围从家庭设置中以娱乐为驱动的活动，到工作环境中的专业和教育追求，再扩展到交通和户外环境中的信息传播。研究这些环境如何影响屏幕行为是必要的，以促进可持续环境的发展，并制定针对性的环境干预措施，以鼓励现代生活方式中平衡的屏幕使用。以往的探索包括应用问卷调查和屏幕时间跟踪应用来收集屏幕时间数据；使用可穿戴相机和收集的以自我为中心的图像，手动对青少年的屏幕使用环境（何时、何地、与谁一起）进行分类和量化。然而，受到方法论的限制，现有文献存在两个主要缺陷：首先，高分辨率的屏幕使用时空环境难以捕捉和整合，其特征化和分类通常是泛泛而谈且多样性有限；其次，测量和综合屏幕时间耗时，特别是在涉及多屏幕的场景中。本研究假设不断变化的环境可能会影响人们的屏幕行为，提出了一种方法论，应用可穿戴相机（Narrative Clip 2）和计算机视觉自动跟踪屏幕行为及其相关环境，以自由生活场景为背景。特别是探究提出的方法论检查日常活动基础的微环境（绿化、人群、旅行、室内、食物、办公桌）与屏幕行为之间交织关系的有效性，可能扩大相关研究领域的范围并提高数据粒度，包括久坐和肥胖研究、社会表现文献和室内环境质量文献。其准确性通过与传统方法的比较进行交叉验证。此外，提出的方法论具有潜力通过更复杂的计算机视觉模型检测屏幕和内容的关注度，并可在未来的研究中针对更大的数据集进行复制。最后，本研究通过阐明能够有效减少个人屏幕接触时间的环境干预措施，丰富了文献，为包括人类行为、公共卫生、建筑和城市设计等多个领域的专业人士提供了宝贵的见解。
【文献综述】
2.1 与屏幕行为密切相关的重要环境背景
Helbig 等人强调了检查个人环境条件以更好地理解个体行为的必要性。屏幕使用通常与其他活动如进食、睡眠、在工作中坐着以及通勤等同时发生。研究还显示，屏幕使用与绿色活动、户外活动和线下社交网络紧密相关，这些都是整体福祉的关键因素。因此，探索这些场景中屏幕使用与环境背景之间的关系至关重要。
尽管先前的研究已将屏幕行为与不同的环境设置联系起来，但仍需更清晰地理解两者之间的直接联系。此外，目前对环境背景的描述方式过于泛泛且单一，限制了深入洞察的可能。Thomas等人将屏幕使用的物理环境分为三个主要类别:“家庭”、“公共”和“交通”，并进一步细分为“客厅”、“卧室”和“厨房”。然而，这种方法未能考虑可能影响屏幕行为的微观环境因素，如户外绿化、办公桌和食物等。其他研究，如Jago 等人和 Sirard 等人进行的研究，已经检查了更具体的环境，例如家庭中的电视数量和父母的屏幕时间，但这些单一环境无法完全捕捉屏幕使用环境的复杂性。
因此，采用一种考虑多种具体环境背景的全面方法，对研究环境对屏幕行为的影响非常必要，这有助于指导促进适度屏幕使用的环境干预措施。
2.1.1 绿色环境背景
一项先前的研究表明，父母对户外游戏的限制与孩子在家中观看电视的时间增加有关 。屏幕时间与绿色时间对个体的心理影响截然不同。不良的心理状况和压力可能导致成瘾相关的习惯，包括对屏幕的过度依赖，这与其他情绪问题有关，进一步恶化个人的心理健康。许多研究已经证明，在自然环境中度过的时间以及接触到的绿色环境，如公园、花园和其他绿色空间，有助于缓解焦虑和抑郁的症状。值得注意的是，最近的研究强调了绿色时间对个体福祉的重要性，并建议深入研究屏幕时间与绿色时间之间的关系，例如数字技术如何促进户外活动和与绿色环境的互动。
2.1.2人群环境背景
在本研究中，“人群环境”一词指的是个体是独自一人还是有其他人在附近，这反映了个体的社会情境。在家庭动态的背景下，先前的研究揭示了父母行为特征（特别是看电视）与儿童总体屏幕时间之间的关联。此外，现有文献表明，青少年增加的电视观看时间与其对父母和同伴的依恋程度降低有关。在当今的数字时代，人们严重依赖社交媒体和数字工具进行社交互动，这导致线上与线下的界限变得模糊。先前的综述强调了包括被动体验抽样在内的方法论改进的重要性，以便更好地测量数字技术和社交媒体的使用。理解“人群环境”中的屏幕行为对于掌握屏幕使用模式、社会关系和心理福祉的知识至关重要。
2.1.3旅行环境背景
人们在汽车通勤中积极使用屏幕进行工作、导航、娱乐和消磨时间，或在城市环境中的驾车道和交通枢纽被动地接触公共屏幕。先前的研究还指出，屏幕曝光引起的分心可能会威胁行走和驾驶时的道路安全。技术和屏幕在旅行设置中的重度整合，迫切需要仔细检查旅行环境中的屏幕行为，以便为交通规划和制定鼓励负责任使用屏幕的指导方针提供信息。
2.1.4.食物背景
大量研究表明，久坐行为，特别是屏幕时间，与体重变化有关。屏幕上的食品和饮料广告也促进了不健康的饮食习惯。研究发现，观看电视和玩游戏机的时间与饮食自我调节评分负相关，这与COVID-19封锁期间的体重增加直接相关。使用自我报告的屏幕时间和能量摄入数据，之前的一项研究发现屏幕时间与总能量和钠的摄入量较高，以及纤维、蔬菜和水果的摄入量较低有关，尤其是在超重儿童中。
2.1.5.办公桌环境
屏幕时间和久坐时间在本质上是相互关联的，特别是在以办公桌为主的工作场所和学术环境中。现有文献发现，减少屏幕时间和减少坐姿时间的策略之间存在相似之处，例如鼓励站立或移动的人体工学工作站，以及提醒用户休息的基于技术的干预措施。鉴于与工作相关的久坐屏幕时间对健康和工作表现产生的不利影响，如干眼症和压力，审视屏幕暴露与办公桌相关环境之间的关系至关重要，这有助于针对性的自我调节和环境干预，以保护健康并提高整体工作成果。
2.2 传统方法评估屏幕时间和屏幕行为
大多数研究依赖于自我报告的数据和参与者对其屏幕暴露及其环境的估计，例如采访、问卷和时间日记。在研究儿童的屏幕行为时，广泛使用家长报告的问卷。其中，Klakk 等人开发的 SCREENS-Q 问卷包括有关环境因素和屏幕时间的问题，如屏幕媒体环境、早期暴露、父母的媒体使用、父母对孩子媒体使用的看法等，用以测量屏幕行为。通过问卷收集的儿童屏幕使用情况与邻里社会和物理环境特征（如街道连通性、邻里安全、基础设施等）一起，发现二者有稳固的关联。问卷还被用来测量屏幕时间及其与健康问题和自我管理的关联。例如，Lubans 等人研究了青少年限制屏幕时间的动机与他们自报的屏幕时间之间的关系；Maras等人使用多个问卷综合探索了加拿大青少年社区大样本中久坐屏幕时间与抑郁和焦虑症状之间的关系。
另一种常用的检查屏幕行为的方法是在移动设备（如iOS的Screen Time应用程序和Android的Digitox应用程序）或其他数字设备上安装屏幕跟踪应用程序。这些应用程序允许自动记录屏幕时间。利用这种方法，Loid 等人评估了智能手机使用与问题性手机使用之间的关系，以深入了解屏幕使用对个人福祉的影响。有趣的是，之前的一项研究还结合了问卷和跟踪应用方法，以调查影响iPhone用户技术接受的因素。
问卷调查和屏幕时间跟踪应用程序被广泛采用，并且使用这些方法的研究已显著促进了屏幕行为文献的发展。然而，如第2.1节所讨论的，目前文献中对不断变化的使用环境未给予足够的关注，且传统方法难以同时精确测量屏幕行为和环境因素。此外，现有文献也表明，人们倾向于报告过多或报告过少自己的屏幕时间，使得问卷方法容易受到主观评估的影响。考虑到多屏幕使用场景，使用屏幕时间跟踪应用收集不同设备上的同时屏幕时间并获得一个人整体屏幕暴露的准确估计也面临挑战。个体可能会接触到无法回收或不支持跟踪应用的设备上的屏幕。
2.3通过集成可穿戴相机和计算机视觉的潜在突破
传感器与先进的机器学习技术的融合已经革新了对个体行为的研究，范围涵盖健康、日常活动和互动。例如，之前的研究通过在多个家庭物品（如冰箱、微波炉、厕所等）上部署非侵入式状态变化传感器，并整合了支持环境感知的体验抽样的活动识别算法，来检测个体在家中的活动。结合移动和可穿戴传感器（可穿戴健身追踪器和智能手机GPS）的数据，Fritz 等人检测了居民在睡眠期间卧室的占用情况，以进一步估算通风率。Donges 等人使用基于相机的监控来检查建筑中居住者的行为模式，重点关注居住者与建筑设备的互动，以提供关于能源效率的见解。相机录像也被用来监控办公大楼中居住者的行为轨迹，可穿戴追踪器和智能手机被用来调查个人的热舒适度。
可穿戴相机被视为便携式传感器，提供了一种被动监控全面的个人活动和行为变化的可行手段，包括身体运动、饮食以及对环境特征（如绿化、邻里物理无序等）的接触。通过持续拍摄生活记录图像（指通过生活记录实践捕获的照片或视觉记录，这种实践涉及不断记录个人日常生活经验的各个方面），可穿戴相机为研究人员提供了丰富的图像数据，以标示个人的行为模式。它们记录环境和时空数据，记录个人的暴露情况，个人则作为环境的探索者。
当前屏幕行为研究中最具挑战性的方面，广泛应用问卷和屏幕时间跟踪应用程序，是同时、客观且全面地测量屏幕行为及其环境。然而，结合佩戴式摄像头与计算机视觉技术已经为填补这些空白开辟了一条有希望的途径。佩戴式摄像头提供了一种客观的实时记录，不受参与者记忆或自我报告的主观影响。以前，许多研究测试了使用佩戴式摄像头通过手动标注在特定时间间隔拍摄的生活记录图像中显示的不同屏幕类型来测量屏幕暴露时间的可行性。沿着这一方向，有研究者不仅手动分类了屏幕类型和内容，还分类了位置（例如，客厅、卧室、食品零售等）、社会环境、互动（例如，独自一人、与他人共同观看等）以及共存行为（例如，使用笔和纸写作、吃零食等）。值得注意的是，通过将佩戴式摄像头与深度学习算法融合，有研究者提出了一种通过分析佩戴式摄像头拍摄的以第一人称视角视频来检测多种数字屏幕（例如，电视、智能手机、笔记本电脑、平板等）存在的屏幕检测方法，用于屏幕相关的纵向研究。尽管这些新兴方法已经深入探讨了屏幕行为的细微模式，但关于自动检测屏幕使用和同时获取环境信息的方法学仍知之甚少，这本质上可以节省大量的劳动和时间。
【数据与方法】
本研究提出了一个结合可穿戴相机和计算机视觉技术的框架，以改进当前评估屏幕行为的方法，并检查其与不断变化的环境之间的关联（见图一）。
3.1 使用 Narrative Clip 2进行数据收集
2019年5月，通过社交媒体平台组织了一组志愿者，他们因年龄和职业的多样性而涵盖了多种生活方式（表1），以纳入广泛的日常生活场景，从而增强后续分析的稳健性。数据收集的设计旨在获取五名参与者七天的生活记录图像，记录他们从每天开始到就寝时的活动。
Narrative Clip 2 是本研究选择的可穿戴相机。Narrative Clip 2 的紧凑尺寸（36 x 36 x 9 毫米）、轻便性（重量19克）、无声录制能力、高分辨率（3264 x 2448 像素）以及方便的夹式设计使其成为捕捉日常生活记录图像的理想设备。为了确保参与者按照一致的标准记录图像，研究团队建立了一套协议。具体来说，相机被设置为每30秒拍摄一张图像。参与者将 Narrative Clip 2 戴在衣领上，确保相机朝前、无遮挡且在数据收集期间电量充足。为了保护隐私，参与者被培训在不适合拍摄图像的活动或事件期间关闭相机，例如在洗手间、银行或医院等场所。此外，参与者可以在提交前自行删除他们认为不适合分享的图像，以符合他们的舒适度。
累计而言，从参与者那里获得了共30,661张个人图片（相当于总共255.5小时的佩戴时间），详细的数据描述显示在表1中。数据清洗通过微软Azure认知服务的计算机视觉API得以便利，该API自动应用基于成千上万可识别对象的标签到图片上，包括“暗”和“模糊”等标签。总数据集中有1.55%被识别为质量和照明不足，最终保留了30,186张有效图片（占98.45%，相当于251.6小时）用于后续分析。
值得注意的是，第二位参与者（远程工作者）的日常生活记录图像的数量相对较少（N = 3988）。这主要归因于参与者的日常活动涉及许多关注隐私的活动，特别是与母婴护理相关的活动，这些活动不便于进行摄影记录。在最后一天数据收集（表1，9月29日）中，第二位参与者的数据量受到了摄像头电池老化的影响。之前的研究也提到了这个问题，指出随着摄像头年龄的增长，可穿戴摄像头设备的电池寿命会减少，这应该在未来的研究中予以注意。
3.2 使用 YOLOv8 进行屏幕检测
在 Ultralytics YOLOv8 框架（最先进的 YOLO 模型）的帮助下，使用自定义训练数据集训练屏幕检测模型变得便捷。本研究包括手机屏幕、笔记本电脑屏幕、平板屏幕、电视屏幕和桌面计算机显示器屏幕，考虑到了便携式和固定式屏幕的使用。为了提升模型性能，除了从五位参与者中随机选取的自收集图像（N = 1845）之外，还包括了来自 Roboflow Universe 平台的补充数据（N = 197）（用户向 Roboflow 社区共享开放资源数据，Roboflow: 为构建和部署计算机视觉模型提供所需的一切， 无日期）。训练集的详细构成和描述显示在表 2 中。在 Roboflow 上由本研究的第一作者进行全部选定图像的标注过程之后，应用了数据增强（水平翻转）来扩增数据集（N = 3082）。数据集被分为训练集（80%）、验证集（13%）和测试集（7%），训练过程持续了30 个周期。最终训练的模型在从 0.5 到 0.95 的交并比（IoU）阈值范围内，实现了平均精度均值（mAP50-95）为 84.5%。这全面评估了模型在不同重叠标准下的性能，捕捉其在不同交集程度下定位对象的能力。不同屏幕的 mAP50-95 分别为：手机屏幕（87.6%）、笔记本电脑屏幕（90.2%）、平板屏幕（90.4%）、桌面计算机屏幕（72.5%）和电视屏幕（81.7%）。
3.3 使用微软Azure认知服务进行情境检测
本研究选择了与屏幕行为密切相关的基本情境，如第2.1节所讨论的“EN_greenery”（绿化）、“EN_crowd”（人群）、“EN_travel”（旅行）、“EN_food”（食物）和“EN_desk”（桌面），以测试屏幕行为与微环境之间的关联。还选择了“EN_indoor”（室内）以进一步区分室内外环境，这可能会影响个人的屏幕活动。选定的六种情境通过使用微软Azure认知服务从图片中提取的关键词进一步定义。此前，张等人使用微软Azure认知服务提取绿化标签来评估个人绿化暴露，证明了用分类关键词定义情境的可行性。总共从30,186张有效图片中提取了859个关键词。第一作者审查了所有关键词，并根据情境类别筛选出相关的关键词。各个情境类别及其对应含义的完整关键词列表显示在表 3 中。
3.4 结合检测结果
屏幕和情境检测结果被保存在每张图片的唯一文件ID中，这使得通过匹配ID合并它们成为可能。图2展示了每位参与者的样本图片和检测结果。TYPE代表屏幕使用类型，包括非屏幕使用、单屏使用和多屏使用。SCREEN记录了单屏使用和多屏使用的详细屏幕类型。笔记本电脑和台式电脑屏幕的检测被合并为计算机屏幕以进行进一步的详细分析。例如，在图2(b)中，尽管训练模型检测到图片中包含一个笔记本电脑屏幕和一个台式电脑屏幕，结果被简化为多屏使用（TYPE）与计算机+计算机（SCREEN）。对于每张图片，相应的“EN_greenery”（绿化）、“EN_crowd”（人群）、“EN_travel”（旅行）、“EN_indoor”（室内）、“EN_food”（食物）和“EN_desk”（桌面）情境被记录为正（1）或负（0），表示是否检测到该情境。
3.5 屏幕时间测量
4本研究考察人们接触屏幕的时间量，包括单屏幕（“手机”，“笔记本电脑”，“平板电脑”，“电脑”，“电视”）和多屏幕使用（如“手机+电脑”，“手机+平板”，“手机+电视”等）场景。屏幕时间是通过将捕捉到每种屏幕使用类型的照片总数乘以拍照间隔（T=30秒）来计算的。为了展示日常屏幕使用模式，为每位参与者生成了生活记录图。
3.6 屏幕行为与环境之间的关联
为了理解屏幕使用与现实生活环境之间的关系，本研究利用双变量相关分析对由可穿戴摄像头捕捉到的30,186个时刻进行了分析。研究考察了总体屏幕使用、单一屏幕使用以及多屏幕使用与六种不同环境的关系：“EN_greenery”（绿化环境）、“EN_crowd”（人群环境）、“EN_travel”（旅行环境）、“EN_indoor”（室内环境）、“EN_food”（餐饮环境）和“EN_desk”（桌面环境）。目的是揭示可能存在的一致模式或趋势。
【结果】
4.1 累计屏幕时间及按类别分布
在相机佩戴的时间里，超过一半的时间（160.6小时，占63.9%），参与者没有接触任何屏幕。总体来看，单一屏幕接触占33.5%，相当于84.2小时。此外，多屏幕接触占用了2.7%的时间，即6.7小时。屏幕接触时间占记录总时间的36.1%。然而，重要的是要指出，这种方法也可能捕捉到并计算屏幕的被动接触，即记录了屏幕但未积极参与的情况。
根据图3(b)，最常见的单屏使用类型是手机（44.7小时，53.1%）、电脑（28.9小时，34.7%）和平板电脑（6.1小时，7.3%），其次是电视（4.15小时，4.9%）。如图3(c)所示，最常见的多屏使用类型组合前三名是“手机+电脑”（196分钟，48.7%）、“手机+平板”（80.5分钟，20.0%）、“手机+电视”（71分钟，17.6%）。这凸显了人们倾向于进行以移动设备为中心的多屏使用的明显趋势。
4.2 个别参与者的屏幕暴露时间和模式
4.2.1 单一屏幕暴露
如图4所示，快递员和退休教授在日常活动中严重依赖手机，展示了相似的屏幕使用模式。相比之下，远程工作者和办公室工作者在专业任务中显著使用电脑，同时也有大量的手机屏幕暴露。在五位参与者中，大学生的屏幕时间分布相当平衡，涵盖了手机、电脑屏幕和平板屏幕，但电视屏幕的暴露程度较小。
图5(a) 显示了五位参与者的总单一屏幕暴露时间，每种屏幕类型都进行了横向比较。快递员的手机屏幕暴露时间最长（845分钟）。紧随其后的是83岁的退休教授，手机屏幕暴露时间总计809.5分钟。有趣的是，电视屏幕暴露时间最长的也是退休教授（182.5分钟）；在参与者中，办公室工作者以显著的1250分钟电脑屏幕暴露时间超过其他人，而大学生在平板屏幕暴露时间上领先，达到了329分钟。
4.2.2 多屏幕接触
如图 5(b) 所示，大学生是“手机+电脑”、“手机+平板”和“平板+电脑”多屏幕接触持续时间的主要贡献者。在审查大学生的图像时，发现了这种组合屏幕使用的反复模式，这通常发生在与学术相关的活动中，例如在图书馆的集中学习时段或在宿舍进行课程项目的高效努力中。与远程工作者类似，检测到长时间的手机和电脑屏幕接触用于专业工作。远程工作者在同时接触电脑和电视屏幕的时间累积为4.5分钟，个人图像也暗示参与者在开着电视的背景下工作。同时接触手机和电视屏幕的时间主要由退休教授贡献（69.5分钟）。个人图像显示，退休教授常在夜间观看电视节目时使用手机，因此享受这种同时使用屏幕进行娱乐。最后，快递员使用了同类的多个屏幕共33分钟。个人图像显示，快递员同时使用多部手机处理邮件递送任务是常见的。
4.3 由自动框架捕获的个人时间轮廓
与传统方法相比，本研究采用的方法提供了一种更全面的手段来捕捉屏幕使用的各个方面，包括非屏幕使用、单屏使用和不同情境设置下的多屏活动。这一点在图6中得到了直观展示，图中描绘了参与者在室内外场景中对屏幕的暴露。此外，通过考虑个人每日生活记录图像序列中特定屏幕类型的间歇出现，还可以封装离散的时间间隔，从而将这些情况视为独立的屏幕使用事件。例如，观察到送货快递员在一小时内多达23次使用手机，每次平均不到3分钟。然而，由于这些短暂屏幕时间的瞬息性质以及个人认知和回忆的限制，这些情况在传统研究方法中往往会被无意中忽视。
4.4 与屏幕行为显著相关的日常环境
通过研究不同环境中非屏幕使用、单一屏幕使用和多屏幕使用的分布，我们发现EN_desk（桌面环境）和EN_indoor（室内环境）倾向于与其他环境相比，有更大比例的单屏和多屏使用。图6突出显示，户外曝光通常发生在屏幕使用间隙，而长时间的屏幕使用和多屏幕暴露主要在室内观察到。我们进行了Spearman双变量相关性测试，以进一步探讨屏幕使用行为与不断变化的环境之间的关系。表4总结了测试结果，其中EN_greenery（绿化环境）、EN_travel（旅行环境）、EN_crowd（人群环境）和EN_food（餐饮环境）发现与所有三种类型的屏幕使用行为显著且负相关，而EN_indoor和EN_desk与屏幕使用有着强烈的正相关。附录1展示了六种环境中各种单一屏幕暴露的类型及其持续时间分布。
【验证】
5.1 验证设计
问卷调查便于收集参与者在一天中感知的多屏幕时间，尽管它们依赖于主观评估和回忆。另一方面，屏幕时间跟踪应用在客观性方面表现优异。然而，并不是所有设备都可用这些应用。考虑到传统方法的优点和限制，验证测试采用了交叉验证方法，将提出的方法的结果与问卷和屏幕时间跟踪应用方法进行比较。
研究团队邀请了五位参与者中的一位参加验证测试，其任务包括：1) 额外佩戴可穿戴相机两天，2) 在手机上使用屏幕时间助手应用（Android版可用）记录同一时间段的屏幕时间，以及 3) 在两天结束时填写问卷，基于回忆报告屏幕时间。对于单一屏幕使用，问卷询问了参与者的每日接触时间范围，分别是“无”，“少于1小时”，“1-2小时”，“3-4小时”和“超过5小时”。对于多屏幕使用，问卷询问了“哪种多设备组合出现得更频繁？”验证过程的三个部分的详细描述显示在表 5 中。
5.2 验证结果
第A部分：在第一天，采用所提出的方法测得的手机屏幕时间与屏幕时间跟踪应用记录的时间相符为83.7%（计算方法：79.5/95=0.837），而在第二天，这一比例为69.3%（计算方法：39.5/57=0.693）（见图7(a)）。总体而言，佩戴式摄像头方法测得的结果与屏幕时间跟踪应用记录的时间大致匹配为78.3%（计算方法：(79.5 + 39.5)/(95 + 57) = 0.783）。所提出的方法倾向于低估屏幕时间，与其他两种方法相比。这主要有两个原因。首先，它只能识别摄像头框架内的屏幕。因此，如果屏幕在使用中却位于摄像头视野之外，则这些屏幕曝光实例将被遗漏。其次，由于物体遮挡和模型精度的限制，可能有些屏幕未被训练有素的模型检测到。然而，在第二天，无论是采用所提方法测量的屏幕时间还是屏幕时间跟踪应用的测量结果，都没有落在参与者估计的时间范围（1-2小时）内。
第B部分：在两天中，根据所提出的方法测量的计算机屏幕时间均落在通过问卷调查获得的预估屏幕时间范围（超过5小时）内（见图7(b)）。
第C部分：根据所提出的方法，两天中“计算机+计算机”的发生频率高于“手机+计算机”的发生频率。这与第二天获得的问卷结果一致。然而，这与第一天的结果相矛盾，当天参与者声称“手机+计算机”的使用更频繁（见图7(c)）。
【讨论】
6.1 学术贡献
针对传统屏幕接触测量中的局限性，本研究强调将从高分辨率图像数据中提取的丰富行为上下文纳入其中，为观察和分析屏幕行为提供了新的视角。通过应用微软Azure认知服务和自训练的屏幕检测模型，大大减少了前期研究所需的时间和劳动力。该方法论在测量屏幕时间的有效性通过与传统方法的比较得到了验证。此外，屏幕接触与各种上下文（绿化、旅行、人群、室内和食物）之间的强相关性支持了该方法向相关研究领域的转移和应用。这是首次尝试采用可穿戴相机和计算机视觉来自动量化屏幕接触与行为上下文之间的关联。因此，我们主要关注构建理论框架和方法论的完善。
所提出的方法在各个方面超越了传统方法。首先，它克服了问卷调查方法的局限性，问卷调查常常受到参与者记忆模糊和主观回答的问题影响。使用可穿戴相机被动记录生活日志图片，并借助计算机视觉技术提取信息，使得所提方法成为一种比传统方法更方便、可靠且具有相当客观性的选择。其次，与其他记录方法（例如，智能手机时间跟踪应用和浏览器扩展）相比，所提出的方法全面捕捉多屏使用场景。通过设置个人相机定期拍摄，它消除了跨不同设备的冗余记录。这使得能够检查全天候的屏幕曝光水平（包括非屏幕、单屏和多屏活动），特别是在应用于特定人群的大型数据集进行纵向研究时。第三，该方法在比较屏幕基活动累积时间和曝光于不同环境的能力方面表现出色，还能横向评估屏幕使用和不同环境发生的同步性。
6.2 对行为相关研究领域的潜在丰富
这种创新方法也为行为相关研究领域中更全面、更深入的研究开辟了新途径。例如，在餐饮和办公桌环境中检查屏幕暴露，并观察个体随时间的体重变化，有可能验证久坐行为和肥胖文献中关于减少能量摄入的假设，该假设将屏幕时间减少与肥胖缓解联系起来，因为它与减少的能量摄入有关。现有文献识别出近几十年来年轻一代增加屏幕时间和减少绿色时间的同时倾向。通过使用所提出的方法测量累积的室内外绿色暴露和总体屏幕暴露，研究人员可以精确地检查个体如何平衡在自然中的时间和屏幕使用，以及它们对心理和健康结果的影响。
此外，所提出方法的高时间分辨率为时间敏感的屏幕行为研究铺平了道路。例如，如图所示，可以明显看到大学生样本日结束时的电脑屏幕使用有显著集中。在纵向观察中记录并计算夜间屏幕暴露的比例，可以增加数据粒度，探索睡前屏幕使用及其对睡眠模式和质量的影响。
在考虑到工作环境中的环境因素，如热舒适度、办公布局和机械通风等关键元素时，将可穿戴相机与环境传感器（用于测量温度、湿度、空气质量等）结合使用，提供了一个机会来检查室内环境质量如何影响个人的屏幕使用和生产力。此外，将可穿戴相机与固定摄像机或占用传感器结合使用，为探索屏幕接触对个人行为适应和与室内服务系统（例如通风、空调等）的互动的潜在影响铺平了道路，最终影响建筑性能。
6.3 设计用于平衡屏幕使用的环境
相关性结果（表4）表明，花费较少时间在屏幕上的人更有可能花时间接触绿色植被、与他人建立联系以及参与饮食和旅行活动。相比之下，长时间待在室内和靠近办公桌的环境中，更有可能增加屏幕使用时间。基于微环境与屏幕行为之间的稳固关联，可以为未来的室内及环境设计提出建议，以促进现代社会中更平衡的屏幕使用。未来的研究可以关注环境特征对屏幕行为的因果效应，以提供更深入和针对性的设计指导。
6.3.1 绿色空间的整合与户外活动的鼓励
建筑设计师可以考虑将生物亲和设计融入到室内空间中，包括植物、生活墙、自然材料如木材和石材，以及自然光线，以创造更具视觉吸引力和舒缓环境，减少对屏幕的依赖。拥有适于步行的路径、自行车道和可进入的设施的社区，也可以促进户外娱乐活动，如步行、慢跑和骑自行车。提供如户外空间、屋顶花园或室内绿化区等设施，可以鼓励员工和学生休息并在自然和户外环境中度过时间，从而减少过度使用屏幕的可能性。
6.3.2 社交互动区的创设
城市和建筑设计师应优先考虑创造室外公共空间和室内公共空间，鼓励人们与物理环境及其周围环境建立联系。公园、广场和文化空间可以成为面对面互动和社区活动的中心。此外，在建筑空间内指定特定区域，如共用餐饮区或开放合作区，也可以鼓励面对面的交流，并减少屏幕使用。
6.3.3. 灵活的工作空间创建提供灵活性以适应多样化工作方式的工作环境。加入诸如站立式办公桌、灵活的座位安排以及专门的休息区等功能，以减少长时间的屏幕使用。包括可调整的家具和照明在内的人体工程学考虑也可以有助于舒适的工作环境，并帮助改善屏幕使用情况。
6.4. 局限性
尽管上述方法具有优势，但仍存在一些局限性。
- 类似于其他记录方法（例如智能手机应用、浏览器扩展等），识别屏幕的关注度和集中力仍然是一个挑战，尤其是在多屏幕曝光场景中区分哪个屏幕更受个人关注。
- 由于Narrative Clip 2的可用性有限且成本较高，收集跨多个参与者的长期和广泛数据变得具有挑战性。我们仅利用五名参与者在七天内的数据进行相关性分析。
- 对于验证过程，样本量有限（1名参与者，2天）。尽管我们试图扩大数据集，但由于时间和人力有限，我们受限于监控参与者每天执行三项并行任务（穿戴可穿戴相机并确保正确拍摄，回传屏幕时间应用报告的截图，以及填写并回传问卷）。此外，并非所有参与者都频繁使用计算机和手机屏幕，以确保能收集到可比较的屏幕时间数据，这也缩小了我们在验证过程中选择参与者的选项。
在图7(a)和(c)中，我们注意到传统方法与所提方法获得的结果之间存在差异。然而，由于验证数据集的可用性和粒度有限，我们无法对三种方法的准确性进行全面比较。具体来说，我们未能找到适合安装在参与者计算机上的软件，以客观地测量验证部分B和C的计算机屏幕时间和多屏时间。此外，我们设置的屏幕时间范围以及我们在问卷中获取多屏时间的方式，导致与客观方法（屏幕时间跟踪应用和所提方法）获得的屏幕时间数据相比，更为粗糙。
- 由隐私担忧和电池耗尽引起的非随机数据丢失是需要关注的潜在问题，这在可穿戴相机方法中尤其如此。
6.5 方法论的潜在未来增强
未来研究可以应用以下策略来增强方法，以解决上述局限性。
- 监测屏幕关注度
可以使用带有更宽角镜头和更短拍摄间隔的可穿戴摄像机型号（例如，iON SnapCam, GoPro）来增强对周围环境的包含。未来的研究还可以专注于开发更复杂的计算机视觉模型，以检测屏幕内容和亮度变化的频率，从而预测个人的屏幕关注度。
- 扩大样本大小和完善验证过程
招募更广泛和特定的参与者群体（例如，办公室专业人士、老年人），并观察更长时间框架内的屏幕行为，以收集更大的数据集并获得更多实证证据支持分析。此外，应包括更广泛的数据集范围（例如，更多天数和更多参与者），在问卷中使用更细粒度的时间范围（例如，30分钟间隔而不是1小时间隔），更全面覆盖多屏幕使用案例（例如，增加更多屏幕类型如平板电脑，以涵盖多样化的多屏幕场景），并且应加入比较客观的屏幕时间测量方法（例如，基于应用的计算机和平板电脑屏幕时间估计），以加强验证。
- 提高实验过程的文档记录和监测
要求参与者每天记录手动删除的照片数量和非捕捉时间的持续时间，并使用回忆日志为后续更精确的分析提供证据。使用新购买的设备来减轻电池老化问题，并应及时更换设备，定期监控相机的性能。此外，为了未来的实验，可以通过更加严格的实验前培训，增强公众的隐私保护。
【结论】
本研究引入了一种开创性的方法，用于在自由活动场景中测量屏幕行为，利用可穿戴相机和计算机视觉技术。这种方法不仅大幅减少了传统方法所需的时间和劳动，而且确保了屏幕时间的客观和准确评估，特别是在多屏幕使用场景中。通过从图像中提取的标签来进一步定义的详细行为上下文，有助于更密切地检查屏幕行为。各种上下文与屏幕使用之间的强关联为将来的建筑和环境设计的空间干预提供了信息，包括增强自然元素，创建户外空间，设计灵活的布局和可调整的家具，以及促进公共和社区空间。此研究还为在多个相关领域的研穿进展提供了基础，包括久坐行为、肥胖、绿色时间、睡眠模式、工作表现和环境心理学。该方法论的潜在应用超出了研究的范围，为跨学科研究提供了机会，并加深了对个体与其周围环境之间错综复杂的关系的理解。尽管上述提到了进展，这种方法论也存在局限性，如识别内容和屏幕注意力的挑战、电池耗尽和隐私问题导致的数据丢失，以及有限的数据规模。然而，该研究提供了未来改进中应对这些挑战的潜在策略。这项研究不仅激励了公共卫生、建筑、城市规划和技术等领域的研究人员、实践者和政策制定者，而且还鼓励针对特定人群群体使用这一可复制的方法进行更深入的调查。为了对学术社区作出贡献，研究团队计划分享带注释的数据集和训练有素的屏幕检测模型，支持对更广泛数据集的未来研究。通过采纳所提出的方法论及其影响，利益相关者可以积极地为创造更健康、更平衡的环境作出贡献，以适应当代社会中屏幕使用的不断变化的动态。
【Appendix】
