2019, Vol. 22
2. 华中科技大学 同济医学院附属协和医院，湖北 武汉 430000;
3. 武汉大学 中南医院，湖北 武汉 430000;
4. 华中科技大学 机械科学与工程学院，湖北 武汉 430000
2. Union Hospital, Tongji Medical College, Huazhong University of Science and Technology, Wuhan 430000, China;
3. Zhongnan Hospital of Wuhan University, Wuhan 430000, China;
4. School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan 430000, China
随着放疗科技的推陈出新，先进的放疗技术不断应用于临床患者肿瘤诊疗，极大改善了患者的治疗质量和减少了治疗错误的发生。然而，新技术的引入在提高诊疗质量的同时也引入了新的使用失误来源[1]。使用失误通常与人机交互界面的可用性设计有关。绝大部分使用失误造成的医疗器械不良事件可以归因于低劣的用户界面可用性设计。这类器械在设计用户界面时往往没有将用户的使用能力、认知能力以及自身限制考虑进去。2016年，美国医学物理学家学会下属的TG100工作组发布的放疗质量风险管理报告中指出，在调强放疗中35.4%的治疗事故是由人为使用失误造成的[2]。当前，已有不少国内外学者对相关医疗器械展开了可用性研究，如呼吸机[3]、腹腔镜[4]、麻醉呼吸机[5]、输液泵[6]、牙科座椅[7]等，研究结果表明提高用户界面可用性设计可以增加用户满意度，降低使用失误。放疗设备作为肿瘤治疗的高端设备，一些较小的人为使用失误很容易导致患者身体健康受到威胁甚至死亡。然而，当前较少有对放射治疗设备的可用性进行研究[8]。因此，本文以启发式评估和用户测试为基础，从专家和用户的角度全面评估2种国产放疗设备用户界面的可用性设计，为提高患者诊疗安全和改进设备用户界面可用性设计作出有益探索。
1 研究方法 1.1 放疗设备研究选取了2种不同品牌的放疗设备：厂家A 型号NPRTS医用加速器与厂家B 型号Hm-J-16-1医用加速器。2种加速器均能进行肿瘤的常规治疗和适形治疗，且功能基本相似，故纳入研究进行对比评估。研究在2所三甲医院肿瘤治疗中心进行。
1.2 专家评估专家评估采用启发式评估法。研究表明，3~5个可用性专家，依据特定的评估原则，通过在评估的产品上执行特定的操作任务，可以发现产品存在75%的可用性问题[9]。为了全面评估2种国产放疗设备存在的可用性问题，研究纳入了3位可用性专家。测试前，3位可用性专家均在测试医院对每台放疗设备进行了为期3天的使用流程及治疗操作的现场观察及培训。
依据对2种放疗设备的现场观察结果，可用性专家总结出了放疗技师的常规操作任务列表以及设备使用流程图。为保证设备及专家的安全，可用性专家未被允许在放疗设备上执行操作任务。因此，课题组为每种放疗设备各招募了1名经验丰富的放疗技师，代替专家执行总结的操作任务列表并同时解释操作流程。放疗技师在执行任务的过程中，3位可用性专家依据表1的14项启发式评估原则[6]，独立的识别放疗设备用户界面存在的可用性问题，并记录可用性问题违反的启发式原则。
启发式评估结束后，研究人员将专家发现的问题进行汇总合并，剔除重复的可用性问题，总结出每种放疗设备可用性问题列表。3位可用性专家依据表2可用性问题严重程度(Severity)评分量表，对总结的可用性问题列表中的每个可用性问题进行严重程度评分，每个可用性问题的严重程度为3位专家的评分均值。
|
表 2 可用性问题严重程度(Severity)评分量表 Tab. 2 Severity of usability problem in heuristic evaluation |
专家评估并不能全面评价放疗设备的可用性。因此，研究将设备用户的使用体验纳入评价内容，通过测量放疗技师在操作放疗设备时的工作负荷以及他们对放疗设备的感知可用性，结合专家评估的结果综合评价放疗设备的可用性。
1.3.1 测试人员为获取用户操作2种放疗设备的工作负荷和感知可用性，每种测试设备各招募了19名经验丰富的放疗技师。测试前，放疗技师已被告知测试的目的及其注意事项。测试人员在医院工作人员的指导下可以提前熟悉和操作放疗设备。
1.3.2 测试任务针对测试的2种国产放疗设备可执行的治疗功能，测试人员需要在2种放疗设备上执行脑肿瘤三维适形治疗计划(测试用非临床治疗方案，5个治疗野)。
1.3.3 测试工具放疗技师的工作负荷通过NASA-TLX(national aeronautics and space administration task load index)负荷量表进行测量，测试人员通过对量表的6个测量维度(脑力需求、体力需求、时间需求、业绩水平、受挫程度、努力程度)进行主观评分，综合计算出此时的工作负荷[10-11]。NASA-TLX工作负荷量表已广泛应用于医疗领域，用于评估输液泵、监护设备等操作人员的工作负荷[6, 12-13]。NASA-TLX评分结果分布在1~100之间，得分越低，工作负荷越小。
放疗技师的感知系统可用性通过测试后可用性问卷(post study system usability questionnaire，PSSUQ)进行测量。测试人员通过对问卷的16个主观问题进行评分，从而获得使用者对产品的感知可用性[14]。目前，PSSUQ可用性调查问卷已应用于远程医疗、麻醉等系统的可用性评估[14-16]。PSSUQ问卷的评分结果分布在1~7之间，得分越低，可用性越好。
1.3.4 用户测试流程参与测试的放疗技师在获知研究目的、测试任务后，须在对应设备的放疗机房执行肿瘤三维适形治疗计划。由于测试不能以真实的患者进行试验研究，在该实验中，一个头部测试模体(型号TL-D-T1，上海拓能医疗技术有限公司)用来代替患者模拟出束治疗。治疗计划执行完毕后，测试人员立即填写NASA-TLX负荷量表和PSSUQ测试后可用性问卷，以便研究人员及时获取测试人员此时的工作负荷和对设备的感知可用性。
1.4 统计分析专家发现的可用性问题以及每个可用性问题违反的启发式原则被完整记录下来，每个可用性问题都进行了严重度评分，结果取均值。采用SPSS 20.0统计软件对工作负荷和感知系统可用性等定量数据进行分析研究，组间比较采用独立样本Mann-Whitney U非参数检验，以P＜0.05具有统计学差异。
2 结果 2.1 专家评估依据表1的14项启发式评估原则，3名可用性专家分别在厂家A NPRTS加速器发现了47个可用性问题，在厂家B Hm-J-16-1加速器发现了45个可用性问题。专家评估的具体分析见下述内容。
2.1.1 可用性问题启发式原则违例数统计每一个可用性问题可能违反一个或多个启发式评估原则，因此启发式原则违例数将多于可用性问题数目。在厂家A NPRTS加速器的专家评估中，可用性专家对47个可用性问题共识别了186个启发式原则违例数。其中原则的违例数最多的为错误、反馈、匹配，构成了违例数总数的44.6%。在厂家B Hm-J-16-1加速器45个可用性问题中，可用性专家共识别了226个启发式原则违例数。其中原则的违例数最多的为错误、匹配、灵活性，构成了违例数总数的43.0%。结果如图1所示。
|
图 1 2种放疗设备可用性问题启发式原则违例数统计 Fig. 1 Number of heuristics violated by the two radiotherapy treatment delivery systems |
图2总结了2种放疗设备中发现的可用性问题严重程度分布情况。在研究中，将可用性问题的严重程度划分为4个等级：3.5≤Severity≤4，定义为灾难性可用性问题；2.5≤Severity＜3.5，定义为影响重大可用性问题；1.5≤Severity＜2.5，定义为影响较小可用性问题；0≤Severity＜1.5，定义为可忽略的可用性问题。由图2可知，厂家A NPRTS加速器可用性问题严重程度分布状况为：1个可忽略的可用性问题，23个影响较小的可用性问题，22个影响重大的可用性问题，1个灾难性可用性问题。厂家B Hm-J-16-1加速器可用性问题严重程度分布状况为：29个影响较小的可用性问题，15个影响重大的可用性问题，1个灾难性可用性问题。大部分的可用性问题严重程度多为影响重大或较小的可用性问题。
|
图 2 可用性问题严重程度分布 Fig. 2 Usability problems by severity |
测试的2台放疗设备因故无法进行图像验证操作。设备的放疗执行流程通常分为患者信息审核、患者摆位、出束治疗3个步骤。图3为每种设备在3个步骤中的可用性问题数目及其可用性问题平均严重程度分布状况。由图3可知，厂家A NPRTS加速器大部分可用性问题出现在患者摆位(16)和出束治疗阶段(19)，且可用性问题严重程度最大的在出束治疗阶段(3.0)。厂家B Hm-J-16-1加速器大部分可用性问题也出现在患者摆位(20)和出束治疗阶段(17)，可用性问题严重程度最大的在出束治疗阶段(2.6)。由此可知，大部分可用性问题主要集中在患者摆位和出束治疗阶段，且出束治疗阶段严重程度最大。
|
图 3 可用性问题及其严重程度在放疗流程中的分布 Fig. 3 Number of usability problems and the average severity ratings associated with main task |
表3为严重程度排名前5位的可用性问题。这些可用性问题需要重点加以解决。
|
|
表 3 严重程度排名前5位的可用性问题 Tab. 3 The top five severity rating usability problems for the two radiotherapy treatment delivery systems |
表4为2种放疗设备19名测试人员的工作负荷以及对设备的主观感知可用性。结果表明，测试人员在使用厂家B Hm-J-16-1加速器进行放射治疗操作时，其工作负荷workload(60.772±9.888)高于用户使用厂家A NPRTS加速器的工作负荷(53.089±5.091)，P=0.027。而对于感知系统可用性(PSSUQ)，厂家B Hm-J-16-1加速器的得分(4.013±0.218)也高于厂家A NPRTS加速器的得分(3.146±0.513)，P＜0.01。因此，在测试人员的主观感受方面，厂家B Hm-J-16-1加速器的用户体验要差于厂家A NPRTS加速器的用户体验。
|
|
表 4 放疗设备用户工作负荷(NASA-TLX)与系统可用性(PSSUQ)1) Tab. 4 Radiotherapy system performance in NASA-TLX and PSSUQ metrics |
表5为工作负荷在2种放疗设备中的对比。工作负荷中的3个维度(脑力需求、时间需求、体力需求)依赖于测试者完成测试任务时的感知，而另外3个维度(业绩水平、努力程度、受挫程度)主要依赖于完成任务中与设备交互的感受。对比2种设备的各维度得分，测试者在操作厂家B Hm-J-16-1加速器需要的体力需求(12.491)远大于操作厂家A NPRTS加速器的体力需求(1.913)，P＜0.01。其他维度得分在2种设备间没有显著性差异。
|
|
表 5 用户工作负荷(NASA-TLX)各维度得分在2种放疗设备中的对比1) Tab. 5 NASA-TLX scores distribution in the two radiotherapy treatment delivery systems |
基于上述专家评估和用户测试研究表明，用户界面设计的不同会影响产品的可用性以及用户使用的主观感受。研究结果还表明，测试的2台放疗设备在用户界面设计上还存在较大的改进空间。
专家评估的结果表明，2种设备违背最多的启发式原则是错误和匹配，表明设备厂家需要加大力度改善产品预防错误的能力。从表3严重程度排名前5位的可用性问题可以看出，用户与设备进行交互时，设备基本没有提供自身纠错措施。如用户修改治疗计划重要参数，治疗参数某些实际值超出计划值时，系统自身未能给用户提供有效的预防手段，这将导致严重的治疗隐患，威胁患者的治疗安全。从可用性问题的分布来看，其主要集中于患者摆位和出束治疗2个阶段，特别是出束治疗阶段，其可用性问题的严重程度在整个放疗流程中最高。本文的研究结果与Chan等[8]研究结果一致，在其开展的放疗系统可用性研究中，违背最多的启发式评估原则同样是错误，且患者摆位是出现可用性问题最多、最严重的环节。因此，出束治疗阶段的可用性问题应当引起厂家的广泛关注，该阶段出现使用失误将直接导致患者的人身安全受到损害。在可用性问题严重度分布中，绝大多数可用性问题对测试者与设备交互的影响较小(厂家A NPRTS 23个，厂家B Hm-J-16-1 29个)。这些可用性问题虽然不会对患者诊疗安全造成重大影响，但是用户界面过多的存在类似的可用性问题，会对用户的工作负荷造成累积效应，加大用户使用时的工作负荷，进而增加使用失误发生的概率。
用户测试的结果表明，测试者在操作2种放疗设备的工作负荷较大(厂家A NPRTS 53.089±5.091，厂家B Hm-J-16-1 60.772±9.888)。由于厂家B Hm-J-16-1网络集成度及自动化程度稍低，用户存在着较大的体力负荷需求。Mazur等[17]的研究结果表明，放疗技师的工作负荷与放疗事故的发生率存在潜在的正相关关系。因此，如何改进设备的用户界面设计，提高其可用性，降低用户的操作疲劳，将是设备厂商今后研发新产品需要重点关注的研究点。其次，测试者感知系统可用性(PSSUQ)的结果也表明相较于厂家A NPRTS，厂家B Hm-J-16-1用户界面的可用性设计还存有较大的提升空间。Chan等[18]的研究发现，提高放疗操作软件的人机交互界面可用性设计，可以最大化地减少使用失误以及提高用户满意度。此外，Marks等[19]的研究表明，提高如计算机显示屏幕的页面布局、治疗控制台以及功能按键的交互界面可用性设计，可以有效降低操作人员的精神负荷，从而增强患者的就诊安全。因此，设备厂商在提升技术的前提下，还应当注重设备用户界面的可用性设计，增强用户体验，减少使用失误。
4 结语本文为国产放疗设备的用户界面可用性研究提供了可利用的测试资料。研究结果表明，国产设备在用户界面可用性设计方面还存在着较大的缺陷，设备厂商需要加强设备的可用性设计，从而增强用户体验，预防使用失误，提高产品的市场竞争力。本文为厂商用户界面设计改善提供了借鉴资料，可为医院放疗产品采购决策者提供相关的决策依据。
| [1] |
MARKS L B, LIGHT K L, HUBBS J L, et al. The impact of advanced technologies on treatment deviations in radiation treatment delivery[J].
International Journal of Radiation Oncology Biology Physics, 2007, 69(5): 1579-1586.
DOI: 10.1016/j.ijrobp.2007.08.017. |
| [2] |
HUQ M S, FRAASS B A, DUNSCOMBE P B, et al. The report of task group 100 of the AAPM: application of risk analysis methods to radiation therapy quality management[J].
Medical Physics, 2016, 43(7): 4209-4262.
DOI: 10.1118/1.4947547. |
| [3] |
MARJANOVIC N S, DE SIMONE A, JEGOU G, et al. A new global and comprehensive model for ICU ventilator performances evaluation[J].
Annals of Intensive Care, 2017, 7(1): 68.
DOI: 10.1186/s13613-017-0285-2. |
| [4] |
MCCRORY B, LOWNDES B R, LAGRANGE C A, et al. Comparative usability testing of conventional and single incision laparoscopic surgery devices[J].
Human Factors: The Journal of the Human Factors and Ergonomics Society, 2013, 55(3): 619-631.
DOI: 10.1177/0018720812465082. |
| [5] |
SPAETH J, SCHWEIZER T, SCHMUTZ A, et al. Comparative usability of modern anaesthesia ventilators: a human factors study[J].
British Journal of Anaesthesia, 2017, 119(5): 1000-1008.
DOI: 10.1093/bja/aex226. |
| [6] |
ZHANG J, JOHNSON T R, PATEL V L, et al. Using usability heuristics to evaluate patient safety of medical devices[J].
Journal of Biomedical Informatics, 2003, 36(1-2): 23-30.
DOI: 10.1016/S1532-0464(03)00060-1. |
| [7] |
刘力卓, 张文, 何明, 等. 基于人机工程学的牙科椅舒适度改善研究[J].
工业工程, 2018, 21(3): 103-111.
LIU Lizhuo, ZHANG Wen, HE Ming, et al. An improvement research on comfort of dental chair based on ergonomics[J]. Industrial Engineering Journal, 2018, 21(3): 103-111. |
| [8] |
CHAN A J, ISLAM M K, ROSEWALL T, et al. Applying usability heuristics to radiotherapy systems[J].
Radiotherapy & Oncology, 2012, 102(1): 142-147.
|
| [9] |
NIELSEN J. Usability heuristics[M]//NIELSEN J. Usability engineering. San Diego: Academic Press, Inc., Harcourt Brace & Company, 1993, 115-164.
|
| [10] |
HART S G, STAVELAND L E. Development of NASA-TLX (task load index): results of empirical and theoretical research[J].
Advances in Psychology, 1988, 52: 139-183.
DOI: 10.1016/S0166-4115(08)62386-9. |
| [11] |
RUBIO S, DIAZ E, MARTIN J, et al. Evaluation of subjective mental workload: a comparison of SWAT, NASA-TLX, and workload profile methods[J].
Applied Psychology, 2004, 53(1): 61-86.
DOI: 10.1111/apps.2004.53.issue-1. |
| [12] |
CARAYON P, WETTERNECK T B, HUNDT A S, et al. Observing nurse interaction with infusion pump technologies[M/OL]//HENRIKSEN K, BATTLE J B, MARKS E S, et al. Advances in patient safety: from research to implementation. Rockville: Agency for Healthcare Research and Quality, 2005, 2: 349-364. [2018-09-13]. https://www.ncbi.nlm.nih.gov/pubmed/21249836.
|
| [13] |
YOUNG M S, BROOKHUIS K A, WICKENS C D, et al. State of science: mental workload in ergonomics[J].
Ergonomics, 2015, 58(1): 1-17.
DOI: 10.1080/00140139.2014.956151. |
| [14] |
LEWIS J R. Psychometric evaluation of the PSSUQ using data from five years of usability studies[J].
International Journal of Human-Computer Interaction, 2002, 14(3): 463-488.
DOI: 10.1207/S15327590IJHC143&4_11. |
| [15] |
SCHUTTE J, GALES S, FILIPPONE A, et al. Evaluation of a telerehabilitation system for community-based rehabilitation[J].
International Journal of Telerehabilitation, 2012, 4(1): 15-24.
DOI: 10.5195/IJT.2012.6083. |
| [16] |
GORGES M, WINTON P, KOVAL V, et al. Evaluation of an expert system for detecting ventilatory events during anesthesia in a human patient simulator[C]//Proceedings of the 2012 Society for Technology in Anesthesia Annual Meeting. Florida: Society for Technology in Anesthesia, 2012.
|
| [17] |
MAZUR L M, MOSALY P R, JACKSON M, et al. Quantitative assessment of workload and stressors in clinical radiation oncology[J].
International Journal of Radiation Oncology, Biology, Physics, 2012, 83(5): 571-576.
DOI: 10.1016/j.ijrobp.2012.01.063. |
| [18] |
CHAN A J, MOHAMMAD K, ROSEWALL T, et al. The use of human factors methods to identify and mitigate safety issues in radiation therapy[J].
Radiotherapy & Oncology, 2010, 97(3): 596-600.
|
| [19] |
MARKS L B, JACKSON M, XIE L, et al. The challenge of maximizing safety in radiation oncology[J].
Practical Radiation Oncology, 2011, 1(1): 2-14.
DOI: 10.1016/j.prro.2010.10.001. |