2. 中国食品药品检定研究院, 北京1000502
2. National Institutes for Food and Drug Control, Beijing 100050, China
能力验证是利用实验室比对,按照预先制定的准则评价参加者的能力[1]。实验室能力验证最早可追溯至20世纪40年代[2-5],全球第一家能力验证服务平台是美国病理学会(CAP),全世界已有将近30 000家实验室参与CAP的能力验证计划[6-8]。能力验证对参加实验室自身能力建设有重要的作用与意义也是认可机构加入和维持国际相互承认协议(MRA)的必要条件之一[9]能力验证是外部质量评价与自我监控的结合,通过能力验证,可以持续提高实验室的检测能力和水平,保障实验室检测质量,扩展实验室影响。
我国一些行业较早就开始了行业内的实验室间比对活动,但是真正符合国际要求实验室能力验证起步较晚[10]中国食品药品检定研究院于2013年从中国合格评定国家认可委员会获得能力验证提供者的资格[11],组织实施药品检验检测领域的能力验证工作。近年来,随着对检验检测质量的重视,能力验证活动日益增多,对能力验证中采用的方法也日益多样化。
本次研究通过组织缓冲液pH测定的能力验证计划,采用新的统计分析方法与统计工具对结果进行评价。
1 方法 1.1 项目流程影响pH测定的因素有许多,比如环境、电极、校正溶液,人员技能和仪器性能等等,为了集中反映参加实验室的检测能力,本次检验项目中以具有一定缓冲能力的缓冲液作为样本,具体的流程见图 1。
![]() |
图 1 能力验证流程图 Figure 1 Flow chart of proficiency testing |
本次能力验证用样品均为市售Reagecon公司生产的标准缓冲液,从5个不同水平样本中给参加实验室选取两个检测水平(缓冲液1与缓冲液2),分别封装于惰性塑料瓶中。
1.3 样品均匀性检验在所有样品中,以随机方式分别抽取2个水平样品15瓶,每瓶重复测定3次。采用单因子方差分析对检验中的结果进行统计处理。若样品之间无显著性差异,则表明样品是均匀的。判断结果时,根据单因子方差分析法原理,如F < 自由度为(f1,f2)及显著性水平α=0.05的临界值F,则表明样品内和样品间无显著性差异,样品是均匀的[12]。
1.4 稳定性检验2个水平取完整包装的样品各,放置条件分别为高温(60 ℃)、高湿(80%RH),分别于0、1、3、7、14 d 5个时间点取样,每个时间点取样3份,每份测量3次。若样品之间无显著性差异,则表明样品是均匀的。判断结果时,根据t检验法原理,对每一对结果分别计算t值,如果该值小于显著性水平α=0.05的临界值,则表明在测定时间内该样品是稳定的。
1.5 检测方法参加实验室收到样品后建议参考中国药典2015年版四部通则 < 0631 > (pH测定法)项目要求实验。考虑到酸度计更新换代,也可参照美国药典 < 791 > 或欧洲药典2.2.3进行仪器校正。测定时,每次单独取样,在重复性条件下,每个水平测定6次,并计算平均值。
1.6 统计分析方法目前药检系统广泛采用Z比分数作为实验室比对和能力验证判定的参考指数。Z=(结果-指定值)/能力评定标准差。|Z|≤2时,结果为满意;2<|Z|<3时,结果判为可疑;|Z|≥3时,结果为不满意[13]。
在进行Z值计算时,指定值和能力评定标准差有多个获得途径,如参加者、专家实验室等。在这里采用专家实验室获得参数的方法,其中能力评定标准差由精密度实验得出,组织专家实验室进行溶液pH测定,选取包括能力验证检测水平在内5个水平,对8个专家实验室进行精密度实验[11],采用数理统计的方法,对实验数据处理,计算重复性标准差Sr和再现性标准差SR,根据ISO 13528(2015)第8.5节中规定[15],计算,
在均匀性检验和稳定性检验中,使用JMP软件对数据进行处理。在离群值判别和Z值计算时使用EXCEL软件。对统计结果作图分析时,使用SPSS软件。
2 结果 2.1 均匀性检验结果以水平1为例,采用JMP软件对数据进行分析,结果见图 2和表 1。
![]() |
图 2 JMP均匀性检验结果 Figure 2 Results of homogeneity of samples |
![]() |
表 1 JMP均匀性检验结果 Table 1 Results of homogeneity of samples |
此时,F值对应的显著性水平为0.639 2,大于0.05,样品是均匀的。以相同方法,对水平2的样品进行均匀性检验,结果均符合规定。
2.2 稳定性检验结果以水平1样品,在80% RH条件下的稳定性检验为例,使用JMP软件进行,结果见图 3和表 2。
![]() |
图 3 稳定性检验结果 Figure 3 Results of stability of samples |
![]() |
表 2 稳定性检验阈值矩阵 Table 2 Threshold matrix of stability of samples |
LSD阈值矩阵中均为负值,表明各对均值无显著性差异。可得出结论,水平1的样品的80% RH条件下,稳定性能满足要求。使用JMP对水平1样品在60 ℃,和水平2样品在80%RH与60 ℃,这3种情况进行分析,结果均符合要求。
2.3 精密度 2.3.1 专家实验室原始数据汇总8个实验室的测量结果,未发现明显不规则的测量数据。
2.3.2 一致性检验对测试结果的一致性和离群值进行检查。计算各水平和实验室的曼德尔h统计量和k统计量,结果见图 4。由图可知,存在数个超过h临界值2.06和k临界值1.97的数据,可能存在歧离值或离群值,用数值法进行进一步检验。
![]() |
图 4 按实验室进行分组的实验室间一致性曼德尔h图和k图 Figure 4 Mandel's h and k graph for the consistency grouped by laboratories |
柯克伦检验检验离群值,是对实验室内变异的检验。计算得到的柯克伦统计量C列于表 3。
![]() |
表 3 柯克伦检验结果 Table 3 Results of Cochran test |
没有歧离值,说明各参加实验室的室内方差均满足规定。柯克伦准则是单侧离群值检验,所验证的为一组标准差中的最大值。小的标准差值可能很大程度上受原始数据修约程度的影响,并不可靠。另外,似乎并没有理由拒绝一个比其他实验室精密度都要高的实验室的数据[12]。因此柯克伦检验是合理的。
2.3.4 格拉布斯检验格拉布斯检验主要是对实验室间变异的检验。将格拉布斯检验应用于单元平均值。计算得到的格拉布斯统计量列于表 4。
![]() |
表 4 格拉布斯检验结果 Table 4 Results of Grubbs test |
其中水平1的单个低值大于临界值,为离群值,将该水平最低值剔除,再次进行格拉布斯检验,无离群值。剔除水平1中的最低值单元,即实验室4在水平1的测量结果,其他数据予以保留。
2.3.5 参数计算根据格拉布斯检验,剔除异常值后的实验数据,按GB/T 6379.2—2004进行统计分析。对每个水平
![]() |
表 5 不同水平pH测定的 |
根据表 4,m与重复性标准差Sr没有明显的依赖关系。随着m值的加大显然再现性标准差SR也在增加,所以可能可以建立再现性标准差与m之间的某种关系,借助Excel对SR与m的关系进行线性和对数2种拟合,得到的趋势线与回归方程见图 5,其中线性回归的相关系数r=0.988,对数回归的相关系数r=0.967。
![]() |
图 5 线性拟合函数关系图 Figure 5 Linearity fitting graph |
对于再现性而言,2条曲线拟合的都较好。但是拟合出的曲线与y轴的截距均为负值,不符合GB/T 6379—2004《测量方法与结果的准确度(正确度与精密度)》的第2部分《确定标准测量方法重复性与再现性的基本方法》中第7.5.1节中对于函数关系的要求,不予采用。同时考虑到标准差的绝对值较小,采用这些量的平均值作为重复性标准差和再现性标准差的终值。
![]() |
图 6 对数拟合函数关系图 Figure 6 Logarithmic fitting graph |
鉴于测量精密度与检测水平m之间不存在相关性,取各水平的平均值作为测量方法精密度,由此溶液pH测定的重复性标准差Sr=0.006,再现性标准差SR=0.023。
根据ISO 13528(2015)中第8.5节规定,计算
采用专家实验室测试结果的平均值作为指定值。对于水平1,指定值为4.66;水平2,指定值为9.22。
2.4.3 评价结果根据Z=(结果-指定值)/能力评定标准差,对提交结果的251家实验室进行数据统计。将此次能力验证的结果用象限散点图表示,可以直观地展示数据的分布情况(见图 7)。
![]() |
图 7 实验室Z比分数散点图 Figure 7 The scatter diagram of laboratory Z score |
检测水平1满意结果为238家,占参加实验室的94.82%;可疑结果为6家实验室,占参加实验室的2.39%。检测水平2满意结果为223家,占参加实验室的88.84%,可疑结果为9家,占参加实验室的3.58%。
各实验室检测项目中有1个水平不满意即判定此实验室评价结果为不满意,剩余实验室中有1个水平为可疑即判定此实验室评价结果为可疑,其余为满意结果。实验室总的满意率为86.45%,可疑率为4.78%,不满意率为8.76%。
3 讨论在能力验证评价时采用了选择专家实验室进行前期实验,评价出pH测定检验能力的重复性和再现性标准差,进而获得能力验证评价参数的方法。这种方式不同于目前国内外较常使用的以中位值和NIQR为评价参数的稳健性方法,在这种方法中评价参数独立于参加者结果,可以有效地防止整体样本数据偏离带来的评价误差,也在一定程度上减少了实验室串通对结果评价的影响。
本次能力验证中,尝试性的采用了一些新的统计软件。在均匀性检验和稳定性检验中,使用JMP软件对数据进行处理。JMP算法源于SAS(全球最大的统计学软件公司),是SAS推出的交互式可视化统计发现软件。在医药领域,FDA对于药企申报的新药报告中的统计分析部分,只接受用SAS和JMP分析得出的统计结果。JMP的统计分析是权威可靠的。该软件以简单的方式实现复杂高效的分析,无需学习统计原理,能解决实际问题,非常适合非统计专业背景的数据分析人员使用。
将Z比分数反映在散点图上,在简化了尤登图的复杂计算的同时,依然可以直观地展现数据的分布情况,比如实验室代码为438的实验室结果位于第一象限,其2份样本的Z值均远大于3,实验室内部存在明显的正偏差,说明该实验室内部pH检测能力体系中存在系统性的正误差,应该从仪器状态、校正溶液、电极情况等硬件方法加以审核。
本轮能力验证结果中反映出有多个实验室是其中1个水平的测量结果不满意导致的不满意结果,表明其检测水平的稳定性欠佳,更应持续参加能力验证项目,提高准确率。
[1] |
ISO/IEC 17043: 2010, 能力验证提供者认可准则[S]. 2010: 3. 7 ISO/IEC 17043: 2010 General requirements for proficiency testing[S]. 2010: 3. 7 |
[2] |
BELK WP, SUNDERMAN FW. A survey of the accuracy of chemical analyses in clinical laboratories[J]. Am J Clin Pathol, 1947, 17(11): 853. DOI:10.1093/ajcp/17.11.853 |
[3] |
SUNDERMAN FW. The history of proficiency testing/quality control[J]. Clin Chem, 1992, 38(7): 1205. |
[4] |
LAESSIG RH, EHRMEYER SS. Proficiency testing programs-promises, progress, and problems.A 40-year prospective[J]. Arch Pathol Lab Med, 1988, 112(4): 329. |
[5] |
SUNDERMAN FW. Forty-five years of proficiency testing[J]. Annal Clin Lab Sci, 1991, 21(2): 143. |
[6] |
刘小娟, 黄亨建, 李萍. 以CAP能力验证提高临床生化检验质量[J]. 检验医学, 2005(5): 470. LIU XJ, HUANG HJ, LI P. Improving quality of clinical laboratory through taking part in College of American Pathologists proficiency testing[J]. Lab Med, 2005(5): 470. |
[7] |
王厚芳, 孙芾, 柳杰. 通过CAP能力验证提高血液寄生虫检查质量[J]. 实验与检验医学, 2006, 24(6): 495. WANG HF, SUN F, LIU J. Improving quality of blood parasite check through taking part in College of American Pathologists proficiency testing[J]. Exper Lab Med, 2006, 24(6): 495. |
[8] |
柯培峰, 梁铮, 黄迪, 等. 化学发光检测系统参加CAP校准检验活动结果的分析[J]. 实用医学杂志, 2011, 27(12): 2254. HE PF, LIANG Z, HUANG D, et al. Analysis of the results of CAP calibration verification in the chemiluminescence detection system[J]. J Pract Med, 2011, 27(12): 2254. DOI:10.3969/j.issn.1006-5725.2011.12.065 |
[9] |
CNAS-RL02: 2010, 能力验证规则[S]. 2010: 5 CNAS-RL02: 2010, Rules for Proficiency Testing[S]. 2010: 5 |
[10] |
宋桂兰. 能力验证工作历史回顾[J]. 中国计量, 2009(2): 35. SONG GL. The review of ability verification work history[J]. China Metrol, 2009(2): 35. |
[11] |
毛歆, 项新华, 肖新月. 2013年食品药品系统实验室能力验证结果分析[J]. 中国药事, 2015(29): 1145. MAO X, XIANG XH, XIAO XY. Proficiency testing results of food and drug laboratories in 2013[J]. Chin Pharm Aff, 2015(29): 1145. |
[12] |
CNAS-G03: 2006, 能力验证样品均匀性和稳定性评价指南[S]. 2015: 4 CNAS-G03: 2006, Guidance on Evaluating the Homogeneity and Stability of Samples Used for Proficiency Testing[S]. 2015: 4 |
[13] |
CNAS-GL02: 能力验证结果的统计处理和能力评价指南[S]. 2015: 4. 4 CNAS-GL02: Guidance on Statistic Treatment of Proficiency Testing Results and Performance Evaluation[S]. 2015: 4. 4 |
[14] |
GB/T 6379. 2-2004, 测量方法与结果的准确度(正确度与精密度)第2部分: 确定标准测量方法重复性与再现性的基本方法[S]. 2005: 7. 3 GB/T 6379. 2-2004, Accuracy(trueness and precision) of measurement methods and results-Part2: Basic method for the determination of repeatability and reproducibility of a standard measurement method[S]. 2005: 7. 3 |
[15] |
ISO 13528: 2015, 实验室间比对能力验证用统计方法[S]. 2015: 8. 5 ISO 13528: 2015, Statistical methods for use in proficiency testing by interlaboratory comparison[S]. 2015: 8. 5 |