扩展功能
文章信息
- 刘芳, 黄敏, 郑健, 潘嘉杰
- LIU Fang, HUANG Min, ZHENG Jian, PAN Jia-jie
- 基于双重策略的指路标志评价体系研究
- Study on Evaluation System of Guide Signs Based on Dual Strategy
- 公路交通科技, 2017, 34(2): 106-112
- Journal of Highway and Transportation Research and Denelopment, 2017, 34(2): 106-112
- 10.3969/j.issn.1002-0268.2017.02.017
-
文章历史
- 收稿日期: 2016-06-07
2. 广东省智能交通系统重点实验室, 广东 广州 510006
2. Guangdong Provincial Key Laboratory of ITS, Guangzhou Guangdong 510006, China
指路标志是交通静态诱导系统的重要组成部分。研究表明,76.9%的出行者认为指路标志的作用非常重要[1]。近年来,城市化进程加快,道路建设日益复杂化,指路标志的更新滞后,导致指引信息混乱;国家标准《道路交通标志和标线》(GB5768.2— 2009)的更新带来各地方标准的修订,现有指路标志大多已远落后于标准。因此,指路标志的系统性整改迫在眉睫。上海、广州、深圳、中山等大中型城市日益重视标志标线的设计与管理,并展开了大量的调研与优化工作。以广州市为例,2013年广州市交通委员会牵头重新修订了《广州市道路交通指路标志系统设计技术指引研究》作为广州市指路标志设置的重要依据,并于同期对所辖各区指路标志的布设情况进行了深入调研,为市内指路标志的优化提供重要的数据支持。在指路标志的整改过程中,最重要的是对现有指路标志进行系统性综合评价,发现其存在的主要问题,并进行整改优先性的排序。
很多学者使用多种方法从多角度对指路标志的评价进行了研究。朱丽丽、刘小明、刘光辉等[2-4]从效用角度、版面工效性、信息过载量等多个角度建立了一系列定量的指路标志评价指标。熊坚、王笃明、王钦梅等[5-7]提出了用模拟驾驶试验、微观仿真等方法对指路标志认知性进行定性评价,但缺少适用于指路标志整改工程的综合性强、整改重点突出的定量评价体系。现有评价方法主要分为主观评价法和客观评价法。其中主观评价方法根据专家专业知识进行评价,其层次分析法将定性比较转化为定量评价,适用于复杂、多层次的综合评价[8];客观评价方法将实际数据的信息体现在评价结果中,其熵值法可以捕捉数据之间的联系,从数据中获取有用信息[9]。由于指路标志的评价综合性强、系统性强、评价指标之间关系复杂、海量调研数据蕴含丰富信息,故本文在构建指路标志评价指标的基础上,结合主客观评价方式构建基于双重策略的指路标志评价方法,并在广州市天河区中进行应用。
1 构建指路标志评价体系 1.1 指路标志评价体系本文通过对现有指路标志的调研分析,结合国家标准以及前人的研究成果,将现有指路标志存在的问题划分为以下4个方面:指路标志牌以外的环境是否使驾驶员对指路标志的认知产生干扰;指路标志牌的设置位置是否符合驾驶员的认知和行动距离;指路标志牌的设计是否符合国家标准和地方规范;指引信息是否满足驾驶员寻路的需求。
|
| 图 1 指路标志评价体系 Fig. 1 Evaluation system of guide signs |
| |
根据以上4个方面的问题,提出12个评价点,构建指路标志评价体系。
1.2 指路标志评价指标为了后续权重计算的简便性,将上述指路标志可能存在的问题确定为10个评价指标,并以100%为最大值,且指标越接近100%,说明指路标志存在问题越少。
(1) 指路标志无遮挡率
道路两侧及隔离带上树木或设置的广告牌、管线等,应当与指路标志保持必要的距离,不得遮挡指路标志,妨碍安全视距。
|
(1) |
式中,Pc为指路标志无遮挡率;Nc为评价区域内被遮挡的指路标志数;Nt为评价区域内指路标志总数。
(2) 指路标志信息无干扰率
指路标志的支撑架上不应悬挂与指路标志无关的其他标志,否则会对驾驶员的认读产生干扰[10]。
|
(2) |
式中,Pd为指路标志信息无干扰率;Nd为评价区域内有干扰的指路标志数。
(3) 指路标志设置位置合理率
指路标志设置位置合理包括指路标志距离分流点的距离合理以及指路标志的支撑杆悬挑长度能满足驾驶员的视认需求。《城市道路交通标志和标线设置规范》(GB50688—2011)(下称《规范》)规定,城市道路的指路标志应在距离分流点30~50 m处[11]。指路标志的悬挑长度应使靠近道路中心线的驾驶员有足够时间接收到和处理指路标志牌的信息。
|
(3) |
式中,Pl为指路标志设置位置合理率;Nl为评价区域内设置位置不合理的指路标志数。
(4) 指路标志规范符合率
指路标志规范符合包括标志牌颜色、形状、尺寸符合规范,标志牌使用箭头正确以及标志牌的方向标正确。《道路交通标志和标线》(下称《标准》)对城市道路指路标志的颜色、形状、字体、牌面规格、板面布设等作出了具体要求[12]。
|
(4) |
式中,Ps为指路标志规范符合率;Ns为评价区域内符合规范要求的指路标志数。
(5) 路口指路标志覆盖率
一般来说,道路中的交叉口需要设置指路标志,以指引驾驶员行驶在正确的路径上[13]。
|
(5) |
式中,Pin为路口指路标志覆盖率;Nin为评价区域内有指路标志覆盖的路口;Jin为评价区域内的路口总数。
(6) 指引信息未过载率
当指示信息量超过6条时,视认性出现急剧下降,因此《标准》建议指路标志的指示信息量不宜超过6个。同时,指路信息应与前方交叉口路面相关联,且同一方向指示的目的地信息数量不应超过2条。
|
(6) |
式中,Pu为指引信息未过载率;Nu为评价区域内指引信息过载的标志数。
(7) 嵌套使用正确率
《规范》规定限高、限重标志结合特殊的道路信息(如隧道、桥梁名称),禁止某车种通行的禁令标志,禁止某方向通行的禁令标志嵌套于路径指引标志中。其余标志不可嵌套于指路标志。
|
(7) |
式中,Pi为嵌套使用正确率;Ni为评价区域内嵌套不正确指路标志数。
(8) 指引信息正确率
指路信息应与前方交叉口路面相关联,同一方向需选取2条信息时,应在1行或2行内按照信息由近到远的顺序,从左至右或从上至下排列指路标志的指示信息。
|
(8) |
式中,Pr为指示信息正确率;Nr为评价区域内指示信息正确的指路标志数。
(9) 指引信息无漏标率
指路标志的作用之一是在交叉口前设置指路标志,告知驾驶员前方交叉口连接路段信息。如果一条道路相邻交叉口中间有一个交叉口遗漏了该信息,就会造成驾驶员的误判或误操作。
|
(9) |
式中,Pm为指引信息无漏标率;Nm为评价区域内漏标连接路段信息的标志数。
(10) 指引信息分级比例
《规范》根据指引信息的重要程度、道路等级、服务功能等将其分成A,B,C 3个层次。一般来说,指路标志优先指示所在道路等级对应的同一层次信息,有条件再考虑上一层次信息或下一层次信息。
|
(10) |
式中,Pk为k层(A,B,C)信息的占有比例;Ik为k层信息的数量;It为评价区域内所有信息的数量。
2 基于双重策略的指标动态赋权评价法目前确定权重的方式主要有两种:一种是主观赋权法,即采取综合咨询评分的定性方法确定权数,然后对无量纲后的数据进行综合,如综合指数法、专家评价法、AHP法等;另一种是客观赋权法,即根据各指标之间的相关关系或各项指标值的变异程度来确定权数,如主成分分析法、因子分析法、熵值法等[14]。指路标志评价是综合性的评价,既要考虑专业知识对指标权重的倾向性,又要结合实际数据使指路标志存在的问题体现在权重分配中。因此,为更准确、综合地确定权重,本文采用主观赋权法中的AHP法与客观赋权法中的熵值法加以改进并结合的方式进行指标权重的确定。
2.1 AHP法确定主观权重层次分析法(Analytic Hierarchy Process,AHP)是将决策问题按总目标、各层子目标、评价准则的顺序分解为不同的层次结构,然后用求解判断矩阵特征向量的办法,求得每一层次的各元素对上一层次某元素的优先权重,最后用加权和的方法递阶归并各指标对总目标的最终权重。层次分析法具有很好的系统性,比较适合于具有分层交错评价指标且目标值又难于定量描述的决策问题。
首先将10个评价指标分解为单目标、多准则、多方案构成的树状结构。本文从信息选用正确、信息无干扰、信息连续3个方面作为准则层,确定每项指标的权重。层次结构模型如下:
|
| 图 2 指路标志评价层次分析模型 Fig. 2 Analytic hierarchy model of guide sign evaluation |
| |
对于指路标志的评价体系,指引信息的正确性、指引信息未受外部干扰、指引信息的连续都直接影响驾驶员的判断和行为,因此本文认为3个准则层处于同等重要的地位。在每个准则层下用专家打分法对各指标进行重要性排序,并根据其相对重要性构造判断矩阵。对每个判断矩阵计算最大特征根及对应特征向量,利用一致性检验比率CR做一致性检验,计算得到CR=0.033 693 426<0.1,即通过一致性检验,各评价指标权重分配合理。
| 评价指标 | 指路标志无遮挡率 | 指路标志无干扰率 | 指路标志设置位置合理率 | 指路标志符合规范率 | 路口指路标志覆盖率 | 指引信息未过载率 | 指引信息嵌套正确率 | 指引信息正确率 | 指引信息无漏标率 | 指引信息分级比例 |
| 权重λj | 8.89 | 9.29 | 6.00 | 8.02 | 7.36 | 6.22 | 14.50 | 18.3 | 9.88 | 10.18 |
2.2 用改进熵值法动态调整指标权重
根据AHP法求得的权重λj以及待评数据,利用改进熵值法调整评价指标的权重并计算综合评价分数。
熵是对系统不确定性的度量。根据熵的特性,可以通过计算熵值来判断某个指标的离散程度,指标的离散程度越大,该指标对综合评价的影响越大[15]。
传统熵值法只将数据波动性作为权重分配的唯一标准,但在实际的指路标志评价中,可能会遇到在所有评价对象中,某项指标整体分数较低,但波动性不明显,说明评价对象存在与该项指标相关的问题,但传统熵值法无法将这一问题表现在权重分配中。因此,将该项评价指标的理论最大值之和作为比值的分母,以有效地将指标绝对大小值与相对离散程度的影响结合体现在权重中,更适用于指路标志系统的评价。
利用熵值法求解权重值之前,首先要进行数据的预处理及归一化,保证评价指标的度量单位及数量级的相同。本评价体系中的评价指标以100%为最大值,且都是大者为优的指标。改进熵值法计算各评价对象的评价综合分数分为以下6个步骤:
(1) 构建由m个待评对象和n项评价指标形成的多属性决策矩阵(aij)m×n,aij为第j项指标下第i个待评对象的指标值。
(2) 计算aij占该项指标理论最大值dj之和的比值rij:
|
(11) |
(3) 计算第j项指标的熵值Ej,数据之间波动性越小,熵值越大,Ejmax=1。
|
(12) |
(4) 计算第j项指标的差异性系数dj。
|
(13) |
(5) 在AHP法给出的权值λj的基础上,利用熵值法求出的权重wj0进行调整,最终确定权重wj:
|
(14) |
(6) 将每个评价对象的评价指标数值按照权重进行加权计算,得到该评价对象的最终评价分数Si。
|
(15) |
通过熵值法确定的最终权重中包含了专业知识、数据绝对值大小、数据波动性3种因素对指标重要性的影响。分析最终权重可以得到待评对象存在问题的严重程度。
3 实例分析天河区位于广州市东部,是广州市老四区之一,总面积96.33 km2,户籍人口69万人。天河区具有优越的区位优势和良好的城区环境,聚集了广州大剧院、广东省博物馆、天河体育中心等众多标志性建筑,是广州市新城市的中心区。
本文以道路为单位,对广州市天河区19条主干道、22条次干道共计922块指路标志牌进行实地调研(图 3中黑点为调研点),并对指路标志的各项信息进行统计。
|
| 图 3 天河区调研地图 Fig. 3 Investigation map of Tianhe District |
| |
利用式(11)~式(14)进行计算,从表 2中的权重可知,天河区主干道和次干道存在的最主要问题为指引信息的分级指引比例不当,指路标志不符合现有规范,指路标志设置位置不够合理问题也比较严重。以上3个方面应是整改工程的重点。指路标志受到干扰的问题存在最少,指引信息的正确性问题也较少。
| 天河区主干道指标权重计算 | 天河区次干道指标权重计算 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 指路标志无遮挡率 | 指路标志无干扰率 | 指路标志设置位置合理率 | 指路标志符合规范率 | 路口指路标志覆盖率 | 指引信息未过载率 | 指引信息嵌套正确率 | 指引信息正确率 | 指引信息无漏标率 | 指引信息分级比例 | 指路标志无遮挡率 | 指路标志无干扰率 | 指路标志设置位置合理率 | 指路标志符合规范率 | 路口指路标志覆盖率 | 指引信息未过载率 | 指引信息嵌套正确率 | 指引信息正确率 | 指引信息无漏标率 | 指引信息分级比例 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Ej | 99.827 5 | 99.997 7 | 94.290 8 | 96.662 5 | 99.268 8 | 99.743 1 | 99.963 2 | 99.996 1 | 99.733 1 | 95.747 | 99.820 8 | 10 000 | 97.391 0 | 91.211 1 | 98.685 | 99.944 4 | 99.997 6 | 99.997 7 | 99.959 3 | 96.742 1 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| dj | 0.172 5 | 0.002 3 | 5.709 2 | 3.337 5 | 0.731 2 | 0.256 9 | 0.036 8 | 0.003 9 | 0.266 9 | 4.253 | 0.179 2 | 0 | 2.609 | 8.788 9 | 1.315 | 0.055 6 | 0.002 4 | 0.002 3 | 0.040 7 | 3.257 9 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| wj | 1.321 3 | 0.018 2 | 29.489 6 | 23.057 4 | 4.638 7 | 1.376 6 | 0.459 8 | 0.061 2 | 2.271 3 | 37.306 | 1.213 1 | 0 | 11.904 | 53.639 7 | 7.369 4 | 0.263 | 0.026 1 | 0.032 8 | 0.305 9 | 25.245 1 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
以天河区主干道为例,将传统熵值法与改进熵值法得到的权重值进行对比,可以看出,二者权重值整体排序相差不大,改进熵值法在传统熵值法只注重数据波动性的基础上增加了数据绝对均值作为影响权重的因子之一,如指路标志设置位置合理率数据均值仅为36.78%,说明主干道中标志设置位置合理率数据不仅波动性大且整体偏低,应该作为整改工程的重点之一,因此,在改进熵值法中权重比例有显著提高。相反,指路标志无遮挡率均值高达93.34%,因此其权重值与传统熵值法相比有所下降。
| 天河区主干道指标权重对比 | ||||||||||
| 指标 | 指路标志无遮挡率 | 指路标志无干扰率 | 指路标志设置位置合理率 | 指路标志符合规范率 | 路口指路标志覆盖率 | 指引信息未过载率 | 指引信息嵌套正确率 | 指引信息正确率 | 指引信息无漏标率 | 指引信息分级比例 |
| AHP | 8.89 | 9.29 | 6 | 8.02 | 7.36 | 6.22 | 14.50 | 18.38 | 9.88 | 10.18 |
| 传统熵值法 | 2.43 | 0.10 | 29.18 | 26.27 | 3.68 | 5.26 | 0.42 | 0.2 | 3.59 | 28.86 |
| 改进熵值法 | 1.17 | 0.02 | 38.65 | 22.60 | 4.95 | 1.74 | 0.25 | 0.03 | 1.81 | 28.79 |
| AHP+改进熵值法 | 1.32 | 0.02 | 29.49 | 23.06 | 4.64 | 1.38 | 0.46 | 0.06 | 2.27 | 37.31 |
最终权重在改进熵值法的基础上还引入了专家的主观评价分数,将主观的专业评价与客观的调研数据特征有机结合,有利于更综合、多角度地评价指路标志,同时为整改工程提供改造重点,如指引信息分级比例的专家评价权重值和改进熵值法得出的权重值都较高,因此是本研究中权重值最高的指标,也是整改工程的重点。
利用式(15)将10个评价指标的数值按照权重进行加权计算,得到天河区主干道和次干道的整改次序及综合得分Si,如表 4所示。
| 整改阶段 | 天河区主干道 | 天河区次干道 | ||||
| 整改次序 | 道路名称 | 综合得分 | 整改次序 | 道路名称 | 综合得分 | |
| 1 | 沙太南路 | 24.41 | 1 | 林和中路 | 21.97 | |
| 2 | 珠吉路 | 26.49 | 2 | 石牌西路 | 24.15 | |
| 第1阶段 | 3 | 大观中路 | 29.53 | 3 | 海清路 | 32.88 |
| 4 | 中山大道 | 30.21 | 4 | 冼村路 | 34.62 | |
| 5 | 东莞庄路 | 34.8 | ||||
| 5 | 科珠路 | 36.56 | 6 | 林和西路 | 37.45 | |
| 6 | 燕岭路 | 36.98 | 7 | 长福路 | 39.09 | |
| 7 | 天源路 | 38.02 | 8 | 黄村大道 | 39.96 | |
| 8 | 禺东西路 | 40.11 | 9 | 天府路 | 40.4 | |
| 9 | 科韵路 | 42.06 | 10 | 体育西路 | 41.11 | |
| 第2阶段 | 10 | 车陂路 | 44.13 | 11 | 石牌东路 | 43.68 |
| 11 | 天河北路 | 45.06 | 12 | 建业路 | 48.71 | |
| 12 | 花城大道 | 49.55 | 13 | 林和东路 | 50.24 | |
| 14 | 体育东路 | 51.21 | ||||
| 15 | 金穗路 | 56.48 | ||||
| 16 | 华夏路 | 57.64 | ||||
| 13 | 黄埔大道 | 50.12 | 17 | 马场路 | 63.8 | |
| 14 | 先烈东路 | 50.98 | 18 | 临江大道 | 66.65 | |
| 15 | 大观南路 | 52.64 | 19 | 汇彩路 | 70.06 | |
| 第3阶段 | 16 | 天河路 | 54.11 | 20 | 海乐路 | 80.54 |
| 17 | 广州大道 | 57.43 | 21 | 平江路 | 89.9 | |
| 18 | 天河东路 | 58.47 | 22 | 五山路 | 91.82 | |
| 19 | 猎德大道 | 59.22 | ||||
从表 4可以看出,天河区主干道沙太南路、珠吉路、大观中路指路标志存在问题较严重,广州大道、天河东路、猎德大道指路标志存在问题相对较少。天河区次干道林和中路、石牌西路、海清路指路标志存在问题较严重,海乐路、平江路、五山路指路标志存在问题较少。建议主干道和次干道按照整改次序分为3个阶段逐步进行整改。
4 结论本文结合城市指路标志整改的大背景,提出将指路标志系统中存在的问题分为4类:外部环境是否对指路标志的认知产生干扰;指路标志牌设置位置是否合理;指路标志牌的设计是否符合国家标准和规范;指引信息是否正确科学合理,并细化为10个评价指标。采用主客观评价方法结合的方式:使用AHP法对10个指标进行初次赋权,并结合数据利用改进的熵值法对指标权重进行动态调整,确定评价指标的权重值。实地调研了广州市天河区19条主干道和22条次干道共计922块指路标志牌的信息,对天河区主次干道的指路标志现状进行了评价,发现主要问题存在于指引信息分层指引不合理、标志版面不满足《标准》、指路标志设置位置不够合理3个方面,并提出天河区主干道和次干道可分为3个阶段逐步整改的方案。在后续研究中,可结合驾驶员的寻路习惯,增加对指路标志系统的认知性、连贯性等评价指标。
| [1] | 王笃明, 胡梦, 葛列众, 等. 城市道路指路标志版面要素信息用户需求研究[J]. 人类工效学, 2015, 21 (2) : 26-30 WANG Du-ming, HU Meng, GE Lie-zhong, et al. User Requirements Analysis of Information Elements on Urban Road Guide Sign[J]. Chinese Journal of Ergonomics, 2015, 21 (2): 26-30 |
| [2] | 朱丽丽.城市交通指路标志信息传输全过程研究[D].北京:北京工业大学,2010. ZHU Li-li. Study on Whole Process of Information Transmission of Urban Traffic Guide Signs[D]. Beijing:Beijing University of Technology, 2010. |
| [3] | 刘光辉, 夏国栋, 潘晓东. 指路标志信息量评价模型研究[J]. 公路工程, 2013, 38 (1) : 169-173 LIU Guang-hui, XIA Guo-dong, PAN Xiao-dong. Evaluation Model of Information in Guide Signs[J]. Highway Engineering, 2013, 38 (1): 169-173 |
| [4] | 刘小明, 张伟, 魏中华, 等. 指路标志版面评价与优化[J]. 北京工业大学学报, 2015, 41 (1) : 95-102 LIU Xiao-ming, ZHANG Wei, WEI Zhong-hua, et al. Evaluation and Optimization of Traffic Guide Sign Layout[J]. Journal of Beijing University of Technology, 2015, 41 (1): 95-102 |
| [5] | 熊坚, 郭凤香, 石玲, 等. 城市交通指路标志的认知性心理学实验评价研究[J]. 武汉理工大学学报:交通科学与工程版, 2011, 35 (6) : 1214-1217 XIONG Jian, GUO Feng-xiang, SHI Ling, et al. Research on Cognition Evaluation of the Urban Guide Signs Based on Cognitive Psychological Experiment[J]. Journal of Wuhan University of Technology:Transportation Science & Engineering Edition, 2011, 35 (6): 1214-1217 |
| [6] | 王笃明, 胡梦, 葛列众, 等. 中国城市道路指路标志典型版面布局导航绩效研究[J]. 人类工效学, 2014, 20 (3) : 22-26 WANG Du-ming, HU Meng, GE Lie-zhong, et al. Navigation Performance of Typical Traffic Sign Layout of Chinese Cities[J]. Chinese Journal of Ergonomics, 2014, 20 (3): 22-26 |
| [7] | 王钦梅. 城市道路指路标志的微观仿真研究与实现[D]. 合肥:中国科学技术大学,2011. WANG Qin-mei. Research on Micro Simulation of Urban Road Guide Signs and Its Realization[D]. Hefei:University of Science and Technology of China, 2011. |
| [8] | VAIDYA O S, KUMAR S. Analytic Hierarchy Process:An Overview of Applications[J]. European Journal of Operational Research, 2006, 169 (1): 1-29 |
| [9] | ZOU Z H, YUN Y, SUN J N. Entropy Method for Determination of Weight of Evaluating Indicators in Fuzzy Synthetic Evaluation for Water Quality Assessment[J]. Journal of Environmental Sciences, 2006, 18 (5): 1020-1023 |
| [10] | 杜志刚, 万红亮, 郑展骥, 等. 城市路侧冗余信息对指路标志视觉干扰实验[J]. 公路交通科技, 2014, 31 (3) : 119-124 DU Zhi-gang, WAN Hong-liang, ZHENG Zhan-ji, et al. Experiment of Visual Interference of Urban Roadside Redundant Information to Guide Sign[J]. Journal of Highway and Transportation Research and Development, 2014, 31 (3): 119-124 |
| [11] | GB 51038-2015,城市道路交通标志和标线设置规范[S]. GB 51038-2015, Code for Layout of Urban Road Traffic Signs and Markings[S]. |
| [12] | GB 5768.2-2009,道路交通标志和标线第2部分:道路交通标志[S]. GB 5768.2-2009, Road Traffic Signs and Markings-Part 2:Road Traffic Signs[S]. |
| [13] | 吴海宾, 黄敏, 饶明雷, 等. 城市道路指路标志设置的评价指标研究[J]. 交通运输系统工程与信息, 2012, 12 (S1) : 45-49 WU Hai-bin, HUANG Min, RAO Ming-lei, et al. Evaluation Index of Urban Road Guide Sign Set[J]. Journal of Transportation Systems Engineering and Information Technology, 2012, 12 (S1): 45-49 |
| [14] | 于洋, 李一军. 基于多策略评价的绩效指标权重确定方法研究[J]. 系统工程理论与实践, 2003, 23 (8) : 8-15 YU Yang, LI Yi-jun. Research on Giving Weight for Performance Indicator Based on the Multi-strategy Method[J]. Systems Engineering-Theory & Practice, 2003, 23 (8): 8-15 |
| [15] | 郭显光. 改进的熵值法及其在经济效益评价中的应用[J]. 系统工程理论与实践, 1998, 18 (12) : 98-102 GUO Xian-guang. Application of Improved Entropy Method in Evaluation of Economic Result[J]. Systems Engineering-Theory & Practice, 1998, 18 (12): 98-102 |
2017, Vol. 34

,