信息系统绩效审计实践初探
白永新（江苏扬州市审计局）
一、 引言
《审计署2008至2012年信息化发展规划》指出：“要探索符合中国国情的信息系统审计，逐步加大对信息系统审计的力度，关注信息系统的可靠性和安全性”。刘家义审计长指出：“今后信息系统审计要抓住三个关键点，即安全性、有效性和经济性”。这对审计机关开展信息系统绩效审计提出了进一步的要求，信息系统绩效评价是信息系统绩效审计的核心也是难点，目前各地审计机关都在积极探索科学有效评价指标及方法。
二、 信息系统绩效审计综合评价指标体系构建
绩效审计综合评价指标体系是指运用数理统计、运筹学原理和事先特定指标体系，对照统一的标准或者评价原则，按照一定的程序，通过采用定量定性对比分析等审计技术方法来衡量、考核信息系统项目一定期间的经济性、效率性、效益性，并做出客观、公正和准确的综合评判的评价指标体系。
（一） 信息系统绩效审计综合评价指标体系构建原则
1、以系统为评价的基本对象
信息系统绩效是对信息系统的经济、效率与效果的评价。信息系统是由人、硬件、软件和数据资源组成，用于及时、正确地收集、加工、存储、传递和提供信息，实现组织中各项活动的管理、调节和控制的人机系统的统称，简单的说是一个人机系统。这要求我们区别于专项资金、公共工程、经济责任、经营管理等与经济事项相关的内容的绩效评价。必须坚持以人机系统作为评价的基本对象。
2、以系统真实合法性为评价的基础
信息系统绩效评价首先建立在信息系统数据真实完整记录反映相关业务情况、信息系统设计部署符合国家法律法规及标准、信息系统涉及的业务流程符合国家法规及行业规范、信息系统操作符合设计原则之上。如果不坚持以信息系统真实合法性作为信息系统绩效评价的基础，无法保证得出的评价结果完整可信。
3、以科学设计的绩效审计标准为评价的前提
信息系统绩效审计评价必须按照一定的评价标准采用审计技术方法来衡量、考核、评价被审计对象绩效水平的，没有评价标准就没有比较。科学设计绩效审计评价标准，是开展绩效审计评价分析的前提，有效开展绩效审计评价，是绩效审计成败的关键。
4、以定量定性统筹分析为评价的依据
信息系统绩效评价的依据分为两个层次：一是定量分析，主要对应信息系统设置指标，可以比较历史最好水平、现实水平或本地区或本行业最好水平以及国内标准与国际标准；二是定性分析，主要是分析信息系统符合国家法律、法规、各项相关政策及信息系统一般控制机及应用控制原则。两者要统筹结合使用，以保证绩效评价的健全。
（二） 信息系统绩效审计评价要素和内容
1、 合法合规性：系统在购买、使用、开发、更新、维护、转移等过程中必须符合相关法律、法规、准则、制度及标准的规定。
2、 安全性：系统硬件和相关设施在遭受各种外力因素破坏时仍能正常运行的物理安全概率、系统软件在遭受黑客、病毒入侵时的逻辑安全以及有关数据文件的安全性。
3、 可靠性：系统运行稳定、易于维护、恢复以及系统输入、处理和输出数据的及时、准确和完整。
4、 经济性：系统开发、运行过程中单位资源投入和成本节约的水平及程度，资源使用的合理性。
5、 效率性：是否用最少的系统资源投入产生最多的用户信息，主要是系统硬件处理能力、软件及数据资源优化利用程度、数据处理速度、查询响应时间。
6、效益性：系统的投入产出比，在财力、人力资源和系统硬件、软件资源的大量投入的下，系统实现组织目标的程度。
7、 真实性：系统数据真实反映业务及管理活动的程度。
8、 完整性：系统数据的正确生成、存储和传输，不被偶然或蓄意删除、修改、伪造、丢失的特性。
（三） 信息系统绩效审计综合评价指标构成
信息系统绩效审计综合评价指标是由“两个层次、五个大类、数十个项目”组成的综合评价指标体系。两个层次是指信息系统绩效审计综合评价指标由总类指标及分项指标统一组成。五个大类是信息系统建设应用过程中涉及到的主要要素包括：组织评价指标、系统基础建设评价指标、系统应用指标、系统安全指标、系统综合效益指标。数十个项目是指信息系统绩效审计综合评价的各个具体指标达到数十项之多并可以项目实际情况适当增减。可将“两个层次、五个大类、数十个项目”指标划分为一级评价及二级评价等量化指标。
三、信息系统绩效审计综合评价指标体系应用：某市建设工程招投标信息系统
（一）建设工程招投标信息系统绩效审计综合评价指标体系的设定
以建设工程招投标信息系统绩效审计为例可以设置如下一级、二级评价指标：
1、需求驱动指标
需求驱动指标反映招投标各相关主体对信息系统的需求程度，如果需求程度高在系统建成投入运行后运用积极性比较高有助于提高工作效率。
需求驱动指标=各相关主体对系统的需求人数/发放调查表人数（各相关主体）
发放调查表调查招投标各方对信息系统必要性的确切意思表示，评价信息系统的需求驱动性，系统必要性高投入运行后使用系统的动力较高，系统发挥效用的可能性大。
2.信息化重视程度
信息化重视程度反映组织对信息化的重视程度和系统规划落实情况，尤其是领导层对系统的重视程度。
信息化重视程度=（（1）+（2）+（3））/3/100
（1） 信息系统建设最高领导者的地位：最高领导者是主要负责人手，得100分；是第二负责人，得70分；是其他领导层成员，得50分；部门领导得30分。
（2） 系统管理人员职位的级别设置：
a) 正式设置管理职位，得50分，否则得0分。
b) 管理职位级别处于组织最高层，得50分，处于中层，得25分
计算方法：a)项得0分，则要素得总分为0，否则，将a)和b)的得分相加。
（3） 系统规划和预算的制定情况
a) 单列系统规划，得50分，分散在总体规划中，得25分，无成文的系统规划，得0分
b) 单列系统预算，得50分，分散在总体预算中，得25分，无成文的系统预算，得0分
计算方法：将a)和b)的得分相加。
信息化重视程度越高说明在系统建设的各个组织层级目标一致，致力于建设有效的信息系统。
3. 组织系统投资控制指标
组织系统投资控制指标反映组织在对信息系统投资方面可能的控制程度。
组织系统投资控制指标=系统投资实现率得分/100
系统投资实现率=（实际投资金额-计划投资金额）/计划投资金额
系统投资实现率大于零，即实际投资金额大于计划投资金额,说明组织在对信息系统投资方面可能的控制程度较弱或者投资计划制定不合理造成超支得0分，系统投资实现率等于零则实际投资金额等于计划投资金额，说明投资计划得到有效执行实现计划目标得50分，反之系统投资实现率小于零，即实际投资金额小于计划投资金额,说明组织在对信息系统投资方面可能的控制程度较强节约了投入，体现系统建设在实现组织目标的过程中具有经济性得分100。
（二）建设工程招投标信息系统绩效审计综合评价指标体系的测评
首先分别计算一级、二级指标，然后具体设定各级评价指标的权重，通过逐项分层加权计算，最后汇总得出总指标分值，并评价信息系统绩效情况。
其计算公式可表示为：
其中：Z为系统绩效评价总指标，m为一级指标个数，n为某一级指标下划分的二级指标个数，n可变， 为某二级指标计算的比率结果， 为其权重， 为某一级指标权重。
以建设工程招投标信息系统绩效审计为例可以设置如下一级、二级评价指标权重表如下表：
一级权重指标图：
二级权重指标综合权重图：
从一、二级重指标可以看出在信息系统绩效评价的探索阶段，绩效评价的基础是信息系统的真实、完整、合法、合规等信息系统审计的成果，一级权重指标中系统基础建设、系统安全性权重占70%，二级权重指标综合权重中数据库设计、数据真实完整、系统安全、系统一般控制、系统应用控制，占50%的综合权重， 只有这样才能降低评价的风险，提高评价的合理性。
四、信息系统绩效审计综合评价指标体系构建的思考
（一）工作前移重点把握审计立项
针对信息系统绩效审计综合评价指标体系的复杂性，在审前准备阶段首先要未雨绸缪严把审计立项关，在项目立项前早定计划根据审计机关自身业务能力情况先选定一批信息系统项目做好审前调查，在确定信息系统能较好的保障数据的安全性、完整性的基础上分析综合评价指标能否合理有效的取得，判断对最终的绩效评价是否准确后再确定恰当的信息系统作为绩效审计项目，并最终采用信息系统绩效审计综合评价指标体系评价信息系统。
（二）提高认识力求降低审计风险
信息系统绩效审计评价同样存在审计风险，在审计实施阶段从降低审计评价风险的角度出发，应增强审计人员对审计评价工作的重视程度，解决好“认识关”。充分认识到信息系统绩效审计综合评价指标体系复杂性，不能等闲视之。只有严肃认真的对待才能做好信息系统绩效审计综合评价，才可以降低审计评价风险，树立审计部门的威信和形象。
（三）强化研究提高审计人员素质
强化绩效理论研究，信息系统绩效评价的探索实践，需要遵循从理论到实践再从实践到理论的认识过程。首先要有组织地开展绩效审计相关理论培训，其次可依据“先易后难，积累经验，分步实施”的原则积极开展绩效审计试点，在实践中提高审计人员的整体素质，增强审计人员综合分析和逻辑思维能力，解决好“能力素质关”，保证审计评价的质量。
（四）确保质量严格执行审计实施方案
在审前调查后根据信息系统审计项目的实际，编制详细合理的审计实施方案包括被审计单位基本情况、审计范围、重要性水平确定和审计风险的评估、审计内容重点和方法、绩效评价指标及方法、审计实施步骤与时间安排、审计组人员组成及分工、审计工作要求等主要内容，在审计中必须按照预先制定的审计实施方案，分析取证并做出客观公正、实事求是进行绩效评价。（白永新）
参考文献：
[1] 李庭燎．全球信息系统审计指南．中国时代经济出版社．2010
[2] 陈耿，王万军，王家新．信息系统审计．清华大学出版社．2009
[3] 庄明来，吴沁红，李俊．信息系统审计内容与方法．中国时代经济出版社．2008
[4] 袁建林，王勃琳，薛亚娟．管理信息系统经济效益评价．河北科技师范学院学报（社会科学版）．2007，（4）
[5] 郝晓玲，肖薇薇．信息系统绩效全过程评价体系研究．情报科学．2006，（8）
[6] 郝晓玲，孙强．信息系统绩效的综合评价机制．中国计算机报．2004，（4）
《审计署2008至2012年信息化发展规划》指出：“要探索符合中国国情的信息系统审计，逐步加大对信息系统审计的力度，关注信息系统的可靠性和安全性”。刘家义审计长指出：“今后信息系统审计要抓住三个关键点，即安全性、有效性和经济性”。这对审计机关开展信息系统绩效审计提出了进一步的要求，信息系统绩效评价是信息系统绩效审计的核心也是难点，目前各地审计机关都在积极探索科学有效评价指标及方法。
二、 信息系统绩效审计综合评价指标体系构建
绩效审计综合评价指标体系是指运用数理统计、运筹学原理和事先特定指标体系，对照统一的标准或者评价原则，按照一定的程序，通过采用定量定性对比分析等审计技术方法来衡量、考核信息系统项目一定期间的经济性、效率性、效益性，并做出客观、公正和准确的综合评判的评价指标体系。
（一） 信息系统绩效审计综合评价指标体系构建原则
1、以系统为评价的基本对象
信息系统绩效是对信息系统的经济、效率与效果的评价。信息系统是由人、硬件、软件和数据资源组成，用于及时、正确地收集、加工、存储、传递和提供信息，实现组织中各项活动的管理、调节和控制的人机系统的统称，简单的说是一个人机系统。这要求我们区别于专项资金、公共工程、经济责任、经营管理等与经济事项相关的内容的绩效评价。必须坚持以人机系统作为评价的基本对象。
2、以系统真实合法性为评价的基础
信息系统绩效评价首先建立在信息系统数据真实完整记录反映相关业务情况、信息系统设计部署符合国家法律法规及标准、信息系统涉及的业务流程符合国家法规及行业规范、信息系统操作符合设计原则之上。如果不坚持以信息系统真实合法性作为信息系统绩效评价的基础，无法保证得出的评价结果完整可信。
3、以科学设计的绩效审计标准为评价的前提
信息系统绩效审计评价必须按照一定的评价标准采用审计技术方法来衡量、考核、评价被审计对象绩效水平的，没有评价标准就没有比较。科学设计绩效审计评价标准，是开展绩效审计评价分析的前提，有效开展绩效审计评价，是绩效审计成败的关键。
4、以定量定性统筹分析为评价的依据
信息系统绩效评价的依据分为两个层次：一是定量分析，主要对应信息系统设置指标，可以比较历史最好水平、现实水平或本地区或本行业最好水平以及国内标准与国际标准；二是定性分析，主要是分析信息系统符合国家法律、法规、各项相关政策及信息系统一般控制机及应用控制原则。两者要统筹结合使用，以保证绩效评价的健全。
（二） 信息系统绩效审计评价要素和内容
1、 合法合规性：系统在购买、使用、开发、更新、维护、转移等过程中必须符合相关法律、法规、准则、制度及标准的规定。
2、 安全性：系统硬件和相关设施在遭受各种外力因素破坏时仍能正常运行的物理安全概率、系统软件在遭受黑客、病毒入侵时的逻辑安全以及有关数据文件的安全性。
3、 可靠性：系统运行稳定、易于维护、恢复以及系统输入、处理和输出数据的及时、准确和完整。
4、 经济性：系统开发、运行过程中单位资源投入和成本节约的水平及程度，资源使用的合理性。
5、 效率性：是否用最少的系统资源投入产生最多的用户信息，主要是系统硬件处理能力、软件及数据资源优化利用程度、数据处理速度、查询响应时间。
6、效益性：系统的投入产出比，在财力、人力资源和系统硬件、软件资源的大量投入的下，系统实现组织目标的程度。
7、 真实性：系统数据真实反映业务及管理活动的程度。
8、 完整性：系统数据的正确生成、存储和传输，不被偶然或蓄意删除、修改、伪造、丢失的特性。
（三） 信息系统绩效审计综合评价指标构成
信息系统绩效审计综合评价指标是由“两个层次、五个大类、数十个项目”组成的综合评价指标体系。两个层次是指信息系统绩效审计综合评价指标由总类指标及分项指标统一组成。五个大类是信息系统建设应用过程中涉及到的主要要素包括：组织评价指标、系统基础建设评价指标、系统应用指标、系统安全指标、系统综合效益指标。数十个项目是指信息系统绩效审计综合评价的各个具体指标达到数十项之多并可以项目实际情况适当增减。可将“两个层次、五个大类、数十个项目”指标划分为一级评价及二级评价等量化指标。
三、信息系统绩效审计综合评价指标体系应用：某市建设工程招投标信息系统
（一）建设工程招投标信息系统绩效审计综合评价指标体系的设定
以建设工程招投标信息系统绩效审计为例可以设置如下一级、二级评价指标：
1、需求驱动指标
需求驱动指标反映招投标各相关主体对信息系统的需求程度，如果需求程度高在系统建成投入运行后运用积极性比较高有助于提高工作效率。
需求驱动指标=各相关主体对系统的需求人数/发放调查表人数（各相关主体）
发放调查表调查招投标各方对信息系统必要性的确切意思表示，评价信息系统的需求驱动性，系统必要性高投入运行后使用系统的动力较高，系统发挥效用的可能性大。
2.信息化重视程度
信息化重视程度反映组织对信息化的重视程度和系统规划落实情况，尤其是领导层对系统的重视程度。
信息化重视程度=（（1）+（2）+（3））/3/100
（1） 信息系统建设最高领导者的地位：最高领导者是主要负责人手，得100分；是第二负责人，得70分；是其他领导层成员，得50分；部门领导得30分。
（2） 系统管理人员职位的级别设置：
a) 正式设置管理职位，得50分，否则得0分。
b) 管理职位级别处于组织最高层，得50分，处于中层，得25分
计算方法：a)项得0分，则要素得总分为0，否则，将a)和b)的得分相加。
（3） 系统规划和预算的制定情况
a) 单列系统规划，得50分，分散在总体规划中，得25分，无成文的系统规划，得0分
b) 单列系统预算，得50分，分散在总体预算中，得25分，无成文的系统预算，得0分
计算方法：将a)和b)的得分相加。
信息化重视程度越高说明在系统建设的各个组织层级目标一致，致力于建设有效的信息系统。
3. 组织系统投资控制指标
组织系统投资控制指标反映组织在对信息系统投资方面可能的控制程度。
组织系统投资控制指标=系统投资实现率得分/100
系统投资实现率=（实际投资金额-计划投资金额）/计划投资金额
系统投资实现率大于零，即实际投资金额大于计划投资金额,说明组织在对信息系统投资方面可能的控制程度较弱或者投资计划制定不合理造成超支得0分，系统投资实现率等于零则实际投资金额等于计划投资金额，说明投资计划得到有效执行实现计划目标得50分，反之系统投资实现率小于零，即实际投资金额小于计划投资金额,说明组织在对信息系统投资方面可能的控制程度较强节约了投入，体现系统建设在实现组织目标的过程中具有经济性得分100。
（二）建设工程招投标信息系统绩效审计综合评价指标体系的测评
首先分别计算一级、二级指标，然后具体设定各级评价指标的权重，通过逐项分层加权计算，最后汇总得出总指标分值，并评价信息系统绩效情况。
其计算公式可表示为：
 |
其中：Z为系统绩效评价总指标，m为一级指标个数，n为某一级指标下划分的二级指标个数，n可变， 为某二级指标计算的比率结果， 为其权重， 为某一级指标权重。
以建设工程招投标信息系统绩效审计为例可以设置如下一级、二级评价指标权重表如下表：
| 一级评价指标 |
权重 |
二级评价指标 |
权重 |
综合权重 |
| 组织评价指标 |
7% |
需求驱动指标 |
40% |
2.80% |
| 信息化重视程度 |
35% |
2.45% |
||
| 组织系统投资控制指标 |
25% |
1.75% |
||
| 系统基础建设评价指标 |
40% |
系统建设投入金额占固定资产总额比率 |
5% |
2.00% |
| 职能部门计算机拥有率 |
5% |
2.00% |
||
| 硬件利用率 |
5% |
2.00% |
||
| 网络性能指标 |
5% |
2.00% |
||
| 计算机联网率 |
5% |
2.00% |
||
| 数据库设计规范程度 |
20% |
8.00% |
||
| 基础数据真实完整性 |
45% |
18.00% |
||
| 数据库空表覆盖率 |
5% |
2.00% |
||
| 系统报错率 |
5% |
2.00% |
||
| 系统应用指标 |
8% |
核心业务流程系统功能覆盖率 |
20% |
1.60% |
| 业务系统使用率 |
20% |
1.60% |
||
| 系统操作技能普及率 |
20% |
1.60% |
||
| 信息技术人员得分率 |
20% |
1.60% |
||
| 系统维护费比率 |
20% |
1.60% |
||
| 系统安全指标 |
30% |
系统安全投入率 |
10% |
3.00% |
| 安全措施应用率 |
10% |
3.00% |
||
| 系统一般控制有效率 |
40% |
12.00% |
||
| 系统应用控制有效率 |
40% |
12.00% |
||
| 系统综合效益指标 |
15% |
招投标项目覆盖率 |
10% |
1.50% |
| 服务流程效率 |
15% |
2.25% |
||
| 服务对象满意度 |
20% |
3.00% |
||
| 招投标系统投放前后业务量上升率 |
15% |
2.25% |
||
| 系统运行后业务人员人平均处理业务金额 |
15% |
2.25% |
||
| 投诉增长率 |
15% |
2.25% |
||
| 相关主体工作量效率 |
10% |
1.50% |
 |
二级权重指标综合权重图：
从一、二级重指标可以看出在信息系统绩效评价的探索阶段，绩效评价的基础是信息系统的真实、完整、合法、合规等信息系统审计的成果，一级权重指标中系统基础建设、系统安全性权重占70%，二级权重指标综合权重中数据库设计、数据真实完整、系统安全、系统一般控制、系统应用控制，占50%的综合权重， 只有这样才能降低评价的风险，提高评价的合理性。
四、信息系统绩效审计综合评价指标体系构建的思考
（一）工作前移重点把握审计立项
针对信息系统绩效审计综合评价指标体系的复杂性，在审前准备阶段首先要未雨绸缪严把审计立项关，在项目立项前早定计划根据审计机关自身业务能力情况先选定一批信息系统项目做好审前调查，在确定信息系统能较好的保障数据的安全性、完整性的基础上分析综合评价指标能否合理有效的取得，判断对最终的绩效评价是否准确后再确定恰当的信息系统作为绩效审计项目，并最终采用信息系统绩效审计综合评价指标体系评价信息系统。
（二）提高认识力求降低审计风险
信息系统绩效审计评价同样存在审计风险，在审计实施阶段从降低审计评价风险的角度出发，应增强审计人员对审计评价工作的重视程度，解决好“认识关”。充分认识到信息系统绩效审计综合评价指标体系复杂性，不能等闲视之。只有严肃认真的对待才能做好信息系统绩效审计综合评价，才可以降低审计评价风险，树立审计部门的威信和形象。
（三）强化研究提高审计人员素质
强化绩效理论研究，信息系统绩效评价的探索实践，需要遵循从理论到实践再从实践到理论的认识过程。首先要有组织地开展绩效审计相关理论培训，其次可依据“先易后难，积累经验，分步实施”的原则积极开展绩效审计试点，在实践中提高审计人员的整体素质，增强审计人员综合分析和逻辑思维能力，解决好“能力素质关”，保证审计评价的质量。
（四）确保质量严格执行审计实施方案
在审前调查后根据信息系统审计项目的实际，编制详细合理的审计实施方案包括被审计单位基本情况、审计范围、重要性水平确定和审计风险的评估、审计内容重点和方法、绩效评价指标及方法、审计实施步骤与时间安排、审计组人员组成及分工、审计工作要求等主要内容，在审计中必须按照预先制定的审计实施方案，分析取证并做出客观公正、实事求是进行绩效评价。（白永新）
参考文献：
[1] 李庭燎．全球信息系统审计指南．中国时代经济出版社．2010
[2] 陈耿，王万军，王家新．信息系统审计．清华大学出版社．2009
[3] 庄明来，吴沁红，李俊．信息系统审计内容与方法．中国时代经济出版社．2008
[4] 袁建林，王勃琳，薛亚娟．管理信息系统经济效益评价．河北科技师范学院学报（社会科学版）．2007，（4）
[5] 郝晓玲，肖薇薇．信息系统绩效全过程评价体系研究．情报科学．2006，（8）
[6] 郝晓玲，孙强．信息系统绩效的综合评价机制．中国计算机报．2004，（4）
| 【关闭】 【打印】 |
