abstract
测量过程的目的是收集、分析和报告客观数据和信息,以支持有效的管理和展示产品、服务和过程的质量。SE测量过程将有助于定义支持项目管理决策所需的信息类型,并实施SE最佳实践以提高性能。SE测量的主要目标是根据项目/组织的需求,包括及时性、满足性能要求和质量属性
1、产品符合标准、有效利用资源以及持续改进流程以降低成本和周期时间,来测量SE过程和工作产品。
测量提供了客观信息,以帮助项目经理在整个项目组织中进行有效沟通、早期识别并纠正问题、做出关键的权衡、跟踪特定项目目标、为决策辩护并提供理由。
1 概述
1.1 目的
如ISO/IEC/IEEE 15288所述,
[6.3.7.1] 测量过程的目的是收集、分析和报告客观数据和信息,以支持有效的管理和展示产品、服务和过程的质量。
1.2 描述
SE 测量过程将有助于定义支持项目管理决策所需的信息类型,并实施 SE 最佳实践以提高性能。SE 测量的主要目标是根据项目/组织的需求,包括及时性、满足性能要求和质量属性、产品符合标准、有效利用资源以及持续改进流程以降低成本和周期时间,来测量 SE 过程和工作产品。
《实用软件和系统测量指南》(国防部和美国陆军,2003年)第1.1节指出:
测量提供了客观信息,以帮助项目经理: - 在整个项目组织中进行有效沟通 - 早期识别并纠正问题 - 做出关键的权衡 - 跟踪特定项目目标 - 为决策辩护并提供理由
具体措施基于信息需求以及如何使用这些信息来做出决策和采取行动。因此,测量作为更大管理过程的一部分存在,并不仅限于项目经理,还包括系统工程师、分析师、设计师、开发者、集成商、物流人员等。要做出的决策激发了需要生成的信息类型,因此也决定了需要进行的测量。
成功的测量的另一个概念是向决策者传达有意义的信息。重要的是,使用这些测量信息的人理解了正在测量的内容以及如何进行解释。
1.3 输入/输出
测量过程的输入和输出列于图5.11中。每个输入和输出的描述在附录E中提供。
1.4 过程活动
测量过程包括以下活动:
准备测量:
- 确定测量利益相关者
2及其测量需求,并制定满足这些需求的策略。
- 确定并选择有助于项目管理和技术表现的相关优先措施。
- 定义基本度量、衍生度量、指标、数据收集、测量频率、测量存储库、报告方法和频率、触发点或阈值以及审查权限。
进行测量: - 收集、处理、存储、验证和分析数据以获得测量结果(信息产品)。 - 与测量利益相关者一起记录和审查测量信息产品,并根据结果建议采取行动。
有关测量过程和活动的更多细节可以在INCOSE系统工程测量入门中找到,这是一本对新手和有经验的从业者都非常有用的指南。
常用方法和技巧:
- 为收集而收集的措施是浪费时间和精力。
- 每个收集的度量都应该定期由度量利益相关者进行审查。至少,关键度量应该每月审查一次,对于更成熟的组织,每周审查一次。
- 一些合同规定了必须满足的效能度量(MOEs)。提供必要洞察力以满足MOEs的衍生性能度量(MOPs)和TPMs是自动包含在测量计划中的度量。其他需要考虑的度量应该提供对项目的技术和程序执行的洞察力(Roedler 和 Jones,2006)。
- 最好的措施需要最小的努力来收集,并且是可重复的,易于理解,并以定期(每周或每月)的趋势数据格式呈现。
- 有许多方法可以向测量利益相关者展示数据。线图和控制图是其中两种更常用的方法。有工具可以帮助进行测量。
- 如果认为需要采取纠正措施,可能需要进一步调查这些措施确定问题的
根本原因
3,以确保纠正措施针对的是原因而不是症状。 - 仅靠测量本身并不能控制或
改进过程
4性能。必须以提供所需洞察力的方式向决策者提供测量结果,以便做出正确的决策。
2 详细说明
2.1 测量概念
测量概念已在先前的工作中进行了扩展,SE测量从业者应参考这些工作以获取更多见解:
- INCOSE系统工程测量入门,v2.0(INCOSE,2010b)
- 技术测量指南,版本1.0(INCOSE和PSM,2005年)
- 系统工程领先指标指南,版本2.0(LAI、INCOSE、PSM和SEARI,2010年)
- ISO/IEC/IEEE 15939,系统和软件工程——测量过程(2007年)
- PSM指南V4.0c,实用软件和系统测量(国防部和美国陆军,2003年)
- CMMI®(测量和定量管理过程领域),版本1.3(软件工程研究所,2010年)
- 实用软件度量:决策者的客观信息(McGarry等人,2001年)
- 系统开发性能测量报告(NDIA,2011)
- SEBoK 第三部分:系统工程与管理/系统工程管理/测量(SEBoK,2014)
2.2 测量方法
如之前引用的《系统工程测量入门》中所讨论的,测量可以被视为一个反馈控制系统。下面的图形显示了可以在系统的三个主要点进行测量。然而,测量的价值并不在于测量行为本身,而是最终对数据的分析以及采取行动来纠正与目标值的偏差或提高当前性能到更理想水平。决定何时采取行动是通过将实际测量值与该测量的目标值进行比较得出的。目标值和在采取行动前允许的目标与实际之间的差异是基于对项目或产品性能达到其所需目标的风险评估。
图5.12进一步表明,将测量过程的规划分为与开发过程相关的措施(人员配置、批准的要求等)和与产品性能相关的措施(产品重量、产品速度等)可能会有优势。这种分离的优势在于认识到与过程相关的措施的利益相关者和数据收集者可能与与产品相关的措施的利益相关者和数据收集者是不同的群体。
2.3 过程导向措施
在组织过程导向措施时,一个合理的方法是根据所支持的组织目标对其进行分类。组织目标可以分为以下几类:
- 成本(开发)
- 计划(发展)
- 质量(过程)
在每个目标下选择的具体措施将是那些被认为对实现产品或组织的目标产生最大风险的流程活动所必需的。
2.4 领先指标
过程相关措施的一个重要子组是领先指标。领先指标是一种用于评估特定活动在项目中应用的有效性的度量方法,它提供有关可能影响系统性能或SE有效性目标的影响的信息。
领先指标可能是一个单独的度量,或一组度量,这些度量在实际实现之前可以预测未来系统的性能。领先指标有助于领导层向客户和最终用户提供价值,同时协助采取干预措施和行动以避免返工和浪费精力。
领先指标与传统的SE度量不同,传统度量提供状态和历史信息,而领先指标使用一种基于趋势信息的方法,允许进行预测分析(前瞻性)。通过分析趋势,可以预测某些活动的结果。趋势分析提供了对被测量实体以及对其他实体的潜在影响的洞察力。这为领导者提供了他们需要的数据,以便做出明智的决策,并在必要时以积极主动的方式在项目中采取预防或纠正措施。虽然领先指标看起来与现有的度量相似,并且经常使用相同的基础信息,但区别在于如何收集、评估、解释和使用这些信息来提供前瞻性的视角。领先指标度量的例子包括以下内容:
- 需求趋势 —— 系统定义相对于计划的成熟度。需求趋势描述了可能影响设计和生产的系统需求的稳定性和完整性。
- 接口趋势 —— 按照计划完成接口规范的关闭。缺乏及时的关闭可能会对系统架构、设计、实施和/或验证和确认(V&V)产生不利影响,其中任何一项都可能带来技术、成本和进度的影响。
需求验证
5趋势 —— 确保客户需求有效且被正确理解的计划进展。不利的趋势将对系统设计活动产生影响,并相应地影响技术、成本和进度基准以及客户满意度。
有关此主题的更详细处理,包括测量示例,请参阅《系统工程领先指标指南》(Roedler等人,2010年)。
2.5 产品导向措施
如参考文献
6《技术测量》(Roedler 和 Jones,2006)所示,产品度量可以被视为一个相互依赖的层次结构(见图 5.13)。
2.6 MOEs和MOPs
MOEs和MOPs是代表通常收集的措施类型的两个概念。MOEs在INCOSE-TP-2003-020-01,技术测量指南(Roedler和Jones,2006)中被定义如下:
与在特定条件下,在预期的操作环境中实现任务或操作目标密切相关的”操作”成功措施;即解决方案在多大程度上实现了预期目的。(改编自DoD 5000.2,DAU和INCOSE)
MOPs定义如下:
描述与系统操作相关的物理或功能属性的措施,这些措施在特定的测试和/或操作环境条件下进行测量或估计。(改编自DoD 5000.2、DAU、INCOSE和EPI 280-04,LM集成测量指南)
从收购者(客户/用户)的角度来看,MOEs是收购者在整个生命周期中实现性能、适用性和可负担性任务需求的关键指标。
尽管它们独立于任何特定的解决方案,但MOE是收购方用于交付的系统、服务和/或过程的整体操作成功标准(例如,任务性能、安全性
7、可操作性、操作可用性等)。INCOSE-TP-2003-020-01,《技术测量指南》(Roedler和Jones,2006年),第3.2.1节对此主题进行了进一步讨论。
MOPs衡量被认为对确保系统具备实现操作目标的能力至关重要的属性。MOPs用于评估系统是否满足设计或性能要求,以满足MOEs。MOPs应从MOEs或其他用户需求
8中得出或提供见解。INCOSE-TP-2003-020-01,《技术测量指南》,第3.2.2节对此主题进行了进一步讨论。
2.7 关键性能参数
关键性能参数(KPPs)在INCOSE-TP-2003-020-01,技术测量指南(Roedler和Jones,2006)中定义如下:
关键性能参数是代表这些能力的性能参数的一个重要子集以及特性如此重要,以至于未能达到性能阈值可能会导致概念或系统被重新评估,或者项目被重新评估或终止。
每个KPP都有一个阈值和目标值。KPP是描述操作性能、支持性和互操作性的主要驱动因素所需的最少性能参数。在定义操作概念和要求时,收购方会定义KPP。
2.8 TPMs
TPMs在INCOSE-TP-2003-020-01,技术测量指南(Roedler和Jones,2006)中被定义如下:
TPM测量系统元素的属性,以确定系统或系统元素在满足或预期满足技术要求或目标方面的表现。
TPM用于评估设计进度、性能要求的符合性或技术风险,并提供对重要项目技术参数状态的可见性,以实现有效管理,从而提高实现项目技术目标的可能性。TPM源自或为MOPs提供洞察力,重点关注系统在设计和实施过程
9中的特定架构元素的关键技术参数。
TPM的选择应仅限于关键的技术阈值或参数,如果这些阈值或参数未达到,项目将面临成本、进度或性能风险。TPM并不是系统或系统元素要求的完整列表。SEMP应定义对TPM的方法(Roedler和Jones,2006)。
如果没有TPM,项目经理可能会陷入仅依赖成本和进度状态的陷阱
10,可能还需要技术人员的口头保证来评估项目进展。这可能导致在计划内和预算内开发的产品无法满足所有关键要求。如图5.14所示,设定值是为了提供限制,以便在TPM超出容差时能及早发现。
定期记录每个TPM的状态,可以持续验证预期和实际技术参数的实现程度。超出设定容差范围的测量值会提醒管理层采取纠正措施。INCOSE-TP-2003-020-01《技术测量指南》第3.2.3节对此主题进行了进一步讨论。