马克·吐温有句名言——谎言有三种：谎言、该死的谎言和统计数据。今天，许多CIO面对衡量指标也有同样的感觉。
衡量标准的好坏取决于其来源。新兴科技咨询公司 Hurwitz Strategies 的首席执行官 Judith Hurwitz 说："通常情况下，技术公司付钱给咨询或分析公司，让他们根据其产品的最佳特性来创建指标。"因此，CIO 们必须谨慎对待表面上的指标，（而且）领导者有必要了解指标背后的数据。"
衡量标准的解释本质上是一种数字游戏，和任何数字游戏一样，它有可能赢也有可能输。以下是IT领导者经常被关键绩效指标（KPI）和其他关键业务和IT指标所误导的七种方式。
1 .不考虑来源
当研究一个指标时，重要的是要知道它是由谁创的以及它的数据来源。例如，结果可能是基于一项调查。如果是这样，询问有多少人接受了调查，以及他们在各自的企业里所扮演的角色。也要检查一下这些指标是否是基于一个经过充分验证的方法。"了解指标背后的研究和数据非常重要，" Hurwitz 说。
还要考虑指标的用途。它是否会被用作一个规划工具？如果是这样，它是否会帮助确定业务战略、技术选择或其他一些需求？"指标只是决策的一个工具，" Hurwitz 指出。"因此，面对待指标应抱以怀疑的态度。"
2 .没能与一线人员配合
到目前为止，大多数企业已经达到了数据成熟度。"如果你的公司有数据，你肯定在利用它，并试图利用分析得出的见解来推动积极的业务成果，"商业智能咨询公司 Cause + Effect Strategy 的总裁兼首席执行官 John Loury 说。"现在是 2022 年，我们已经过了数据丰富，而洞察力不足的时代了。"
Loury 认为，大多数组织在与一线业务人员沟通时挖掘得不够深入，而这些人最终将使用收集到的指标来做出决策和推动行动。在构建分析之前，他建议从所有相关方收集业务需求。Loury 指出，这意味着将指标提炼为与驱动结果最相关的数据点。"优先考虑最直接影响你的用户试图做出业务决策的因素。"
Loury 建议建立和磨练沟通技能，向团队成员传达基于指标的见解。"他说："现代的首席信息官和分析领导需要善于整合关键指标拉，这些指标将对团队产生最大影响，并以一种对用户有意义的方式呈现出来，并帮助指导他们的行为。
Loury 补充说，现在也是 CIO 责成他们的团队真正了解他们的用户，并为他们构建量身定制的、有效的分析解决方案的时候了。"他解释说："数据领导者和他们的团队争先恐后地构建一些东西——任何东——并将其交付给业务团队的日子已经过去了。"我们正生活在上述这种日子的结果中，团队被淹没在铺天盖地的仪表盘中，这些仪表盘似乎可以告诉他们一切，实际上却什么都没有。"
3 .忽略了所有权、参与和平衡的重要性
衡量标准为所有权和员工参与，以及持续改进和过程控制提供了极好的机会。"商业和技术咨询公司 Centric Consulting 的首席信息官服务协调员 Paul Gelter 说："正确解释指标的关键是让你的整个团队参与进来，并利用指标来共同改善流程。
在评估指标时，Gelter 认为在成本、质量和服务之间取得平衡至关重要。例如，可以用每个人完成的票据来跟踪成本指标，但票据的质量可能会因为返工/重复的票据而有所下降。"服务可能会受到响应时间、积压工作和正常运行时间的影响，"他指出。这一切都是为了获得最佳平衡。
4 .追逐错误的数字
时间真的是金钱，所以不要浪费宝贵的时间去审查不相关的指标。在决定研究哪些指标之前，要清楚地确定所有目标。在大多数情况下，不支持或不反映未来决策选项的指标是不必要的，更糟糕的是，这些指标会分散注意力并浪费时间。
技术与设计工作室 L+R 的联合创始人 Alex Levin 建议，一旦目标被完全确定，就要分配足够的时间来了解导致个别指标波动的因素。接下来，调查各个指标是如何相互联系的，以及在计划或项目的生命周期的不同阶段可能会发生的情况，这些情况可能会直接影响被追踪的 KPI。
同时，不要通过隐瞒或囤积结论来浪费员工的时间。Levin 建议与你的团队分享研究结果，确保每个人都能使用指标驱动的见解来提高绩效和/或结果。
5 .独自行动
衡量标准的调查和研究不应该是一项孤立的工作。 Mike Capone 是分析和数据整合平台开发商 Qlik 的 CEO、前 CIO，他建议在一开始就与职能领域的所有者合作，收集并应用有价值的背景细节。他解释说："这些投入和关系使 CIO 和 IT 团队对业务中实际发生的事情有正确的理解......以便支持短期和长期的运营目标，"。他还建议与高管以及其他主要企业领导人建立强有力的咨询合作伙伴关系。
6 .过于相信数字
合理的怀疑可以防止你被引向错误的结论。记住马克·吐温关于统计数据和谎言的调侃。收集到的数据本身在某些方面总是有缺陷的。
数据可能在许多方面存在缺陷。样本量可能太小，时间尺度可能不合适，或者收集数据的人可能有他们自己的结论需要推广。Brian Winters 是 ERP 软件开发商 ECI Software Solutions 的 CTO，他说："在确定数据的含义之前，确保你完全了解数据的收集方式，以及哪些内容包括在范围内，这是至关重要的。
事实上，任何指标都可能产生误导，尤其是如果你对数据没有一个很好的整体理解时。Winters 指出"系统指标可能特别具有误导性，因为它们通常为一个大型复杂系统的很小一部分提供指标。这种狭隘的观点很容易把你带入一个光怪陆离的环境。"
7 .无法超越统计
指标虽然通常具是有洞察力和价值，但可能无法能说明合部情奖品。事实上，从表面上价值解读指标，有时会导致完全错误的结论。"数据库软件开发商 Speedb 的首席执行官兼联合创始人 Adi Gelvan 解释说："有时，你必须深入挖掘其他不太明显的指标，以确定真正发生了什么。
例如，高内存利用率的读取可能意味着应用程序正在过载内存。Gelvan 说，"但可能存在完全不同的问题，比如也许是某个组件清理内存的速度不够快"。进一步的调查可以指出真正的瓶颈，它可能根本就不在内存中。"例如，如果存储引擎不能有效地将数据转储到磁盘，而 I/O 消耗又很高，那么内存就会迅速填满，并影响系统的性能。"
为了防止误导性的见解，要学会批判性地思考，不要立即得出似乎最明显的结论。随着业务流程和数据架构越来越大，越来越复杂，许多事情都可能出错，而找到根本原因可能很棘手。" Gelvan 建议说："最好的方法是在自己周围有一个由不同主题的专家组成的团队，在做决定前向他们咨询。
来源：www.cio.com
