近三分之一的CIO不知道哪些AI概念验证(POC)项目达到了既定指标，然而，他们还是不断推出新项目——这种策略注定无法取得预期成果。
根据研究公司IDC的数据，许多企业已经启动了数十个AI概念验证项目，但其中很大一部分都以失败告终，部分原因是CIO们不知道这些概念验证项目是否达到了关键指标。
在IDC于9月进行的一项调查中，30%的CIO承认，他们不知道自己的AI概念验证项目中有多少达到了预期的KPI，或者被视为成功。
结合IDC 4月的一项调查(该调查发现企业平均启动了37个AI概念验证项目)，9月的调查表明，许多CIO一直在盲目尝试，看看哪些项目能成功，IDC咨询与研究服务全球副总裁Daniel Saroff表示。
平均而言，在数十个AI概念验证项目中，只有五个进入生产阶段，而其中只有三个被认为成功，结果就是GenAI的“循环往复”，企业进行了大量实验，却收效甚微，Saroff说。
“当他们说他们不知道自己的KPI是什么时，他们真正想说的是，‘当我们确定概念验证时，我们没有衡量成功的标准，’”他补充道。
Saroff表示，潜在的成本可能非常巨大，有些概念验证项目的成本高达数百万美元。
与此同时，在IDC 9月调查的对象中，约70%的人表示，在每10个定制开发的AI应用中，有9个未能通过概念验证阶段并进入生产阶段。35%的CIO表示，他们的定制开发AI应用没有一个成功走出概念验证阶段。
CIO们在供应商开发的AI应用方面的表现略好一些，但仍有近三分之二的人指出，供应商主导的AI概念验证项目有90%的失败率。
成功难以定义
即使AI应用进入生产阶段，许多CIO也不清楚成功的标准是什么。近一半的CIO表示，他们要么不知道自己的AI生产应用是否成功，要么认为现在判断还为时过早。
Saroff表示，在许多情况下，企业似乎在没有充分准备的情况下就启动了概念验证项目。他补充说，许多企业在启动通用AI项目之前，没有清理和企业好内部数据。
“我们看到GenAI在很多方面都不成功，事后回想起来，原因很简单，那就是数据不好，”他说。“这是一项新技术，周围有很多炒作，人们觉得需要急于投身其中，但他们没有做好准备工作。”
EchoStor(一家增值分销商)的CIO Daniel Clydesdale-Cotter补充说，数据管理不善和访问管理不足似乎是阻碍AI概念验证项目成功的两大障碍。
“特别令人担忧的是，许多企业可能急于实施AI，而没有妥善考虑谁拥有数据、数据存放在哪里以及谁可以通过AI模型访问数据，”他说。“AI项目成功率的高不确定性可能表明，企业没有在专有信息、客户数据和AI模型训练之间建立明确的界限。”
Clydesdale-Cotter补充说，访问控制很重要。企业的财务团队不应该访问用于人力资源AI工具的数据，反之亦然。同时，AI工具运行所需的数据往往分散在企业内部。
缺乏规划
此外，咨询公司Segal(专注于人力资源和员工福利)的副总裁兼高级顾问Michael Stoyanovich表示，无法判断AI概念验证项目是否成功的CIO占比表明，项目启动前缺乏战略规划。
他表示：“这凸显了在评估AI项目成功时缺乏清晰度和衡量标准，这种不确定性可能导致资源浪费，更重要的是，可能错过改进的机会。”
在太多情况下，企业似乎在不考虑业务影响的情况下就启动了AI概念验证项目。他表示，虽然一些AI概念验证项目可以在内部生产力方面带来渐进式改进，但这些项目很少能改变游戏规则。
“企业只是盲目地投身其中，而没有制定一个将AI融入企业的周密战略计划，”Stoyanovich补充说。“实际上，暂停一下，深吸一口气，挺直腰板，然后快速制定一个战略计划，这不仅是合适的，而且可能是一个福音。”
RobobAI(一家利用AI帮助企业管理供应链的金融科技公司)的首席技术官David Curtis补充说，IDC的调查结果“令人警醒”，近三分之一的CIO不了解成功指标，而且90%或更多的概念验证项目都在失败。
他表示，许多概念验证项目似乎缺乏明确的目标和指标。他也同意IDC的Saroff的观点，即许多公司在数据不足或数据质量不佳的情况下启动AI项目。
Curtis表示，太多推动企业采用通用AI的人并不了解这项技术。许多高管对部署AI所需的工作量存在误解，一些人甚至错误地认为AI将取代许多员工。
“人们认为AI在某种程度上是神奇的，它将一次性解决所有问题，”他补充说。“根据用例的不同，处理AI的工作量相当大。这并不是从货架上拿起一件东西然后运行那么简单。”
Curtis表示，在某些情况下，失败的AI实验可能具有教育意义，并指引企业走向更好的项目，但是，许多企业在看到大部分AI概念验证项目失败后，可能会停止实验。
“我合作过的许多金融服务公司都没有风险文化，”他说。“如果某件事失败了，而且他们在上面花了数百万美元，他们可能就不会再做了。”
对于风险厌恶型公司而言，与启动数十个概念验证项目并迅速失败相比，事先做好规划可能是更好的选择。
“在实际开始之前，试着先消除一些风险，”Curtis说。“在我工作过的地方，内部资源都是非常宝贵的。与其有37个概念验证项目，不如先专注于两三个有意义的项目。”
从战略需求出发
EchoStor的Clydesdale-Cotter建议CIO在启动多个AI概念验证项目之前，仔细考虑战略业务需求。与Stoyanovich一样，他建议公司更专注于那些能带来竞争优势的AI项目，而不是那些只能带来小幅效率提升的项目。
他曾与一家公司合作，启动了一个项目，利用大型语言模型(LLM)来协助处理内部IT服务请求。通过AI回答许多IT服务查询，该概念验证项目成功降低了运营成本。
“客户非常喜欢这个结果，”他说。“但结果却是，‘要在你的数据中心运行这个项目，仅就新的硬件和软件要求而言，你可能就要花费上百万美元。’
“然后业务部门回来问，‘我们为什么要花一百万美元?我们可以雇五个人。’”
