平衡可持续性与风险:CIO为何需要考虑小型语言模型

CIOAge
GenAI确实有不可否认的前景,但大型语言模型(LLM)可能并不是在企业中应用它的最佳方式。未来有望出现基于特定数据的、更节能的小型模型,这些模型允许IT部门保持控制。

GenAI确实有不可否认的前景,但大型语言模型(LLM)可能并不是在企业中应用它的最佳方式。未来有望出现基于特定数据的、更节能的小型模型,这些模型允许IT部门保持控制。

随着GPT-4通过图灵测试,微软将其AI助手Copilot推向企业产品,谷歌宣布在意大利的手机上推出Gemini应用,CIO们正在研究GenAI技术以保持最新进展——但不会被技术热情或商业提议所分心。

“GenAI可以带来许多好处,但不能在没有适当考虑的情况下被采用,”GARR(意大利研究和教育社区的宽带网络)的CTO兼基础设施部门主管Massimo Carboni说,“炒作非常强烈,但高估其可能性的风险同样高。在数字世界中,我们必须更加小心,AI和GenAI的第一个风险就是过度信任。”

此外,Gartner最近估计全球企业在GenAI技术上的支出并不重要。在预计今年总计5万亿美元的IT投资中,比2023年增长8%,GenAI所占的比例并不多。支出将由更传统的力量推动,例如经典的IT服务,这将价值超过1.5万亿美元,同比增长9.7%。

相比之下,大型服务提供商正在增加对支持GenAI项目的技术投入,预期即将到来的繁荣,AI应用服务器将在2024年代表超大规模服务器总投资的近60%,然而,企业更加谨慎。Gartner看到GenAI的“故事、计划、执行”周期:2023年讨论,2024年计划实施,2025年执行。

GenAI在CIO的审查下

inewa(Elevion Group的成员,一家活跃于沼气和生物甲烷生成及能效领域的认证ESCO)的CIO Edoardo Esposito,目前正处于测试Copilot的规划阶段,因为inewa的IT系统全部基于微软系统,这款GenAI产品与Office套件完美集成。他的实验与其他经理如CFO、法律总监和机构关系及监管总监一起进行。

“我们正在测试金融方面的使用,例如收入和支出的财务分析,”Esposito说,“我认为这是最大的机会所在,目前我不认为法律方面的使用有前景,但我们正在尝试使用GenAI来管理合同和研究法律。”

当然,AI不提供法律建议,但它有助于导航不断更新或更改的大量规则。

“即使是用AI生成的新法律的简单要点总结,发送给高管审阅也有帮助,”他说,“对我们这样的小企业来说,每月30美元就像办公室里多了一个人。”

尽管他对自动化简单任务毫不犹豫,Esposito并不认为GenAI可以完全自动化复杂任务,除此之外还有其他担忧。“这些模型对我来说似乎不可持续。它们有巨大的参数,训练需要大量能源。”他说。

AI的不可持续性

Carboni还强调了AI的高能耗及其增加了技术的高成本。

“全球的ICT占总能源成本的9%,即约3000亿美元(2023年),”他说,“这一比例在过去10年中增加了多达60%,并且注定会进一步增长。”

然后,在培训方面存在一个问题,据Carboni说,“GenAI正在颠覆传统以人为中心的方法,”他说,“今天,不是人们训练模型,然后改变公司组织,而是人们必须适应从市场上来的模型,这对我来说是一个风险。GenAI玩家越少,越会造成依赖和公司失去控制。”

此外,Carboni补充道,AI风险在于将数字功能限制在少数决定行为和成本的主体上,因为GenAI的进入门槛很高,大多数公司只能购买服务,却没有能力区分不同产品之间的差异,选择很少,风险在于产品的标准化。“所以在我看来,继续在内部构建一些东西总是更好。”

与大型科技公司竞争

公司之间的竞争正在加剧,许多人,包括Carboni在内,认为一些大供应商的销售模式在许多方面都不公平,因为某些市场参与者具备其他公司不具备的能力。

“像Microsoft和Google这样的公司拥有产品生态系统,这种控制多达80%数据市场的寡头垄断对其他公司有巨大优势,”他说,“大型科技公司的策略还旨在收购初创公司,以增强其对数据的主导地位。”所以很难想到能够与之竞争的新进入者。确实存在提供替代产品的初创公司,这是开发算法的好方法,但这还不足以取得成功。

对Carboni来说,这并不意味着GenAI的失败,而是希望深入研究和管理它。“我认为AI非常重要,我们将在GARR上研究它,因为我们有大量数据可以利用,”他补充道,“目的是导出一个GenAI模型,以更好地定义我们的内部知识库,这目前还不是公开的,但如果我们想公开,就必须为外部阅读开发它,我们可以为此目的使用一个小型语言模型。”

SLMs:CIO寻找控制的途径

小型语言模型(SLMs)是ML算法,训练在比大型语言模型(LLMs)更小、更具体的数据集上。初步测试表明,它们在任务上更高效、成本更低、准确性更高。实际上,Esposito也在关注SLMs的发展,并认为它们在商业用途上更有前途,也更可持续。大型产品训练优秀,但通用,而公司需要垂直应用。

“通过API使用大型GenAI模型来训练自己的GenAI产品,需要大量的能源资源,”Esposito说,“这就像把一个数字同事带进你的家,但这个同事成本很高,你必须用你特定的公司信息来训练他,不断提供新数据以保持更新,你还需要大量电力来为他提供动力,这就是为什么我对大型语言模型不感兴趣,但对小型语言模型非常感兴趣,公司需要更有针对性、风险更小的偏见和隐私侵犯。”

例如,Esposito说,IT可以隔离一个狭窄的语言任务,使用一个SLM,将其放在云端,并仅允许其访问公司文件数据库,从那里,它只回答与这些文件相关的问题。

“从初步实验来看,似乎不仅能减少能耗,还能降低出现幻觉的概率,”他说,“毕竟,企业的AI模型不需要知道所有事情,只需对特定应用作出响应。小型语言模型(SLMs)仍然可以进行翻译、执行市场趋势分析、自动化客户服务、管理IT工单、创建商业虚拟助手等等。限制领域并使其专业化,同时保持在IT的控制下,对我来说似乎更有效率。”

衡量GenAI业务和小型模型

控制是关键。Bruno Kessler基金会增强中心主任Alessandro Sperduti表示,在AI领域,我们面临私人公司的主导风险。“过去,世界上最重要的AI系统是由大学开发的,而现在不是了,因为私人技术巨头已经崛起,他们的支出能力是公共领域无法竞争的。”他说。

事实上,在科学界,有些人希望通过政治干预将AI重新置于控制之下,就像高能物理和CERN的建立那样,CERN是一个将多个国家联合起来合作进行粒子物理理论和实验的机构,但其他研究人员认为,只要政府对AI工具的使用进行监管,就像欧盟通过AI法案那样,一些私人企业的霸权并不会带来风险。

“与物理世界发生的事情不同,那里没有大生意,而在AI领域,有巨大的利润,”Sperduti说,“这就是为什么像Microsoft和Google这样的公司今天竞争激烈。每天我们都能看到新的目标被实现,超越了之前的成绩。虽然存在一些初创公司,但与其他领域相比,这些公司很少,因为所需的投资非常巨大。因此,我不认为它们能真正威胁当前参与者的主导地位并创造强有力的竞争动态。”

然而,在小型模型方面,Sperduti强调了检索增强生成(RAG)系统的存在,这些系统使用大型语言模型(LLMs)回答存储在本地数据库中的文件问题。通过这种方式,文件保持私密,不会交给提供LLM的组织。RAGs为公司提供了更多的数据控制,并且成本更低。

“但它们需要本地管理,”他强调说,“你也可以本地使用开源语言模型,这些模型比LLMs小,但性能较低,因此可以视为SLMs。”

关于成本的可持续性,Sperduti表示,LLMs由大型科技公司作为公用事业服务进行管理,就像我们购买电力一样,而拥有一个SLM意味着在家中保持涡轮机发电。“因此,必须进行经济评估,”他说,“如果模型的使用频繁,这可能是有利的,但这是一个必须经过仔细分析后做出的选择,考虑到模型的成本、更新的成本、工作在其上的人员等。”

掌舵的CIO:治理和专业知识

Carboni还警告说,如果选择SLM,IT的任务将更重,CIO的生活不一定会简化。

“在LLMs中,大部分数据处理是通过统计方法完成的,然后IT部门会针对特定主题训练模型以纠正错误,提供有针对性的高质量数据,”他说,“SLMs成本更低,需要的数据也更少,但正因为如此,其统计计算效果不如LLMs,因此需要非常高质量的数据,同时数据科学家也需要投入大量工作,否则,使用通用数据模型可能会产生许多错误。”

此外,SLMs对于公司来说非常有前景和吸引力,甚至大科技公司也在提供和宣传它们,如Google的Gemma和Microsoft的Phi-3。因此,根据Esposito的说法,治理仍然是基础,模型应该保持为封闭系统。

“SLM更容易管理,并且成为公司从AI中提取附加价值的重要资产,”他说,“否则,使用大型模型和开放系统时,你必须同意与Google、Microsoft和OpenAI共享公司的战略信息,这就是为什么我更喜欢与可以开发定制化方案并提供封闭系统的系统集成商合作,仅供内部使用。我认为让员工使用通用产品并将公司数据输入其中是不明智的,这些数据可能也具有敏感性。数据和AI治理对公司来说至关重要。”

同样重要的是CIO的能力。

“在我的工作中,我认为不仅要评估服务的接入成本,还要考虑我对服务的影响能力,”Carboni说,“CIO必须建立自己的技术知识背景,并配备一支有能力的团队,包括一部分年轻人,能够在现代环境中使用云原生技术工作。这样,CIO不仅仅是购买产品并期待其表现,而是能够对该产品或服务进行操作和影响。”

因此,CIO仍然掌握着方向盘。无论GenAI的发展轨迹如何,IT主管希望能够决定方向、应用和目标。

责任编辑:华轩 来源: 企业网D1Net
相关推荐

2024-08-09 16:22:34

2022-05-08 22:11:23

CIOIT领导者可持续发展

2022-09-01 09:43:42

CIOIT领导者首席信息官

2022-11-22 10:52:49

数据中心

2022-12-22 09:06:54

CIO领导者IT

2022-05-13 10:13:09

首席信息官业务可持续性业务主管

2022-03-29 06:48:59

CIO环境可持续性IT领导者

2022-08-26 13:24:43

云计算云迁移IT

2023-05-19 21:15:18

LoRaWAN物联网

2022-08-24 14:28:11

能源管理绿色建筑物联网

2023-12-14 14:37:41

2021-11-15 10:44:22

物联网

2022-09-27 15:13:38

边缘计算

2024-04-23 15:51:50

云计算数据中心

2021-05-10 10:20:43

IT部门可持续性数字化

2024-05-31 08:00:59

2020-06-29 09:46:08

区块链智慧城市物联网

2021-01-29 15:13:08

数据中心云计算绿色数据中心

2023-10-26 00:16:08

2022-09-22 11:01:50

数据中心CPU

51CTO技术栈公众号