【干货分享】深信服杨廷柱--AI智算时代的IT基础设施:建设趋势与设计实践

2025-04-01 14:36:05  来源:

摘要:3月22日,由CIO时代主办、新基建创新研究院提供智库支持的 "2025企业数字化转型高峰论坛暨第四届华南CIO年会 "在深圳圆满结束。深信服深圳分公司售前方案总监杨廷柱在会议中分享了《AI智算时代的IT基础设施:建设趋势与设计实践》。
关键词: AI 智算 IT基础设施 数字化转型
当下,科技革命以汹涌之势,重塑着经济社会的发展形态。AI 技术作为新一轮科技革命的核心驱动力,持续突破创新边界。DeepSeek 的诞生,更是在 AI 领域激起千层浪,为企业 IT 基础设施建设带来全新挑战与机遇。3月22日,由CIO时代主办、新基建创新研究院提供智库支持的"2025企业数字化转型高峰论坛暨第四届华南CIO年会"在深圳圆满结束。深信服深圳分公司售前方案总监杨廷柱在会议中分享了《AI智算时代的IT基础设施:建设趋势与设计实践》,以下是整理后的演讲实录。



\
深信服深圳分公司售前方案总监 杨廷柱

 

 

精彩观点

深信服AI方案的价值:在用户原有IT基础设施基础上,实现从通算到智算的平滑扩展,借助新一代超融合方案快速扩展,也可通过“一朵云”实现线上订阅。

 

 

 

 

 

DeepSeek引发AI领域变革与挑战

 

 

 

基于IT基础设施视角,DeepSeek凭借低成本、高性能、强开源特性,颠覆了当前大模型的传统格局。在低成本方面,DeepSeek的蒸馏模型大幅降低部署门槛,更多用户能够以较低成本私有化部署量化模型和蒸馏模型。性能层面,以往算力建设以训练为中心,成本高昂,而DeepSeek将竞争态势转变为以推理为中心,同等硬件配置下能带来更高性能。其强开源特性让更多开发者可基于此在各行业场景中构建AI应用,降低AI落地门槛。

 

与此同时,国产算力迅速崛起。作为国产模型,DeepSeek带动了国产算力卡厂商发展。受英伟达显卡(N卡)断供影响,量化模型搭配国产算力卡,已能在很多场景实现智能问答等应用,打破英伟达的生态垄断。

 

然而,拥抱AI需付出巨大成本。一方面,基础设施成本备受关注,包括硬件投资、海量数据存储管理,以及AI应用开发运营所需的平台工具成本。另一方面,专业人才成本常被忽视。AI应用开发对IT人员代码和开发能力要求较高,多数用户并不具备相关能力。此外,AI人才供需失衡,行业竞争激烈,招聘难度大。并且,AI和模型的持续迭代,需要不断对人才进行赋能培养,这也带来了高昂的人才培养支出。

 

当企业私有化部署DeepSeek、千问等模型后,面临两大问题。一是如何选择AI应用创新场景,不少企业虽罗列诸多业务场景,但真正落地难度大。二是缺乏通用、标准化的价值评估工具,难以判断AI应用场景建设的投入产出比,无法确定是否值得短期投入。

 

从AI应用构建过程来看,主要分为应用构建、数据运营、规模化部署三个阶段,每个阶段都面临挑战。在应用构建阶段,涉及数据清洗标注、模型压缩、算法优化等复杂技术,对开发框架能力要求高,上手难度大。在应用评估和调优阶段,使用开源工具对人员代码能力要求高,评估、调优、数据处理和问题回调难度大,因此,低代码平台和自动化开发工具的需求愈发迫切。在规模化部署阶段,企业需要采购更多GPU算力硬件资源,同时,需对通算到智算的算力进行监控管理,并做好模型数据安全保护,这需要进行长远规划。

 

 

 

企业IT基础设施的演进难题

 

 

 

企业IT基础设施正从通算向智算演进。过去,数据中心以通算资源为主,如今,随着AI的发展,企业开始将AI应用与业务融合,基础设施变得更加复杂。在通算时代,管理通算资源就已面临资源共享、版本管理、可视化监控、故障定位和自动化运维等问题,需要强大的平台工具和界面进行统一管理。而在从通算向智算转变的过程中,AI应用硬件,如GPU卡和高性能数据的管理难度更大。因此,如何通过统一平台,对通算和智算数据业务进行统一管理、监控和迭代,成为未来的核心问题。

 

 

 

深信服助力AI创新落地的理念与方案

 

 

 

AI应用构建形态从早期的智能问答、聊天机器人,逐渐向辅助决策类应用,如智能检索生成(RAG)、协同办公助手(Copilot),再到更复杂的智能体(Agent)发展。这一过程中,所运用的技术也在不断演进,从简单的API调用,到提示词工程、RAG技术,再到模型微调(SFT)、二次预训练,以构建行业垂直大模型。在DeepSeek热潮下,企业若想快速将大模型应用于生产业务,实现降本增效,RAG应用的构建最为关键,如智能知识库、智能问答、智能客服等检索增强生成类应用,应作为优先建设方向。

 

但按照传统思维构建RAG应用,研发门槛较高,很多企业IT部门缺乏相应的开发和代码能力。搭建一套大语言模型(LLM)环境可能需要一个月以上,在训练和推理过程中,还会遇到GPU硬件故障、吊卡等问题。而且,构建好的RAG应用在评估和调优时,回答准确性和精准度较低。为此,深信服提出几个关键思路:一是采用低代码方式,让企业能够快速构建RAG应用;二是借助平台的自动化工具,协助评估和定位关键问题;三是具备持续数据运营能力,随着数据变化更新,提升业务效果;四是当企业拥有一定规模的GPU算力集群时,通过平台保障业务的可靠性和连续性。

 

在各行业AI业务场景构建中,未来大小模型混部和GPU池化将成为刚需。企业不会仅使用一个GPU集群、一个模型或构建一个AI应用。因此,算力平台需要解决多模型、大小模型混部和GPU池化的问题。随着国产化的崛起,国内出现了多种国产算力卡,算力平台需要能够广泛兼容各类GPU卡,并实现算力的统一调度。同时,企业IT基础设施从通算向智算发展,需要统一融合管理,通算和智算的服务、应用、数据和网络应实现统一管理和打通,管理平台也应具备从通算向智算衍生和生长的能力。

 

此外,在拥抱AI的过程中,还需关注以下几点:基于不同场景选择合适的模型和算力卡,算力平台应优化推理框架和性能,在同等硬件条件下提升并发和吞吐能力;通过语义缓存(Semantic cache)、键值缓存(Key - value Cache)等缓存技术,以及实例智能调度等优化技术,降低推理成本;根据应用的复杂程度,选择不同大小的模型,未来模型选择将更加多样化。
 

深信服的AI智算解决方案


深信服当前推出“一朵云”方案,为用户提供线上线下同架构、同源的IT基础设施解决方案。在AI能力升级方面,主要开展了两方面工作:

 

一方面,为承载AI大模型的用户提供AICP统一算力平台。该平台基于用户原有的超融合数据中心资源池,实现私有化部署AI算力和大模型。AICP具备多项功能:一是能够管理和调度市面上兼容的异构算力;二是通过大幅优化推理性能,将吞吐和并发提升五到十倍;三是通过持续的版本迭代,兼容各类硬件和最新模型,避免用户被硬件绑定。

 

另一方面,对于尚未明确AI应用场景、本地算力资源池构建思路不清晰的用户,提供云上订阅服务。用户可通过订阅获取算力资源和AICP服务,直接调用云上丰富的模型和应用,如智能问数、代码助手等,且这些应用深信服将免费提供。

 

当用户构建好AI算力后,还需构建应用场景。为此,深信服免费提供AR Pass低代码平台,该平台与AICP打包销售。借助这一平台,用户能够自主构建本地RAG应用,通过自动化工具简化应用构建流程,降低应用效果评估和调优门槛,并实现全流程智能化数据运营。
 

两种交付方案介绍


1. 本地私有化部署:多数用户已具备超融合数据中心资源池,可复用原有的SCP管理面和容器管理平台,只需新增GPU节点或集群,即可实现模型的承载和部署。该方案基于裸金属,通过SK容器集群的节点进行部署,能够实现统一编排、极简UI界面,并与原有的超融合SCP管理平台统一管理和监控,支持平滑扩展,未来用户可构建多个GPU集群,实现大小模型混部和GPU池化。

 

2. 托管云订阅服务:对于短期内想在云上订阅AI大模型能力的线下用户,可按需订阅专属资源。与其他公有云订阅方案不同,深信服通过线上线下专线打通,提供同架构混合云方案。托管云与本地超融合私有化架构一致,可实现云间互联,统一管理资源、监控业务、互通网络。用户在云上调度算力,数据和业务在线下也能使用云上AI算力,实现一键部署、快速构建,同时保障数据和模型的安全。

 

深信服“一朵云”AI创新平台通过私有化部署和托管云订阅两种交付方式,兼容适配国内主流算力硬件,如英伟达、升腾、天数智芯、沐曦、海光等,通过AICP软件平台承载和部署AI大模型。AICP具备模型仓库、数据集管理、训练自动化、推理性能优化、模型加密等功能。用户部署本地大模型后,可通过免费的ARPASS开发平台,全流程自动化构建RAG应用。

 

深信服通过AICP软件平台,从多个维度优化推理性能。底层实现GPU资源共享和调度,优化实例、融合算子,上层进行模型压缩、缓存优化、推理服务优化。基于开源框架的技术栈用白色标识,深信服自研的推理性能优化技术栈用蓝色标识。以DeepSeek模型为例,通过压缩、缓存等技术,大幅降低显存占用,提升推理性能和体验,通过智能调度提升吞吐和利用率。经测试,在不同量化模型下,并发和吞吐综合提升五到十倍。

 

在模型安全方面,深信服首推模型动态加密技术。与静态加密不同,对模型结构进行多维混合加密,包括结构加密、权重加密、算子加密,确保模型在运行态的安全,被盗用后若无正确密钥,无法得到正确推理结果。同时,设计自适应加密算法,针对不同模型和场景,自适应调整加密算法,模型加密性能损耗小于整体性能的5%,基本不影响推理性能。

 

 

 

深信服AI方案的价值与内部实践

 

 

 

深信服AI方案在用户原有IT基础设施基础上,实现从通算到智算的平滑扩展,借助新一代超融合方案快速扩展,也可通过“一朵云”实现线上订阅。具体而言,一是通过推理性能优化,综合提升模型部署和使用性能十到二十倍;二是采用软硬件解耦方式,大幅提升软硬件管理能力;三是持续投入研发,提升方案的开放性,兼容更多显卡和模型;四是提供低代码开发平台,提升用户开发效率和效果;五是保障模型全生命周期的动态加密安全。

 

深信服从2023 年开始,在AI领域进行了大量投入和实践。2023年5月,发布国内首个垂直安全大模型——安全GPT。近两年,在业务和研发部门,成功落地了诸多RAG应用。在AI应用投入方向上,从应用场景出发,综合考虑场景需求、公司数据积累、内部IT人员投入和平台能力。

 

例如,市场AI助手、IT AI助手、外部客服机器人等应用,已在公司内部广泛试用,效果良好。这些应用只需简单的检索和生成能力,公司内部数据准备度较好,开发和测试难度较低,因此优先级较高。2024年,这些应用已在公司内部成熟落地。目前,正在构建第二批AI应用,如市场AI助理的客户微档案、渠道助手、客户交流PPT一键生成等。这类应用对数据质量要求更高,需要整合和清理数据,并运用工作流编排、智能体技术,因此将其作为第二阶段的建设重点。

 

在对外应用方面,安全GPT已成功接入DeepSeek。目前,已经部署、测试深信服安全GPT的广大用户,不久即可直接丝滑升级,通过版本更新免费享受到融合DeepSeek-R1能力的进阶产品体验。未部署深信服安全GPT的用户,也联系深信服,免费申请体验测试!


 

✦精彩推荐✦
(点击下方图片查看详情)

\


\

联系我们
\
小  希:15701060895
 

第三十九届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhanghy

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。