腾讯云为行业提供大型模型平台：鹅厂“量体裁衣”，低成本使用大模型

从奥飞寺看明民楼

量子比特 | 公众号QbitAI

大规模的模特浪潮，鹅厂率先给出了明确的回应。

昨天，腾讯云为行业带来了大规模模型平台，打开了腾讯大规模模型战略的一角。

进入方向很明确——服务业。

在腾讯云举办的行业大模型与智能应用技术峰会上，所有的疑问和好奇都在现场演示中得到了解答。

行业大规模模型平台，技术基础来自腾讯全栈能力，提供高性能计算集群HCC、高性能网络、矢量数据库等基础设施。

依托腾讯云TI平台，将能力向外输出，为行业用户提供MaaS（模型即服务）服务。

平台的能力同时支撑了腾讯自身的业务，如腾讯会议、腾讯起点等。

目前，ChatGPT方兴未艾，面对稍纵即逝的机遇，任何云厂商都不能坐视不理，腾讯云也不例外。

在这场极其激烈的竞争中，腾讯云的策略是什么？ 其背后的原因是什么？ 有哪些值得关注的亮点？

什么是腾讯云行业大模型平台？

要回答上述问题，首先要认清腾讯云行业大型模型平台庐山的真面目。

腾讯云行业大模型平台，顾名思义，就是根据不同的行业需求场景，提供一站式MaaS服务，降低了数千个行业使用大模型的门槛。

这就是腾讯云围绕行业大规模模型平台快速布局，从一开始就明确的目标：解决千千万万个行业“想用大规模模型却用不到”的痛点。

也是大机型时代无数行业焦虑的根源。

毕竟，面对大型模型贪婪吸纳的算力，企业和机构要么缺乏，要么根本没有，无法进行训练和推理，不得不求助于云厂商。 创建大模型所需的数据需要进行采集、排序、清理、标注等层层处理。 复杂的步骤和专业要求无疑是雪上加霜。

再者，为了保证业务使用的有效性和可持续性，自研大型模型的成本对于企事业单位来说都是天文数字，更不用说艰难的第一步——计算资源、网络带宽、安全性和人才方面的经验和人才。其他方面并不是每个行业所擅长的。

这就引出了腾讯云对于行业规模化模型平台提出的基本理念：量身定制、普惠适用。

换句话说，腾讯云想做、也正在做的，就是把大模型能力放在一个平台上，花式导出。 当需要大模型支持的行业面对腾讯云行业大模型平台时，就像面对一家货架满、品类丰富的精选商店。

根据自己的需要选择，各取所需。

活动现场，腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴云生进行了实时演示，证明“量身定制”的模式对于不同场景的企业更有用。

端午假期即将来临，吴云升问了一个很贴近生活的问题，请大模特规划行程。 要求是：

我和我的孩子都是历史和人文爱好者。 我们想在端午节期间去上海逛逛。 预算在5000以内。 最好每天去2个不同的景点。

通用大模很快就给出了3天假期的大致计划。

感觉了一下，可以作为大体出行方向的参考，但比较简单，并不是最理想的保姆级出行指南。

因此上海云服务器推荐商家，吴云胜加入了一些旅游相关的行业场景数据，给模型喂入了江浙沪两条出行策略和苏州一条出行策略。

后来遇到同样的问题时，大模给出的端午出游计划就详细多了，不仅有每天的行程安排，还包含了旅游景点的简介。

接入旅游领域企业用户的API怎么样？

除了交通方式和景点安排外，提问者还可以及时获取大模型规划的行程中涉及的景点的实时票价。

而且，在这种模式下（腾讯云称之为“大模型微调”），大模型还具备在线搜索功能，查询酒店特色、房价等信息更是小菜一碟。

可以感知到，此时大模型给出的建议服务更加人性化，“实现了从服务到业务的闭环”。

现场演示只是针对旅游行业，但这样的需求并不局限于旅游场景。

差异化需求产生后，各个需要使用大机型的行业都伸出了援助之手。

正如腾讯集团高级执行副总裁、云与智慧产业事业群CEO唐道生所言，在现实生活中，腾讯云产业大规模模型平台已经将工业场景视为大规模的最佳练兵场。楷模。

目前，腾讯云行业大型模型平台已覆盖金融、媒体、文旅、政务、教育等10余个行业场景，提供50+大型模型解决方案。

那么具体来说，腾讯云提出的大规模行业模型平台将如何帮助他们解决这些问题呢？

出口自沉淀能力

总体而言，腾讯云打造大规模行业模型平台的思路是尽可能提供更强大的底层、全面的覆盖、便捷的实施能力。

并且满怀诚意，腾讯云和腾讯一次性积累了多年的技术能力、工程经验和创新成果，并率先应用到了自己的业务中。

在技​​术方面，腾讯云行业大型模型平台的亮点可分为三个部分：

首先看底层模型，这也是大模型平台的核心。

腾讯云TI平台支持企业用户结合自身场景数据直接按需定制微调模型，或者根据需要进行多模型训练任务，让企业用户可以更灵活地使用大模型能力。

平台内置多个大型行业模型，可满足金融、传媒、文旅、政务、教育等领域的需求。

在模型层的具体能力方面，腾讯云TI平台在降本增效、易用性方面也提出了四大亮点：

首先是低成本的训练和推理，这也是企业用户在使用大型模型时首要关心的问题。 腾讯云TI平台可以在少量算力的基础上提升特定任务的效果； 并选择聚焦行业场景，降低培训成本，缩短培训周期。

二是无需配置对话框+支持API调用。 快速接入和调用行业用户的API接口，可完成多轮端到端的高质量服务。

三是高效获取网络知识。 这也是大型车型的发展趋势。 比如ChatGPT就推出了联网插件，接听体验立即得到改善。 腾讯云TI平台通过搜索引擎获取网络知识和更广泛、实时的信息，可以有效提高答案的多样性和相关性。

四是时效性高，更新快。 大模型在这个阶段能够获取和理解多少信息将直接影响其性能。 对此，腾讯云建立了实时更新的大规模模型向量数据库，让大规模模型阅读理解的长度从2k字增长到8k，增长了4倍。

接下来，看看平台工具。

TI-ONE平台为大型模型提供了全面的工具链，涵盖数据标记、训练、评估、测试和部署。 同时具备多机多卡训练加速能力，能够快速进行大型模型的一站式微调。

△ 腾讯云TI平台行业大模型微调解决方案流程图

计算能力方面，腾讯云今年4月发布了新一代HCC（High-PerformanceComputingCluster）高性能计算集群，用于大规模模型训练。 拥有业界最高3.2Tbps互联网带宽，算力性能提升3倍。

它采用最新一代腾讯云星海自研服务器，结合多层加速的高性能存储系统，再加上高带宽、低延迟的网络传输。

数据方面，上面提到的实时更新的腾讯云矢量数据库（Tecent Cloud Vector DB）是腾讯公司自主研发并基于多年内部运营的分布式矢量数据库。 支持标量+向量混合检索，具有高性能、大容量的特点，支持全内存索引。

同时，TI-ONE平台还提供多种单点工具。

TI-ONE训练平台是面向AI工程师的一站式机器学习平台，提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持，内置多种训练方法和算法框架。

TI-DataTruth数据标注平台为AI数据服务商提供数据标注运营、数据众包管理、场景数据挖掘等智能数据生产服务。

TI-Matrix应用平台支持快速接入各种数据、算法和智能设备，并提供可视化编排工具来管理和调度模型服务和资源。 通过AI服务集成和标准化接口开放，进一步降低AI应用开发成本。 。

值得一提的是，腾讯云TI-ACC已升级为太极天使，可以提供更强大的训练和推理加速能力。 通过异步调度优化、显存优化、计算优化等方法，相比业界常见方案提升30%+。

此外上海云服务器推荐商家，基于腾讯云IaaS层产品服务（计算集群、对象存储、网络加速等），可支持丰富的训练需求和推理应用场景。

腾讯云还携手中国信息通信研究院及客户自营海外云服务器,高稳定高性价比,支持弹性配置，共同构建大规模行业模型的标准体系和能力框架。 包括一套ILMOps方法论、60+能力建设指标，涵盖主客观能力需求，以及200+能力验证指标。 覆盖金融、政务、传媒、教育、文旅等主要行业，涵盖模型产业能力、模型工程性能、模型算力网络、模型安全可靠性等。

最后，腾讯云行业大模型平台还提供了一系列成熟的配套服务。

提供行业大模型全生命周期集成的完整方法论，涵盖“模型选型-训练共建-部署应用”全流程，包括“业务分析-数据分析-数据清洗-数据标注- “大模型选型-训练加速-模型评估-应用落地”等，同时配套MLOps系统和工具，保证需求的顺利交付。

在配套服务方面，腾讯云提供本地化培训、落地及伴随运行优化服务； 根据客户需求，提供私有部署、公有云托管、混合云部署等灵活的部署方案。

在安全方面，腾讯云从问题侧、模型侧、答案侧三个层面对敏感信息进行过滤和规避，使最终答案满足安全和规范要求。 同时，依托腾讯20多年的安全经验和天语风控能力，提供AIGC全链路内容合规解决方案，确保大模型可信、可靠、可用。

那么，如此强大的平台能力，究竟能带来什么样的效果呢？

这从腾讯自身的业务就可以看出。 比如腾讯会议的AI会议助手、腾讯云的AI打码助手、腾讯起点的新一代智能客服，这次都在基于底层平台的能力加速开发。

据介绍，腾讯会议AI会议助手将能够根据简单的文字指令和对会议内容的理解，快速提取信息、分析内容等，并能自动生成智能摘要。

腾讯云下一代AI代码助手将支持多种编程语言、主流开发框架和常用IDE。 具有代码补全、单元测试生成、代码纠错等能力，可以加快程序员的日常开发速度。 其能力将涵盖沟通、编码、审核等关键环节。

腾讯起点新一代智能客服对接行业大规模模型平台能力后，将覆盖单轮知识问答、复杂知识问答、业务处理等核心场景，并将由7天以上的冷启动升级为分钟级/小时级启动。 准确度提高了 30%。

当然，腾讯云大模型平台的能力已经导出。

例如，在金融客服场景中，基于腾讯云在金融行业的大规模模型能力，客户结合自身场景数据+腾讯云TI平台进行微调实现，构建专属的金融客服大模型，并进行私有化部署。

在银行投资、财富管理、绿色金融等业务方面，提供智能咨询、辅助分析、决策等服务。

再比如媒体领域，多年来积累了大量的音视频、图片、稿件等信息资源。

央视已经基于腾讯云智能媒体AI中平台部署了TI平台的原生模型服务，并构建了AI开放平台。 通过引入自主研发的“标签权重引擎”，内容标签粒度更细、理解更深入、泛化能力更强。 高的。

此外，结合媒体行业需求，重新构建了细分场景的标签体系，包括新闻、综艺、综合媒体、影视剧等； 同时，通过跨模态文本图像理解模型实现跨模态检索。

总之，腾讯云行业规模化模型平台已做好充分准备。

为什么要做行业大型模型平台？

ChatGPT掀起AI新浪潮后，各方势力争相抢滩。

然而，在新一轮科技革命中，一味追求速度显然不是上策。 了解自己的位置并准确出击后，更容易站在潮流的最前沿。

于是，腾讯云在大模型热潮下亮出了第一张底牌：基于腾讯云TI平台打造模型选品商店，提供一站式MaaS服务，以“行业助手”的身份输出大模型能力。

为什么要瞄准这个职位？

从外到内，有两个因素在驱动。

一方面是外因，同时也是直接原因：行业迫切需要MaaS服务。

长期以来，大型机型被认为只有科技巨头和制造商才买得起。 因为它对算力和算法提出了极高的要求，不仅烧钱，而且需要顶尖的技术团队来开发和维护。

然而，大模型的好处是有目共睹的。 其强大的泛化能力可以解决行业应用场景碎片化、AI“手工作坊式”开发等问题，能够推动企业更快完成智能化升级，降本增效。

加上新趋势的出现，各行各业都开始意识到，如果不搭乘人工智能的快车，就有被时代淘汰的风险。

结果，MaaS 服务被推到了前台。

另一方面是受到腾讯自身的影响。

长期以来，腾讯在工业互联网的定位就是做行业的“数字化助手”，而腾讯云智能就是实现这一目标的重要抓手。

从具体的技术能力来看，在AI方面，腾讯在AI大模型领域有多年的积累。 内部的腾讯优图实验室和腾讯AI实验室都是业界的“明星”实验室，在NLP、CV等热门领域积累了丰富的学术成果和行业经验。

在云能力方面，腾讯云是中国云市场的领先厂商之一，提供混合云服务。

基于腾讯全栈能力，腾讯云智能目前已形成四级加速架构，为行业输出从底层算力支撑到AI开发平台、到AI产品解决方案、以顶级数智化转型方法，涵盖金融、教育、工业、传媒、交通等领域。

由此也不难理解，为什么腾讯云想要推出一个大规模的行业模型平台，并选择在此时亮相。

目前，由ChatGPT扇动翅膀引发的AI龙卷风正在迅速席卷各行各业，势不可挡。

正如互联网浪潮重塑和改变了各行各业、电商、媒体、通讯一样，最新一轮的人工智能趋势也必将颠覆许多行业的运作方式，推动更快的智能化升级。

AI行业、云厂商等处于变革风暴的核心，肩负着推动技术更快向外圈辐射、影响万千行业的使命。

未来哪些行业会跟风尚不确定，值得期待。

可以肯定的是，以大模型和人工智能为点，这场革命的辐射圈半径仍在不断加速。

- 超过-

量子比特QbitAI今日头条签约

关注我们，第一时间了解前沿技术动态