文章从大模型本身的特点出发,充分对比分析了大模型的优势与短板,分析大模型与图谱在功能层面的技术特点相互能力的补充与不足之处。最后,提出了大模型时代知识图谱应用的新范式,并结合SPG框架提出了几种大模型与知识图谱结合的应典型应用案例。
从1955年加菲尔德( )首次提出引文索引的思想,到2022年知识图谱国标的发布,知识图谱的理论研究与应用经历了近70年的发展历程,其广泛应用于知识检索、知识问答以及金融投顾、临床辅助、舆情监控等众多场景。国内外众多互联网公司已将知识图谱技术应用于自己的产品,如国外的谷歌、微软、IBM、Meta以及国内的百度、企查查、天眼查、美团、字节跳动等。然而,2022年底以为代表的大模型给全球科技带来了新的机遇和新的应用范式,其先天的知识问答能力、上下文理解(in- )学习能力、逻辑推理能力,与知识图谱的应用都有较高程度的重合,以至于在大模型应用如火如荼的当下不禁让人思考,大模型与图谱在工业应用场景的交互到底是何种模式,大模型时代知识图谱当何去何从。
针对大模型与知识图谱在工业应用中的关系问题,潘世瑞( Pan)等提出了图谱增强大模型、大模型增强图谱以及二者协同统一的前瞻性路线图。陈华钧对大模型与图谱优缺点进行分析后提出了二者在知识与结构增强、知识构建以及知识推理中进行融合互补的策略方法。王昊奋、梁磊结合蚂蚁集团知识图谱应用实践事务的四大特性,针对大模型与图谱在数字化应用的可能性提出了合作共建的工业级语义增强框架(- Graph,SPG),该框架提供了从知识构建、表示到推理的一整套大模型与知识图谱应用落地的技术框架。
本文从大模型自身特点出发,充分对比了大模型与图谱的优势和短板,分析了二者在功能层面的技术特点、能力和不足,提出了大模型时代知识图谱应用的新范式,并结合SPG框架给出了大模型与知识图谱结合的若干典型应用案例。
大模型时代新特点
大模型的出现是自然语言理解领域的一次重大突破,给学术界和工业界带来了变革。然而其发生的方式与之前的预测存在一定差异。据已有研究所知,大模型起源于技术,并形成了两个主要派别:以谷歌为代表的编码-解码(-)模式和以公司为代表的解码模式。最初众多学者和研究者都将期待的目光集中在谷歌的模式上。然而,最终由公司采用的模式率先实现突破,并产生了涌现现象。
大模型的技术特点
大模型实现了文本语义远距离依赖和大模型语义理解的深层隐形资源的深度学习两个重大突破。
远距离关联
当前词语与目标词语间远距离关系的预测问题如图1所示。两个词语间的窗口越长,实际计算需要的算力就越大,捕捉正确的词语就越难。解决这个问题需要一个精巧的模型,基于结构,通过自注意力机制(self )结合相对位置编码,较好地解决了远距离依赖问题。
图1 大模型远距离关系示例
深层隐形资源的深度学习
大模型通过深层语义结构模型结合深度残差网络与全局注意力机制模型以及千亿参数进行模型预训练,实现对海量非结构化文本数据的学习。同时结合高质量数据的精调训练以及强化反馈学习,进而挖掘高质量数据中隐含的关于常识和逻辑的知识,通过量的积累实现质的涌现。
大语言模型在理解深层次语义知识和远距离关系依赖上的突破,使得其语义理解能力达到巅峰,能够基于语言意图进行正确生成,同时通过强化反馈学习实现对结果的场域把控,以促进生成安全可控且符合人类社会价值观的内容,避免输出有毒有害的内容,从而实现机器对人类意图的深度理解,达到与人类相当的水平。
同样,基于大模型的网络结构及训练原理,让大模型进一步学习复杂计算、理解复杂规律则比较困难。受限于大模型本身的训练周期,复杂个体以及专有领域需要的计算能力与通用生成式人工智能(AIGC)需要达到的目标和能力具有一定差异。期望大模型兼顾通用和专有领域能力需要解决一定的问题,要想提升模型在某个领域的专有能力,如计算能力、专有数据、事实性知识以及时效性知识等方面的能力,仅通过增加模型网络参数和叠加数据,效果甚微。该类专有领域能力需要通过调用私有化模型以及外挂领域知识,结合大模型的中枢调控能力才能达成目标,如图2所示。
图2 大模型在语义理解和知识专有能力维度上的优势与不足
大模型时代下知识推理的特点
知识推理,即基于已有知识体系通过推理方法揭示未知知识的过程。这一过程通常从已知的知识出发,归纳出新的事实或概念,或者从大量已有的知识中进行归纳和推广,将个体知识扩展到更广泛的一般性知识领域。当前知识推理技术广泛应用于金融反欺诈、智能问答与搜索、军事辅助决策、智能医疗等领域,如企业投资风险研究、信贷风控、智能投顾、社会舆情监控等场景。
知识推理是人类对自身理性进行发掘、认识、驾驭并予以自动化的过程,从萌芽到形式化先后经历了古典(形式)逻辑、数字逻辑、数理逻辑到自动推理(使用逻辑)四个阶段。从易到难可以分为命题逻辑、描述逻辑、一阶逻辑以及高阶逻辑。大模型出现前,系统的推理水平更多停留在描述逻辑推理阶段,即知识图谱的基础理论,很难做到更高维度的逻辑推理。基于知识图谱的推理使用描述逻辑作为基础理论支撑,同时使用图数据库作为存储介质,结合知识表征、知识查询以及外挂引擎实现深度的结构化知识推理。当结构化知识与具体事件结合,以数据的变化作为事件的触发条件融合计算能力则构成了应用维度的事件推理。
大模型本身自有的上下文理解能力给公开的通识性知识交互推理、浅层逻辑推理等场景带来了便捷,避免了以往通过大量构建结构化知识进行推理导致的人力和时间投入大以及系统时效性低等问题。在公开应用领域,使用大模型结合开源知识进行迭代学习并接入实时互联网数据,能够较好地解决浅层、粗粒度的通识性知识推理问题,满足开源数据在公开场景中大部分的日常应用需求。
大模型时代下产业特点
随着大模型技术的持续推进,产业界也在发生重大变革,业务流程从传统软件驱动转型升级到数智化的数据+模型智能双驱动模式。大模型加持的典型应用场景,如智慧金融、智慧医疗、智慧工业和智慧城市等,在产业的深度、广度上也将得到更加快速的发展。
以金融数智化建设为例,从现在到2030年的这段时间是金融数字化的发展窗口,大模型时代下的数据和智能将产生更加深度的融合,并为行业转型升级赋能,把金融IT的基础设施和能力提高到新阶段。金融信息化发展将从基础业务、技术能力和业务域等多个维度进行智慧升级,实现从金融电子化、互联网金融到金融数智化的升级。
人工智能对产业的赋能与既往某种原生技术带来的影响不一样,前者出现在产业的各领域、各阶段,如同空气弥漫一般为全产业链赋能。而后者则更似一种固态技术,单方位、单节点地为产业应用赋能。金融投资决策涉及数据、计算和推理三个核心环节(如图3所示),云原生底座技术为其提供了技术依托和资源管控平台,计算能力需要借助AI结合业务数据进行聚合和衍生计算,而推理则借助中间计算数据以及基础业务数据按照业务延展进行推理决策,研判投资行为。人工智能覆盖投资决策前的数据治理、数据融合、数据计算以及推理决策全过程,可以说人工智能无处不在。大模型时代下AI弥漫式地为行业应用赋能即将到来。
图3 大模型时代下金融产业投资决策的技术形态
大模型与知识图谱的关系
从上述大模型的技术特点、知识推理特性和应用场景可以看出,其与知识图谱有较多的应用能力重叠,如智能对话、知识检索、知识推荐、内容生成和辅助决策等。二者的关系是替代、增强还是互补值得深入研究,可以从典型应用场景、核心技术能力特性等方面进行对比。
大模型与知识图谱的应用场景对比
大模型典型应用主要围绕大模型的知识生成、总结加工以及上下文学习能力展开,具体包括智能对话、内容生成加工、知识创作、机器翻译、知识检索等。而知识图谱的应用形态则依托其结构化的知识存储、丰富的知识表征以及逻辑推理能力展开,具体包括知识管理、辅助决策推荐以及知识检索等,二者应用场景能力要求对比如表1所示。
表1 大模型与知识图谱应用场景能力要求对比
大模型与知识图谱的核心技术能力对比
针对大模型与知识图谱在上述典型应用场景中的应用进行核心技术能力剖析,大模型的基础能力主要体现在语义理解、指令依从性、思维链(Chain Of ,COT)、常识基础性知识存储、上下文理解、任务推理规划和自我反思能力7个主要方面。知识图谱的核心基础能力则主要表现为语义理解、多源知识更新与融合、知识表征、查询、推理、溯源和可视化。基础能力决定了二者各自的先天优势和能力缺陷。例如,大模型先天具备生成能力,能够基于通用性知识进行知识问答,但是在可解释性和结果输出稳定性上存在先天不足。对于知识图谱,其知识存储的结构化和网络化形态决定了其输出结果的可控性和可解释性,但其在开源领域的知识存储和知识表达上的受限性决定了其在通用性知识方面的相对局限性。二者具体的优势与不足对比如表2所示。
表2 大模型与知识图谱在基础能力方面的优势与不足
大模型与知识图谱应用层级对比
我们将大模型与知识图谱的功能在应用场景和应用深度两个维度进行对比。从应用场景上看,根据数据来源以及知识应用场景的不同可以分为两头在外、一内一外以及两头在内三种类型(如图4所示)。其中,两头在外型是指从公网上获取非结构化数据,然后从非结构化数据中提取知识,再把提取出的知识放入知识图谱的知识获取过程。知识的应用主要与人进行交互,而不是在系统里,比如知识图谱问答(KGQA)就是属于两头在外型。而金融机构的生产数据库时刻都在生产数据,新的数据进行结构化存储后,可以直接导入知识图谱,即从内部获取知识,知识图谱不与人交互,而是与系统交互,这是典型的两头在内型。一内一外型是知识获取环节和知识应用环节一个在内,一个在外。
图4 基于应用场景的知识获取和应用分类
从应用深度上看,图谱可以分为事务密集型和计算密集型两类。事务密集型图谱具有推理较浅、查询简单、访问量大的特点,通常会展现一些数据的可视化输出、转换等。计算密集型图谱更多是在专有领域进行深度关联挖掘,具有专、深、精的特点,可用于对决策进行辅助支持。金融估值模型、反洗钱模型以及股权穿透计算等场景均为计算密集型的应用。以股权穿透计算为例,实际控制人将其股权投资分散到多个公司,这些公司又化零为整,将资金投到了一个其实际控制的公司。这个化整为零的过程比较复杂,需要通过大数据技术结合图计算技术把背后的实际控制人挖掘出来。
从知识图谱的应用场景和应用深度上来看大模型的应用替代性,通常仅在事务密集型和两头在外型的场景下,大模型结合插件知识才能完全替代知识图谱(如表3所示)。此种情况是由知识的公开透明性以及事务型应用的通用性、常识性特点决定的,大模型的优势较为明显。而对于知识内在型以及计算密集型场景,大模型很难单独替代知识图谱,二者需要进行更多的能力融合。
表3 大模型在应用场景和应用深度上的能力矩阵
大模型与知识图谱的共生关系
从大模型和知识图谱的技术特点、应用特点以及核心能力来看,大模型与知识图谱在能力矩阵和应用场景上呈现相互补全、合纵连横的特点,是一种共生关系,如图5所示。
图5 大模型与知识图谱的共生关系
图5中,横向以大模型为核心,多个插件围绕大模型构成一个插件联盟。知识图谱作为其中一类插件与大模型相辅相成。比如,用自然语言把对知识的需求尽可能人性化地描述出来,然后由大模型完成这种对语言理解能力要求精准的任务,并将其转换成对知识图谱的各种操作。但从纵向垂直领域看,恰恰相反。比如,可以利用专业领域的知识图谱数据进行专业化推理,同时调用大模型,这样不仅可以用知识图谱描述业务知识,也可以用知识图谱描述大模型赋能的系统,通过这种元数据描述的方式将二者对接起来。垂直领域里的很多应用可以通过API的方式与其他模型对接,最好的方式就是利用知识图谱描述API或者元数据。
大模型与知识图谱协作应用新范式
大模型与知识图谱在技术演化和应用层面展现的共生关系决定了它们在技术上进行融合的可能性,二者在知识处理、知识表示和知识应用上相互依赖,在技术上呈现交替演进的态势。大模型时代下,有必要基于应用的趋同性和技术的互补性对二者进行增强,促进产业应用智能化转型升级。
大模型与知识图谱技术协同范式
图6 大模型与知识图谱的三种能力协同模式
大模型与知识图谱整合可以通过知识图谱赋能大模型、大模型增强知识图谱以及大模型与知识图谱协同赋能服务上层应用(如图6所示)。知识图谱通过结构化的专业领域知识增强通用大模型的专业化知识能力,同时其专有的符号推理知识更有利于增强大模型的上下文学习能力。例如,在检索式增强生成(RAG)场景下,抽取检索问题中的实体信息,将其与基于知识图谱中实体相关的子图构造的上下文一同传入大模型,以达到增强搜索结果的效果。知识图谱可以充分利用大模型的少样本学习、信息提取能力以及思维推理能力协助图谱知识的创建、融合、校验以及表征。二者协同结合能够增强整体知识的表征能力、强化推理能力,以及结果的校审能力和可解释性。
大模型与知识图谱应用协同框架
通过大模型与知识图谱的技术协作,结合数据层、技能层以及应用层可构建统一协作的应用技术框架(如图7所示),各部分间通过技能协作和优势互补增强应用层的服务能力。
图7 知识图谱与大模型协同赋能上层应用的通用技术框架
其中数据层利用大模型的上下文学习能力进行知识的提取和归一化处理,同时结合知识图谱的多模态结构化存储能力实现知识的存储与表示。协同层负责实现大模型与知识图谱的能力互补。技能层将大模型与知识图谱相关的技术进行接入融合,协同处理现实场景中的各种应用需求,如智能问答、知识检索推荐系统、辅助决策等。
典型应用范式
大模型与知识图谱应用结合的新范式主要包括:以大模型为中枢结合知识图谱赋能的应用模式和以图谱为核心的大模型赋能的业务典型应用。
知识图谱助力大模型垂直领域落地
知识图谱可以应用在大模型的训练、评估和推理的全生命周期中,提升大模型的整体应用效果。大模型应用能够利用知识图谱的高度结构化和专业化的知识、可解释性、可追溯性以及深度推理的优势弥补自身短板(如图8所示)。具体表现在:利用图谱高质量数据的注入,在大模型预训练阶段提升基线模型水平,同时改进精调与强化效果。在模型评价阶段,可以借助图谱的结构化专业知识评估并审查大模型的输出结果。在推理阶段,则通过图谱的输出结果对大模型的提示()进行增强,同时对模型的输出结果进行审核校验和辅助修正。
图8 基于领域图谱赋能的大模型增强
注入知识图谱的能力后,大模型的专业领域知识应用得到显著强化。在实际应用中,知识图谱作为领域知识仓库,能够有效增强大模型对业务输入内容的理解。作为逻辑推理引擎,大模型可基于现有的图谱推理工具、查询接口以及业务元数据进行任务编排调度,实现对用户输入内容的分析、查询、推理,以及答案的合成,结合自我反思达到对输出结果的控制以及流程的优化,不断提升系统输出结果的质量以及对安全合规效果的把控。图9展示了知识图谱助力大模型在智能文档检索中的应用。
图9 知识图谱助力大模型在智能文档检索中的应用
大模型增强的知识图谱问答应用落地
知识图谱在应用落地过程中主要有知识图谱构建和应用推理两个环节的工作。图谱构建涉及数据治理,包括数据清洗、抽取、融合和存储工作,通常需要大量的人力进行数据标注、审核以及模型训练,该环节可以充分利用大模型的零样本学习能力辅助数据质量的审核、数据标注以及抽取等重复繁琐的工作内容。在知识表示、推理以及结合业务应用阶段也可以利用大模型进行知识的表示增强,利用大模型进行图谱文本嵌入时使用的编码器,解决数据结构连通性限制的问题,增强知识表示能力。另外在应用阶段,利用大模型的通识性知识对图谱输出结果进行复核,避免常识性错误,提升系统的鲁棒性和安全性。
在真实应用场景中,可以结合上文提到的SPG进行知识的生产、融合和推理应用。该框架提供了计算AI引擎算子库,能够较为灵活地接入大模型能力,并在知识构建和推理阶段按需进行算子扩展编程。该框架具体包括SPG大模型能力底座、SPG知识生成、SPG语义推理框架以及SPG应用层等。引入SPG框架,能够较好地实现大模型赋能知识图谱在真实业务场景的落地,例如图10展示的大模型增强的知识图谱问答系统。
图10 大模型增强的知识图谱问答系统
总结
大模型时代的到来给现有的知识图谱的构建与应用模式带来了巨大冲击,在新的技术浪潮下,知识图谱的研究者应该秉持清醒、坚守和融汇的理念,认识到知识图谱所处的位置,理解大模型与知识图谱共存共生、互相加强的新范式。知识图谱发展到今天还有诸多短板,如知识理解能力较弱、常识知识缺乏等,知识图谱与大模型的能力融汇,将达到一加一大于二的放大效应。大模型时代的到来并没有终结知识图谱,反而为知识图谱带来新生,给图谱领域的诸多挑战性问题带来了新的解决思路。后续大模型结合知识图谱应用落地的关键在于构建统一的技术框架应用范式,以降低产业应用门槛事务的四大特性,促进产业繁荣。
陈佼
CCF专业会员。恒生电子股份有限公司人工智能研发负责人、高级工程师。主要研究方向为知识图谱、NLP、OCR相关技术及其工程化应用落地。
甄化春
恒生电子股份有限公司AI研发工程师。主要研究方向为自然语言处理、知识图谱、知识管理等。