共查询到20条相似文献，搜索用时 46 毫秒
1.
2022年底,OpenAI发布的ChatGPT聊天机器人将人工智能对通用自然语言任务的理解与生成能力提升到新的高度,引发各界广泛关注。当前ChatGPT仅支持文本模态的交互,而真实世界的感知则依赖于图像、文本、视频、音频等多个模态的协同处理。如何借鉴人脑的跨模态处理特性,跨越视觉、语言、听觉等不同感官信息实现对真实世界的感知和认知,是提升模型通用感知和交互能力、实现通用人工智能的关键。本文从ChatGPT的核心技术出发,分析ChatGPT在文本单模态限制下所面临的问题,并介绍ChatGPT与多模态分析技术结合的部分代表性工作,最后从多模态预训练、数据—知识双轮驱动等角度对ChatGPT多模态化的未来研究方向进行展望。 相似文献
2.
以ChatGPT为代表的对话式语言大模型通过使用超大规模模型参数和海量训练数据,涌现出很强的上下文学习能力和思维链推理能力,在各种自然语言处理任务上取得了显著的进步,被视为颠覆性通用人工智能技术。在纯文本语言大模型突破的基础上,近期显现的重要技术发展趋势是向能够理解和生成语音、图像、图形等其他模态数据的跨模态语言大模型的转变。随着大模型技术的快速发展,跨模态语言大模型逐步拥有了较强的多模态感知以及初步的跨模态认知能力。本文将从多模态感知大模型、跨模态认知大模型、以及分布式智能体系统三种范式综述跨模态语言大模型技术体系的演进过程,并总结相关的评测基准,最后讨论跨模态语言大模型面临的技术挑战及潜在重要研究方向。 相似文献
3.
[目的/意义]针对突发事件分类研究中模态单一或缺失、分类效果不理想等问题，本文提出结合文本和图片特征信息，以多模态融合的方式对突发事件进行分类。[方法/过程]本文提出一种基于多模态融合的突发事件分类模型(Emergency Classification Model with Hybrid Fusion, ECMHF),由BERT联动BiLSTM构成的文本特征抽取分类模型、VGG19为基础的图像特征抽取分类模型、融合文本描述特征和视觉语义特征的多模态融合层加上预测类别输出层组成的多模态分类模型3部分构成主体框架，最后将所有模型的决策层输出分配权重后再融合。[结果/结论]以收集的突发事件新闻数据为实验样本进行实证研究。结果表明，ECMHF模型在所有模型中性能最佳，F1值达到最高的99.072%,比次优模型高出0.51%。加入混合融合策略的ECMHF模型能够有效地识别出突发事件的类别。未来将在更为广泛和多元的突发事件多模态数据集中进行验证。 相似文献
4.
多模态视角下城市公益广告语篇研究 总被引：1，自引：0，他引：1
“多模态语篇”指的是除了文本之外,还带有图像、声音或者动作等符号系统的且通过多种符号系统之间的互动来实现意义的复合文本。本文把多模态研究应用到城市公益广告语篇中,阐述了城市公益广告语篇中语言和图像等符号模态是如何实现互动意义构建的。 相似文献
5.
[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式，研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补，讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上，提出社交网络舆情多模态知识图谱的构建框架，并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架，为交互方式日趋丰富的社交网络舆情治理提供有益参考。 相似文献
6.
该文探讨了多模态在史学通识课程中的赋能原理和实施模式,分析了基于多模态信息的供给、推理、构建和合并过程。与传统依托文本的课程思政教育不同,多模态资源本身具有开放性、互动性和多样性等特点。因此,课程思政的引导重点在于利用多模态信息资源加深学生对史实价值的认识,提供深度互动和自主推理、构建和整合的学习环境,强调问题意识和实践导向。 相似文献
7.
[目的/意义]随着网络化和数字化的快速发展，线上线下医疗健康活动产生了海量多模态数据，当前迫切需要一种更为完善的知识组织方法，对类型繁多、专业性强的医疗健康多模态数据进行序化和组织。[方法/过程]首先对多模态数据进行预处理以构建多模态医疗健康数据集；接着基于实体对齐和关系抽取实现医疗健康数据的知识单元抽取，并通过知识评估和融合构建多模态知识单元；然后在多模态知识单元和知识图谱基础上提出一种面向多模态医疗健康数据的知识组织模式；最后以文本和图像模态数据为例，以医疗健康问答系统为实践应用进行分析和验证。[结果/结论]针对多模态医疗健康数据的内在特性，基于多模态知识图谱和语义知识组织框架，提出一种面向多模态医疗健康数据的知识组织模式。本研究推进了多模态知识组织的理论深度，可为医疗健康领域知识序化、精准知识服务和深度知识发现提供有效支撑。 相似文献
8.
[研究目的]为强化国家安全情报能力,推动风险监测预警能力提升,构建基于多模态大数据的国家安全风险态势感知模型。[研究方法]该文对国家安全风险态势感知进行阐释,并分析多模态大数据驱动下的国家安全风险态势感知运作逻辑;在此基础上,构建态势感知模型并解析其内涵。[研究结论]该模型集国家安全风险态势察觉、态势理解、态势预测及态势投射为一体,其构建可为强化国家安全风险监测预警能力提供参考,为服务国家治理体系和能力现代化建设提供支撑。 相似文献
9.
[目的/意义]反讽作为一种隐性而间接的情感表达方式,在社交评论中被广泛使用,正确识别用户的反讽情感对于网络平台和服务商具有重要意义。[方法/过程]文章基于深度学习构建多模态反讽识别模型,以在线旅游评论为例,运用深度学习模型分别提取文本、表情符号和图片的特征向量,通过不同的特征融合方式进行反讽识别。[结果/结论]通过与单模态反讽识别模型进行对比实验,发现文章提出的多模态旅游评论反讽识别模型在准确率、召回率等指标上的结果更优,验证了多模态模型比单模态模型反讽识别效果更佳的结论。 相似文献
10.
11.
【目的/意义】社交媒体在改变新闻传播以及人类获取信息方式的同时,也成为了虚假新闻传播的主要渠
道。因此,快速识别社交媒体中的虚假新闻,扼制虚假信息的传播,对净化网络空间、维护公共安全至关重要。【方
法/过程】为了有效识别社交媒体上发布的虚假新闻,本文基于对虚假新闻内容特征的深入剖析,分别设计了文本
词向量、文本情感、图像底层、图像语义特征的表示方法,用以提取社交网络中虚假新闻的图像特征信息和文本特
征信息,构建多模态特征融合的虚假新闻检测模型,并使用MediaEval2015数据集对模型性能进行效果验证。【结果/
结论】通过对比分析不同特征组合方式和不同分类方法的实验结果,发现融合文本特征和图像特征的多模态模型
可以有效提升虚假新闻检测效果。【创新/局限】研究从多模态的角度设计了虚假新闻检测模型,融合了文本与图像
的多种特征。然而采用向量拼接来实现特征融合,不仅无法实现各种特征的充分互补,而且容易造成维度灾难。 相似文献
12.
广告作为一种重要的语篇研究形式,融合了包括文字、图像、声音等多种模态。迄今为止对其研究主要体现在文体、修辞、词汇等语言研究上,而往往忽略了其他模式。本文试图运用社会符号学的多模态来分析广告,重点放在多模态语篇的概念再现意义上,着力探究分类过程、分析过程和象征过程在广告再现意义上的构成和作用,帮助读者了解图像作为社会符号和语言作为符号如何共同作用构成意义,同时提高人们运用多模态理论解读多模态语篇的能力。 相似文献
13.
多模态话语分析奥斯卡最佳影片奖《老无所依》的电影海报 总被引：1，自引：0，他引：1
本文通过多模态话语社会符号学对获得四项奥斯卡金像奖的《老无所依》电影海报进行分析研究,帮助读者了解图像作为社会符号和语言作为符号如何共同作用,提高读者的多模态话语识读能力。 相似文献
14.
【目的】探讨元宇宙技术背景下科技出版面临的挑战与机遇,探索以人工智能(AI)技术为核心元宇宙多模态、跨模态内容大爆发带来的科技期刊行业的范式创新和高质量发展路径。【方法】对元宇宙AI多模态、跨模态内容的相关概念、理念、特点、工具、应用场景等进行理论探讨,以《实用临床医药杂志》多模态数智内容融合出版实践范例为模板,剖析科技期刊元宇宙出版与传播的可能路径。【结果】借助多语种即时交互技术,科学共同体可实现“母语化创作,母语化阅读”,即科技期刊从以语种为焦点逐渐向以元宇宙多模态、跨模态学术内容的生产、组织、审核、评价、确权、传播、存储和应用为核心转移。AI赋能的“多模态数智内容编辑器”可解决元宇宙多模态内容的碎片化与孤岛化问题,是编辑与传播多模态内容的利器。【结论】元宇宙为科学共同体引入全新变量,多模态、跨模态传播生态让全球科技出版面临全新的发展格局,科学研究进入第五范式“元宇宙科学范式”,科技期刊发展进入元宇宙多模态、跨模态内容时期。《实用临床医药杂志》实践案例表明“多模态数智内容编辑器”可以解决元宇宙多模态、跨模态碎片化与孤岛化问题。 相似文献
15.
多媒体条件下,多模态符号分析应运而生。本文以中国期刊网上的相关论文为基础。梳理了国内多模态的发展过程,以及表现出的特点和趋势,指出了取得的成绩以及存在的不足,因此需要采取措施,完善多模态理论构建和实践探索,加快多模态学科建设的脚步。 相似文献
16.
[目的/意义]多模态资源虽类型丰富但分散无序,挖掘多模态资源间隐含的知识关联进而实现跨模态、多角度的知识重组,对于多模态资源的智能管理与深层服务都具有重要的价值。[方法/过程]文章立足知识服务的特点与需求,结合多模态资源的特征,探讨多模态资源的知识挖掘方案,并基于此方案探讨可通用的多维度知识重组方案。在此基础上,以多模态红色资源为代表,通过对红色人物陈毅相关多模态资源的获取与处理,实现相关文本、图像、视频资源的知识重组,开发了可视化知识服务平台“陈年毅事”,并从时间、地点、人物、主题等不同维度探讨了可视化知识服务的实现路径。[结果/结论]通过实证研究,验证所提出知识重组方案的适用性与可行性,可以为多模态资源的深度挖掘、多维组织与服务应用提供一定的借鉴与参考。[局限]图像及视频资源有待更深层的挖掘;知识关联方式还有待补充。 相似文献
17.
各类英文视听材料极大地丰富了英语教学的资源,是促进语言学习的有效途径。本文探讨如何借助premiere影视剪辑软件对多媒体素材进行优化,使多模态资源在教学中得到充分的应用,从而增加学生进行交际训练和真正使用语言的机会和时间,达到提高学生英语语言综合应用能力的目标。 相似文献
18.
本文简要介绍了多媒体语音实验室具备了有丰富的视、听、说、练的资源,以及能够实现课堂互动的特点,符合了多模态教学要求多种模态互补的要求,由此提出了高校教师可以借助多媒体语音实验室实现多模态教学。 相似文献
19.