| 基于CNN和XLNet的音乐多模态情感分析方法 |
| |
| 引用本文： | 张晶晶,陈伟,李庆珍.基于CNN和XLNet的音乐多模态情感分析方法[J].贵阳学院学报(自然科学版),2023(2):34-39. |
| |
| 作者姓名： | 张晶晶 陈伟 李庆珍 |
| |
| 作者单位： | 1. 淮南联合大学人文与外国语学院;2. 淮南联合大学信息工程学院;3. 中国政法大学数据法治研究院 |
| |
| 基金项目： | 2020年安徽省教育厅人文社会科学研究重点项目(项目编号：SK2020A0693)； |
| |
| 摘 要： | 在情感分析领域，仅依靠文本等单一模态进行情感分析，限制了从多模态数据中提取多样化特征的能力，限制了情感分析结果的准确度和鲁棒性。为此，提出了融合音频分析网络和文本分析网络的多模态情感分析方法。其中，利用预训练卷积神经网络(CNN)和迁移学习技术进行基于Mel频谱图的音频情感分类，通过改进的XLNet模型执行歌词文本的特征提取和情感分类任务。CNN和XLNet输出包含概率权重和不同情感值的情感预测矩阵，最后使用堆叠集成方法合并不同模态的输出结果，完成多模态情感分类。在自建民族音乐数据集的消融实验证明，多模态方法具有良好的互补性，在情感识别任务中的性能显著优于单模态方法。公开数据集结果表明，所提方法的分类准确度达到83.75%,优于其他先进方法。
|
| 关 键 词： | 多模态数据 卷积神经网络 Mel频谱图 堆叠集成法 音乐情感分析 |
|
