Skip to content

jinzhaochaliang/Chinese-Musical-Instruments-Classification

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Chinese-Musical-Instruments-Classification

摘要

随着社会的快速发展以及信息化时代的来临,音乐信息检索技术开始广泛地应用在我们的生活中。几乎所有的音乐数据都有与之对应的乐器,因此研究乐器分类对音乐信息检索有着非常重要的意义。通过声音来识别乐器,是通过人工智能研究中国传统乐器的各种课题的前提。目前的乐器音频识别并没有专门针对中国传统乐器的,因此我们要开展这项有关中国传统乐器音频识别的研究。

本文首先介绍了乐器音频识别的理论基础,包括音频信号的理论基础和音频识别的整个流程。然后自己搭建了中国传统乐器音频数据库,包括78件乐器和1630个音频文件。接着本文研究了中国传统乐器音频的乐器种类识别问题,利用梅尔频谱特征作为输入,训练了8层的卷积神经网络,最终取得了99.3%的准确率,随后从三个角度对实验结果进行了分析。接着本文研究了中国传统乐器音频的演奏技巧识别问题,首先进行了单一乐器的演奏技巧识别,利用预训练的ResNet模型提取梅尔频谱的特征,然后通过SVM分类在所有乐器上均取得了99%的准确率,接着为了提高模型的泛化性,提出了同一类乐器的演奏技巧识别,通过训练卷积神经网络进行实现,最终四大类乐器的识别准确率如下:吹奏类乐器95.7%,弹拨类乐器82.2%,拉弦类乐器88.3%,敲击类乐器97.5%。

我们开放了中国传统乐器音频数据库和整个实验的Python源代码以供进一步研究。

论文

介绍视频

<iframe src="//player.bilibili.com/player.html?aid=795902578&bvid=BV1PC4y1a7Yc&cid=200341022&page=1" scrolling="no" frameborder="no" width="100%" height="600"> </iframe>

研究内容

  • 对中国传统乐器数据库进行标注和整理

    搭建了中国传统乐器音频数据库,包含78件中国传统乐器和18819个音频片段

  • 中国传统乐器音频的乐器种类识别

    使用梅尔频谱特征,训练8层的卷积神经网络模型进行识别,测试集准确率达到了99.3%

  • 中国传统乐器音频的演奏技巧识别

    • 单一乐器演奏技巧识别 使用预训练的神经网络模型提取特征,利用SVM进行分类识别。最终取得了99%的准确率。
    • 同一类乐器演奏技巧识别 训练8层的卷积神经网络进行识别,四大类乐器的平均准确率为90.9%

环境配置

GTX 950M+CUDA9.2

python虚拟环境,python3.6

中国传统乐器音频数据库

原始数据库https://pan.baidu.com/s/1x3gAmabbIyJA9S_AeXYMvA 提取码:m117

整理后的数据库

中国传统乐器音频的乐器种类识别

本项目研究了中国传统乐器音频的乐器种类识别问题,利用梅尔频谱特征作为输入,训练了8层的卷积神经网络,最终取得了99.3%的准确率。

Run

中国传统乐器音频的演奏技巧识别

本项目研究了中国传统乐器音频的演奏技巧识别问题,首先进行了单一乐器的演奏技巧识别,利用预训练ResNet模型提取梅尔频谱的特征,然后通过SVM分类在所有乐器上均取得了99%的准确率,接着为了提高模型的泛化性,提出了同一类乐器的演奏技巧识别,通过训练卷积神经网络进行实现,最终四大类乐器的识别准确率如下:吹奏类乐器95.7%,弹拨类乐器82.2%,拉弦类乐器88.3%,敲击类乐器97.5%。

Run

我们开放了中国传统乐器音频数据库和整个实验的Python源代码以供进一步研究。

本文地址https://github.com/jinzhaochaliang/Chinese-Musical-Instruments-Classification

部分代码参考自https://github.com/qiuqiangkong/dcase2018_task2.git

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published