首页 > 代码库 > 【Python图像特征的音乐序列生成】关于小样本的一些思考

【Python图像特征的音乐序列生成】关于小样本的一些思考

我之前就注意到,深度学习和音乐结合,尤其是从乐理出发进行结合(而不是纯粹的进行音乐生成),是一个尚未被深度挖掘的全新领域。可想而知,这个方向符合我要求的数据肯定是要自己搜集了。

自己搜集的数据,在量上就已经输了,只是考虑到我们要做的任务并不复杂,准确的说只是一个分类器,再加一个LSTM而已。对于这个分类器,甚至不需要用卷积神经网络,可以使用一些其他的网络;而LSTM的样本本来就蕴含了很明确的规律,变化并不是很大。

那么我们就要开始思考,除了一些常规的训练方法,还有什么训练适合小样本数据吗?

1、数据扩增技术,例如图片的亮度改变、加噪声、翻转、随机裁切、缩放等制造出大量样本。

2、有人使用游戏来训练,例如使用GTA里面的场景来学习自动驾驶,当然这不属于严格的小样本。

3、使用生成模型,例如GAN来生成大量接近真实的样本来训练。苹果的第一篇AI论文simGAN就是这么做的。

4、经典的特征提取算法,再使用SVM等浅层网络来训练,需要的数据量就没有那么多。

来源:知乎
这几个思路都算还行,当然还有其他的思路。
5,贝叶斯规划学习(Bayesian Program Learning,BPL)
以及:
6,利用先验知识。
 
对于1,这是一个可行的办法,只是我们使用的数据集只是网络图片,处理网络图片比处理本地图片要困难。
对于2,这个不适合我们的问题。
对于3,问题同1.
对于4,这是一个很好的解决办法,我们实际上就是使用了一种广义的特征提取算法(提取了实体,再进行向量化)
对于5,看起来是一个很高深的知识……我现在还不是很懂。
对于6,这个同样不是很懂,得问一下师兄师姐才能得到答案。
 
 
我个人觉得,对于抽象了图片特征,转化成向量,这样就已经降低了对样本集本身的要求。对于网络结构的改进,我期望能尽量避免over-fitting。
 

【Python图像特征的音乐序列生成】关于小样本的一些思考