昇思25天学习打卡营第13天|基于MindNLP+MusicGen生成自己的个性化音乐
关于MindNLP
MindNLP是一个依赖昇思MindSpore向上生长的NLP（自然语言处理）框架，旨在利用MindSpore的优势特性，如函数式融合编程、动态图功能、数据处理引擎等，致力于提供高效、易用的NLP解决方案。通过全面拥抱Hugging Face等开源社区，实现模型的快速迁移和适配，同时保持对MindSpore特性的深度利用。
应用场景：MindNLP适用于各种NLP任务，包括但不限于文本分类、情感分析、信息抽取、问答系统等。
GitHub仓库：MindNLP的代码仓库位于GitHub上（MindNLP GitHub仓库），用户可以在此获取MindNLP的源代码、文档和示例代码。
安装mindnlp库以及相关依赖库：pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindnlp jieba soundfile librosa
MindNLP的核心特性
- 动态图与静态图的融合：MindNLP在设计上采用了动态图+反向成图的方案，既保证了用户使用的友好性和调试的方便性，又保持了训练性能的优势。
- 全面拥抱Hugging Face：MindNLP与Hugging Face社区进行了深度绑定，支持直接使用Hugging Face的Transformers、Peft、Trl等开发库。
Huggingface入门手册：主要包括计算机视觉、自然语言处理、语音处理、多模态、表格处理、强化学习。
Computer Vision（计算机视觉任务）：包括lmage Classification（图像分类），lmage Segmentation（图像分割）、zero-Shot lmage Classification（零样本图像分类）、lmage-to-Image（图像到图像的任务）、Unconditional lmage Generation（无条件图像生成）、Object Detection(目标检测)、Video Classification（视频分类）、Depth Estimation(深度估计，估计拍摄者距离图像各处的距离)
Natural Language Processing（自然语言处理）：包括Translation（机器翻译）、Fill-Mask(填充掩码，预测句子中被遮掩的词)、Token Classification（词分类）、Sentence Similarity（句子相似度）、Question Answering（问答系统），Summarization（总结，缩句）、Zero-Shot Classification (零样本分类)、Text Classification（文本分类）、Text2Text（文本到文本的生成）、Text Generation（文本生成）、Conversational（聊天）、Table Question Answer（表问答，1.预测表格中被遮掩单词2.数字推理，判断句子是否被表格数据支持）
Audio（语音）：Automatic Speech Recognition（语音识别）、Audio Classification（语音分类）、Text-to-Speech（文本到语音的生成）、Audio-to-Audio（语音到语音的生成）、Voice Activity Detection（声音检测、检测识别出需要的声音部分）
Multimodal（多模态）：Feature Extraction（特征提取）、Text-to-Image（文本到图像）、Visual Question Answering（视觉问答）、Image2Text（图像到文本）、Document Question Answering（文档问答）
Tabular（表格）：Tabular Classification（表分类）、Tabular Regression（表回归）
Reinforcement Learning（强化学习）：Reinforcement Learning（强化学习）、Robotics（机器人）
关于MusicGen
MusicGen支持两种生成模式：贪心（greedy）和采样（sampling）。在实际执行过程中，采样模式得到的结果要显著优于贪心模式。因此我们默认启用采样模式，并且可以在调用MusicgenForConditionalGeneration.generate时设置do_sample=True来显式指定使用采样模式。
基于MindNLP+MusicGen生成自己的个性化音乐