不懂乐理,也能扒谱,基于openvpi将mp3转换为midi乐谱(Python3.10)
所謂"扒譜"是指通過(guò)聽歌或觀看演奏視頻等方式，逐步分析和還原音樂(lè)作品的曲譜或樂(lè)譜的過(guò)程。它是音樂(lè)學(xué)習(xí)和演奏的一種常見(jiàn)方法，通常由音樂(lè)愛(ài)好者、樂(lè)手或?qū)W生使用。
在扒譜的過(guò)程中，人們會(huì)仔細(xì)聆聽音樂(lè)作品，辨別和記錄出各個(gè)音符、和弦、節(jié)奏等元素，并通過(guò)試錯(cuò)和反復(fù)推敲來(lái)逐漸還原出準(zhǔn)確的曲譜或樂(lè)譜。這對(duì)于那些沒(méi)有正式樂(lè)譜或想學(xué)習(xí)特定曲目的人來(lái)說(shuō)，是一種有效的方式。
扒譜的目的是為了更好地理解和演奏音樂(lè)作品，從中學(xué)習(xí)技巧、樂(lè)曲結(jié)構(gòu)和藝術(shù)表達(dá)等方面。但不懂樂(lè)理的人很難聽出音符和音準(zhǔn)，本次我們通過(guò)openvpi的開源項(xiàng)目some來(lái)直接針對(duì)mp3文件進(jìn)行扒譜，將mp3轉(zhuǎn)換為midi文件。
項(xiàng)目配置
首先我們來(lái)克隆項(xiàng)目：
git clone https://github.com/openvpi/SOME.git
進(jìn)入項(xiàng)目的目錄some:
cd some
接著下載項(xiàng)目的預(yù)訓(xùn)練模型：
https://pan.baidu.com/s/1lVQcKP7ijTELslJNgoDqkQ?pwd=odsm
2stems模型放到項(xiàng)目的pretrained_models目錄下。
ckpt模型放入項(xiàng)目的ckpt目錄下。
如果沒(méi)有ckpt和pretrained_models目錄，請(qǐng)手動(dòng)建立。
如下所示：
├───ckpt
│ config.yaml
│ model_ckpt_steps_104000_simplified.ckpt
├───pretrained_models
│ └───2stems
│ ._checkpoint
│ checkpoint
│ model.data-00000-of-00001
│ model.index
│ model.meta
如此，項(xiàng)目就配置好了。
背景音樂(lè)和人聲分離
扒譜主要針對(duì)人聲部分，所以需要spleeter的參與，關(guān)于spleeter，請(qǐng)參見(jiàn)：人工智能AI庫(kù)Spleeter免費(fèi)人聲和背景音樂(lè)分離實(shí)踐(Python3.10)，囿于篇幅，這里不再贅述。
執(zhí)行命令：
spleeter separate -p spleeter:2stems -o ./output ./test.mp3
這里使用2stems模型已經(jīng)在上文中進(jìn)行下載，并且放置在項(xiàng)目的pretrained_models目錄。
如果沒(méi)有output目錄，請(qǐng)手動(dòng)建立，test.mp3為需要扒譜的音樂(lè)文件。
隨后會(huì)將背景音樂(lè)accompaniment.wav和人聲vocals.wav分別輸出在項(xiàng)目的output目錄：
├───output
│ └───test
│ accompaniment.wav
│ vocals.wav
人聲去噪
一般情況下，分離后的人聲可能還存在混音等噪音，會(huì)影響轉(zhuǎn)換的效果。
這里使用noisereduce來(lái)進(jìn)行降噪：
pip install noisereduce
編寫降噪代碼：
from scipy.io import wavfile
import noisereduce as nr
# load data
rate, data = wavfile.read("./output/test/vocals.wav")
# perform noise reduction
reduced_noise = nr.reduce_noise(y=data, sr=rate)
wavfile.write("./output/test/vocals.wav", rate, reduced_noise)
運(yùn)行后會(huì)對(duì)vocals.wav人聲文件進(jìn)行降噪重寫操作。
扒譜（wav轉(zhuǎn)換midi）
接著運(yùn)行命令進(jìn)行轉(zhuǎn)換：
python infer.py --model ./ckpt/model_ckpt_steps_104000_simplified.ckpt --wav ./output/test/vocals.wav
程序返回：
python infer.py --model ./ckpt/model_ckpt_steps_104000_simplified.ckpt --wav ./output/test/vocals.wav
accumulate_grad_batches: 1, audio_sample_rate: 44100, binarization_args: {'num_workers': 0, 'shuffle': True}, binarizer_cls: preprocessing.MIDIExtractionBinarizer, binary_data_dir: data/some_ds_fixmel_spk3_aug8/binary,
clip_grad_norm: 1, dataloader_prefetch_factor: 2, ddp_backend: nccl, ds_workers: 4, finetune_ckpt_path: None,
finetune_enabled: False, finetune_ignored_params: [], finetune_strict_shapes: True, fmax: 8000, fmin: 40,
freezing_enabled: False, frozen_params: [], hop_size: 512, log_interval: 100, lr_scheduler_args: {'min_lr': 1e-05, 'scheduler_cls': 'lr_scheduler.scheduler.WarmupLR', 'warmup_steps': 5000},
max_batch_frames: 80000, max_batch_size: 8, max_updates: 10000000, max_val_batch_frames: 10000, max_val_batch_size: 1,
midi_extractor_args: {'attention_drop': 0.1, 'attention_heads': 8, 'attention_heads_dim': 64, 'conv_drop': 0.1, 'dim': 512, 'ffn_latent_drop': 0.1, 'ffn_out_drop': 0.1, 'kernel_size': 31, 'lay': 8, 'use_lay_skip': True}, midi_max: 127, midi_min: 0, midi_num_bins: 128, midi_prob_deviation: 1.0,
midi_shift_proportion: 0.0, midi_shift_range: [-6, 6], model_cls: modules.model.Gmidi_conform.midi_conforms, num_ckpt_keep: 5, num_sanity_val_steps: 1,
num_valid_plots: 300, optimizer_args: {'beta1': 0.9, 'beta2': 0.98, 'lr': 0.0001, 'optimizer_cls': 'torch.optim.AdamW', 'weight_decay': 0}, pe: rmvpe, pe_ckpt: pretrained/rmvpe/model.pt, permanent_ckpt_interval: 40000,
permanent_ckpt_start: 200000, pl_trainer_accelerator: auto, pl_trainer_devices: auto, pl_trainer_num_nodes: 1, pl_trainer_precision: 32-true,
pl_trainer_strategy: auto, raw_data_dir: [], rest_threshold: 0.1, sampler_frame_count_grid: 6, seed: 114514,
sort_by_len: True, task_cls: training.MIDIExtractionTask, test_prefixes: None, train_set_name: train, units_dim: 80,
units_encoder: mel, units_encoder_ckpt: pretrained/contentvec/checkpoint_best_legacy_500.pt, use_buond_loss: True, use_midi_loss: True, val_check_interval: 4000,
valid_set_name: valid, win_size: 2048
| load 'model' from 'ckpt\model_ckpt_steps_104000_simplified.ckpt'.
100%|████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.66it/s]
MIDI file saved at: 'output\test\vocals.mid'
轉(zhuǎn)換好的鋼琴旋律midi文件存放在output目錄下，直接雙擊播放即可，也可以通過(guò)代碼進(jìn)行播放：
''' pg_midi_sound101.py
play midi music files (also mp3 files) using pygame
tested with Python273/331 and pygame192 by vegaseat
'''
import pygame as pg
def play_music(music_file):
'''
stream music with mixer.music module in blocking manner
this will stream the sound from disk while playing
'''
clock = pg.time.Clock()
try:
pg.mixer.music.load(music_file)
print("Music file {} loaded!".format(music_file))
except pygame.error:
print("File {} not found! {}".format(music_file, pg.get_error()))
return
pg.mixer.music.play()
# check if playback has finished
while pg.mixer.music.get_busy():
clock.tick(30)
# pick a midi or MP3 music file you have in the working folder
# or give full pathname
music_file = r"D:\work\YiJianBaPu\output\test\vocals.mid"
#music_file = "Drumtrack.mp3"
freq = 44100 # audio CD quality
bitsize = -16 # unsigned 16 bit
channels = 2 # 1 is mono, 2 is stereo
buffer = 2048 # number of samples (experiment to get right sound)
pg.mixer.init(freq, bitsize, channels, buffer)
# optional volume 0 to 1.0
pg.mixer.music.set_volume(0.8)
try:
play_music(music_file)
except KeyboardInterrupt:
# if user hits Ctrl/C then exit
# (works only in console mode)
pg.mixer.music.fadeout(1000)
pg.mixer.music.stop()
raise SystemExit
結(jié)語(yǔ)
筆者在原項(xiàng)目的基礎(chǔ)上進(jìn)行了fork，添加了人聲分離和降噪的功能，并且整合了預(yù)訓(xùn)練模型，與眾鄉(xiāng)親同饗：
https://github.com/v3ucn/YiJianBaPu
總結(jié)
以上是生活随笔為你收集整理的不懂乐理,也能扒谱,基于openvpi将mp3转换为midi乐谱(Python3.10)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 【随手记录】Llama Tutorial
- 下一篇： 一键整合,万用万灵,Python3.10