谷歌AI研究人員兼鋼琴演奏者PabloCastro正在開(kāi)發(fā)一款可深度生成AI模型，讓音樂(lè)家與之合作即興創(chuàng)作音樂(lè)，以發(fā)掘人類即興音樂(lè)的特點(diǎn)，進(jìn)而打破人類創(chuàng)造性的界限。

Castro在一支爵士樂(lè)隊(duì)PSCTrio中演奏鋼琴，他們?cè)阡滋A、蒙特利爾以及加拿大其他地區(qū)演出。他表示，“我們已經(jīng)接受了很長(zhǎng)時(shí)間的訓(xùn)練，所以可以使用音樂(lè)訓(xùn)練來(lái)創(chuàng)造性地發(fā)現(xiàn)更多的未知區(qū)域，這很可能會(huì)帶來(lái)新的音樂(lè)表現(xiàn)形式。

經(jīng)典的音樂(lè)是音樂(lè)家主要的收入來(lái)源，但是長(zhǎng)此以往音樂(lè)可能會(huì)變得無(wú)聊并且一塵不變。為了突破音樂(lè)創(chuàng)造的界限，Castro決心開(kāi)發(fā)一款可深度生成AI模型，鼓勵(lì)音樂(lè)家通過(guò)即興創(chuàng)作來(lái)挖掘更加獨(dú)特的音樂(lè)。

GoogleBrain的Magenta項(xiàng)目中ML-Jam通過(guò)機(jī)器學(xué)習(xí)操縱音樂(lè)，意圖展現(xiàn)音樂(lè)即興創(chuàng)作的人格特征。ML-Jam利用了Magenta的DrumsRNN和MelodyRNN，有意將自己限制在預(yù)制模型中。

2016年6月，Google Brain就發(fā)布Magenta項(xiàng)目，該項(xiàng)目旨在讓電腦合成具有沖擊力、藝術(shù)性、并且充滿驚喜的音樂(lè)，但到目前為止，投入產(chǎn)出比并不理想。2016年9月，谷歌旗下的英國(guó)人工智能公司DeepMind發(fā)布了一項(xiàng)實(shí)驗(yàn)的最終結(jié)果，該公司最初進(jìn)行這項(xiàng)實(shí)驗(yàn)完全是出于興趣。

DeepMind將鋼琴曲樣本放入WaveNet系統(tǒng)中以生成諸如演講類的音頻，雖然DeepMind并未披露該系統(tǒng)是如何運(yùn)作合成音樂(lè)的，但該系統(tǒng)利用初始音頻所合成的一段10秒鐘的爵士樂(lè)頗為前衛(wèi)。IBM也成立了一個(gè)名為“WatsonBeat”的研究項(xiàng)目，音樂(lè)家可以通過(guò)它來(lái)改變自己的曲風(fēng)，使歌曲聽(tīng)起來(lái)具有中東風(fēng)格或者“幽靈風(fēng)”。

Castro表示：“實(shí)質(zhì)上，我想要做的是保持我的旋律，因?yàn)檫@反映了我演奏的方式，但要用模型制作的音符取代我本身的音符，達(dá)成所謂的混合即興創(chuàng)作。在自己的經(jīng)歷中，這通常不是我自己能想到的節(jié)奏，因?yàn)檫@不是一種有機(jī)地適合我的節(jié)奏。但它通常會(huì)成為我感興趣的東西。

最近，Castro在北卡羅來(lái)納州夏洛特舉行的國(guó)際計(jì)算創(chuàng)新大會(huì)（ICCC）上發(fā)布了ML-Jam及其開(kāi)源Python代碼。

據(jù)他所作的介紹，ML-Jam 的運(yùn)作從一種確定性鼓槽開(kāi)始。有人演奏低音提琴，并添加其他樂(lè)器，然后將凹槽發(fā)送到 DrumsRNN，以生成一個(gè)獨(dú)特的模型。然后，一個(gè)控制節(jié)奏模型的音樂(lè)家用 MelodyRNN 創(chuàng)作的旋律即興創(chuàng)作一個(gè)音樂(lè)短語(yǔ)。

研究人員使用 Python 的多線程使 ML-Jam 的推理在一個(gè)單獨(dú)的線程中運(yùn)行，允許生成模型，然后在演出期間實(shí)時(shí)播放。由于生成一個(gè)模型可能會(huì)帶來(lái)不可預(yù)測(cè)的時(shí)間，所以音樂(lè)家必須在舞臺(tái)上使用他們未現(xiàn)場(chǎng)聽(tīng)到的聲音。

Castro嘗試讓ML-Jam和他的爵士樂(lè)三人組一起演奏，但他們之間缺乏“化學(xué)反應(yīng)”。所以，他計(jì)劃將AI融入他自己的音樂(lè)中。他的下一步計(jì)劃是使用ML-Jam或衍生系統(tǒng)為現(xiàn)場(chǎng)表演提供獨(dú)特內(nèi)容。

他開(kāi)始研究的這件事本質(zhì)上就是個(gè)人秀，只有他和......即興創(chuàng)作圍繞的這項(xiàng)技術(shù)。過(guò)程中，ML-Jam 變得更加有機(jī)，讓他很感興趣的是，它迫使他以一種非常不同于平常的方式來(lái)處理作曲。

“我必須考慮它是否適用于我所使用的系統(tǒng)類型。它像鼓一樣使用一個(gè)循環(huán)，所以我必須有一些適合循環(huán)的東西，不會(huì)太重復(fù)，也不會(huì)很無(wú)聊，但仍然很適合這個(gè)想法……,所以每當(dāng)我完成它的時(shí)候，無(wú)論從中得到什么，如果我沒(méi)有對(duì)我自己施加這些限制，那么 100％與我想出的任何東西都會(huì)非常不同。”

最近，音樂(lè)制作也涌現(xiàn)出了其他杰出AI模型包括Magenta的鋼琴精靈。上個(gè)月Flaming Lips在I / O表演舞臺(tái)上使用了一個(gè)名為Fruit Genie的鋼琴精靈版本。

Castro與AI的合作演奏可能會(huì)融入其他新穎的音樂(lè)模型，例如，Magenta音樂(lè)變換器可以制作鋼琴旋律以及OpenAI的MuseNet，都可以激發(fā)更多即興創(chuàng)作。 3月份，Google創(chuàng)建了一個(gè)以音樂(lè)轉(zhuǎn)換器驅(qū)動(dòng)的工具，它可以從一個(gè)人選擇的鍵開(kāi)始，然后生成聽(tīng)起來(lái)巴赫風(fēng)格的音樂(lè)。

Castro表示，音樂(lè)生成模型的全部意義在于探索人機(jī)合作的空間，因此這些合成音樂(lè)體現(xiàn)的是合作，而不是試圖采用外部構(gòu)建的系統(tǒng)并將其放入人類創(chuàng)作的歌曲中。

“每首歌都探索一種不同類型的機(jī)器學(xué)習(xí)模型，它們不一定都是產(chǎn)生音樂(lè)的模型。我們的想法是看看如何將不同的機(jī)器學(xué)習(xí)技術(shù)整合到作曲或即興創(chuàng)作中，以一種產(chǎn)生音樂(lè)的方式，如果你沒(méi)有嘗試將這些機(jī)器學(xué)習(xí)技術(shù)整合進(jìn)來(lái)，就不會(huì)產(chǎn)生這樣的音樂(lè)。”他說(shuō)。

Castro將他的模型與其他模型區(qū)分開(kāi)來(lái)，因?yàn)?strong>這款模型必須接受人工輸入才能操作。對(duì)于Castro來(lái)說(shuō)，人的目的—由人的歷史和人性塑造—構(gòu)成藝術(shù)的定義。

“對(duì)我來(lái)說(shuō)，問(wèn)題是’藝術(shù)與否？’真的歸結(jié)為’目的從何而來(lái)？’”他說(shuō)。“我認(rèn)為目前還沒(méi)有任何模式有任何目的。這是我把人放進(jìn)去的原因。”

事實(shí)上，很多音樂(lè)家并不排斥AI的介入，反而把它們作為新的靈感。法國(guó)搖滾音樂(lè)家Mathieu Peudupi（常稱作Lescop）說(shuō)：“如果沒(méi)用人工智能，我永遠(yuǎn)無(wú)法創(chuàng)作這些歌曲，它帶領(lǐng)我進(jìn)入了一個(gè)全新的境遇，這就像和樂(lè)隊(duì)成員一起創(chuàng)作一樣，雖然我會(huì)忽略樂(lè)隊(duì)成員大部分的建議，但在這個(gè)世界上哪有聽(tīng)同伴建議的歌手？