
索尼公開了一項(xiàng)新專利“DYNAMIC MUSIC CREATION IN GAMING(在游戲中的動態(tài)音樂創(chuàng)作)”,這項(xiàng)專利描述了一種基于游戲內(nèi)容和期望引出的情緒進(jìn)行動態(tài)音樂創(chuàng)作的方法和系統(tǒng)。


根據(jù)示意圖,該方法主要包括以下幾個(gè)主要部分:
·收集音樂數(shù)據(jù)并生成各組成要素的元數(shù)據(jù);生成對應(yīng)音樂的情緒元數(shù)據(jù);將音樂元數(shù)據(jù)映射至情緒元數(shù)據(jù),并借此訓(xùn)練模型
·收集游戲場景/組成元素;將游戲組成元素映射至情緒元數(shù)據(jù)
·借助此前訓(xùn)練完成的模型和對游戲組成元素的分析數(shù)據(jù)來為角色、場景創(chuàng)作主題曲
·通過Fader和Switch將主題曲適配到游戲中并且進(jìn)行測試和調(diào)整
根據(jù)描述,在這一系統(tǒng)中,首先會對音樂的組成元素(包括節(jié)奏、拍號、旋律結(jié)構(gòu)等)進(jìn)行分析,然后分別以獨(dú)立和組合的方式映射到對應(yīng)情緒元素(包括緊張、開心、恐懼等)中,以此為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。
其中數(shù)據(jù)主要來自音樂會、唱片等內(nèi)容的評測以及社交媒體中大眾的觀點(diǎn)。應(yīng)用到的神經(jīng)網(wǎng)絡(luò)可能會包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及/或動態(tài)神經(jīng)網(wǎng)絡(luò)。
同時(shí),這些音樂元素會與游戲中各種元素/玩家相映射,包括角色(領(lǐng)袖、同伴等)、活動類型(戰(zhàn)斗、休息等)、區(qū)域(森林、城市等)、玩家的性格等。
最終,合成工具將會根據(jù)游戲內(nèi)容(具體來說是各組成基元)來實(shí)現(xiàn)音樂創(chuàng)作,為游戲中的角色或元素創(chuàng)作音樂元素或是主題。
在完成作曲后,系統(tǒng)會根據(jù)主題曲和期望情感進(jìn)行模擬,作曲者可以通過相應(yīng)界面觀察到與樂曲對應(yīng)的元素,并且通過調(diào)整參數(shù)來修改樂曲。當(dāng)一些游戲風(fēng)格外的其他因素(比如時(shí)間或是游玩時(shí)長、游戲狀態(tài)等)變化時(shí),系統(tǒng)也可以自動調(diào)整參數(shù)完成更新。
