A16Z 最近寫了一篇很有意思的文章，談到他們認(rèn)為的生成式 AI 和游戲結(jié)合在一起的機(jī)會(huì)在哪，筆者翻譯后對部分內(nèi)容進(jìn)行了注解。文章第一部分已經(jīng)發(fā)出，見：《a16z：生成式 AI 在游戲領(lǐng)域的觀察與預(yù)測》，本篇為第二部分，包括 A16Z 對游戲 + 生成式 AI 領(lǐng)域的市場生態(tài)的判斷（請注意：這些大部分都是 A16Z 的 Portofolio，請大家本著客觀理性的態(tài)度閱讀）。

市場生態(tài)概述

下圖為整體的市場生態(tài)情況，描述了 A16Z 在各個(gè)類別中發(fā)現(xiàn)的創(chuàng)業(yè)公司，在這些具體的項(xiàng)目中，我們看發(fā)現(xiàn)了生成式人工智能（AIGC）對游戲的影響，本篇會(huì)對每個(gè)類別中最有特點(diǎn)的公司和機(jī)會(huì)進(jìn)行介紹。

用文本生成平面圖像（2D Images）

從文本提示中生成 2D 圖像，已生成式人工智能最為廣泛的應(yīng)用領(lǐng)域之一。諸如 Midjourney、Stable Diffusion 和 Dall-E 2 這樣的工具，直接可以將文本描述生成高質(zhì)量的二維圖像，并且它們用在了游戲開發(fā)和制作的整個(gè)生命周期的多個(gè)階段。

（注釋：這里解釋一下 Midjourney 也是比較容易用的 AI 圖像生成器，更容易上手，圖像生成速度很快， 1 分鐘內(nèi)可以出 4 張圖）

概念藝術(shù)（Concept Art）

（注釋：概念藝術(shù)也可以稱為初步設(shè)計(jì)，通常在影視或者游戲行業(yè)中有這個(gè)專業(yè)設(shè)計(jì)概念。總的來說，指的是為產(chǎn)品的視覺效果定出一個(gè)基調(diào)，應(yīng)該說是一個(gè)游戲或影片的最初的核心工作內(nèi)容之一。通過全新的設(shè)計(jì)思路和方向（包括造型、精神、概念等），對過去的方式進(jìn)行革新甚至是顛覆，創(chuàng)造出全新的造型角色或者概念。和插畫有什么區(qū)別？插畫家與游戲的關(guān)系更多的是幫其繪制海報(bào)、包裝封面等。而與影視、游戲開發(fā)的工作真正緊密相關(guān)的 2D 藝術(shù)工作之一就是我們所說的 Concept Art。和漫畫有什么區(qū)別？Concept Art 跟漫畫有很大區(qū)別，漫畫（manga）是日本一個(gè)獨(dú)立的體系，更多服務(wù)于熱門的輕小說的視覺化。而概念藝術(shù)則是服務(wù)于游戲，動(dòng)畫（animation），在風(fēng)格上表現(xiàn)形式上不受限制，創(chuàng)造出一些超前的，或者是完整的一套設(shè)定顯得極為重要。和原畫有什么區(qū)別？Concept Art 幾乎包括所有的角色，場景塑造，跟原畫師不同的地方是，概念設(shè)計(jì)師必須要主動(dòng)產(chǎn)出一些更有趣的設(shè)計(jì)。

Concept Art 區(qū)別于原畫師，在游戲，動(dòng)畫項(xiàng)目中扮演一個(gè)僅次于主策劃的一個(gè)美術(shù)向的決策地位，決定這個(gè)項(xiàng)目的風(fēng)格和受眾，因此一個(gè)以概念藝術(shù)家為目標(biāo)的畫師，被一種畫風(fēng)禁錮是不稱職的。）

參考資料：公眾號一沙君:史上最全!ConceptArt 專業(yè)解析賽德大學(xué) Concept Art 專業(yè) Yufei Zhang 的分享 –2020-02-04 18:00

生成式人工智能工具，在幫助像游戲設(shè)計(jì)師這樣的角色進(jìn)行游戲概念探索與靈感啟發(fā)都比較有用處。這也是生產(chǎn)過程的一個(gè)關(guān)鍵環(huán)節(jié)，例如，某個(gè)游戲工作室正在使用上述工具，從根本上加快了他們的概念藝術(shù)的開發(fā)流程，因?yàn)樗麄冎挥昧艘惶鞎r(shí)間就創(chuàng)造出了一個(gè)圖像，而在以前，這個(gè)過程需要長達(dá) 3 周的時(shí)間，但是具體怎么操作呢？

首先，游戲設(shè)計(jì)師使用 Midjourney 來探索不同的靈感，并生成他們認(rèn)為合適的概念圖像。之后，圖像會(huì)被交給專業(yè)的概念藝術(shù)家，藝術(shù)家可以把這些圖像組合在一起，然后創(chuàng)建一個(gè)相關(guān)主題的連貫圖像，然后將這些圖片輸入 Stable Diffusion，以形成系列的圖像變化。

大家會(huì)共同討論這些風(fēng)格各異的圖像風(fēng)格，然后確定一個(gè)，用畫筆手動(dòng)編輯，然后繼續(xù)重復(fù)以上過程，直到大家對作品結(jié)果感到滿意。在這個(gè)階段，再把這個(gè)圖像最后上傳給 Stable Diffusion，創(chuàng)造出最后的藝術(shù)作品。

2D Production Art

還有的游戲工作室在嘗試使用類似的人工智能工具來制作游戲中的美術(shù)作品。例如，下圖是來自 Albert Bozesan，關(guān)于如何使用 Stable Diffusion 來創(chuàng)建游戲中的 2D 資產(chǎn)的教程。

來源：https://www.youtube.com/watch?v=blXnuyVgA_Y

3D Artwork

3D 立體模塊，是目前所有現(xiàn)代游戲以及即將到來元宇宙的重要構(gòu)建源。虛擬世界和游戲關(guān)卡，本質(zhì)上都是一個(gè) 3D 資產(chǎn)的集合，通過不同的組合和放置方法，修改不同的參數(shù)來填充游戲環(huán)境。而創(chuàng)建 3D 元素比創(chuàng)建 2D 平面圖更為復(fù)雜，涉及多個(gè)步驟，包括需要制作 3D 模型、添加紋理和效果。而對于動(dòng)畫人物來說，還涉及到需要?jiǎng)?chuàng)建一個(gè)內(nèi)部「輪廓」，然后在輪廓之上創(chuàng)建動(dòng)畫。

我們發(fā)現(xiàn)有不同的初創(chuàng)公司，在尋找有關(guān) 3D 資產(chǎn)創(chuàng)建過程的各個(gè)階段的機(jī)會(huì)，包括模型創(chuàng)建、角色動(dòng)畫和關(guān)卡制作等等。然而，這部分的業(yè)務(wù)和創(chuàng)新尚在探索中。

三維資產(chǎn)（3D assets）

試圖往創(chuàng)建 3D 模型方向發(fā)展的初創(chuàng)公司包括 Kaedim、Mirage 和 Hypothetic。大公司也在關(guān)注這個(gè)問題，包括 Nvidia 的 Get3D 和 Autodesk 的 ClipForge。Kaedim 和 Get3d 專注于圖像到 3D 模型的轉(zhuǎn)換；ClipForge 和 Mirage 專注于文本到 3D 轉(zhuǎn)換，而 Hypothetic 公司對文本到 3D 搜索以及圖像到 3D 都感興趣。

Kaedim 公司：總部在倫敦，主要是通過 2D 圖像生成 3 維模型。

Mirage: https://www.mirageml.com/

三維紋理（3D Textures）

如果在游戲中，三維模型能夠用在基于網(wǎng)格的紋理或材料上，能夠顯得更加真實(shí)。例如，一個(gè)中世紀(jì)的城堡模型上使用不同類型的、帶有青苔的風(fēng)化石，可以完全改變一個(gè)場景的外觀塑造。這里所說的紋理，包含關(guān)于光對材料的反應(yīng)的元數(shù)據(jù)（即粗糙度、光澤度等），藝術(shù)家可以根據(jù)文本或圖像提示輕松生成紋理，對于提高創(chuàng)作過程中的迭代速度是非常有價(jià)值的，像 BariumAI、Ponzu 和 ArmorLab 這樣的公司正在在這個(gè)領(lǐng)域努力。

BariumAI:https://barium.ai/

Ponzu:https://www.ponzu.gg/

動(dòng)畫

優(yōu)秀動(dòng)畫的制作，是游戲創(chuàng)作過程中最耗時(shí)、最昂貴和最有技巧的部分之一，降低成本和創(chuàng)造更為真實(shí)的動(dòng)畫的方法之一，是運(yùn)用動(dòng)作捕捉，即給演員或舞者穿上動(dòng)作捕捉服，用專門的設(shè)備，記錄他們的動(dòng)作。

我們發(fā)現(xiàn)，當(dāng)前的生成式人工智能，可以直接從視頻中捕捉動(dòng)畫。這就更高效了，因?yàn)檫@樣就不需要成本高昂的的動(dòng)作捕捉設(shè)備，也意味著我們可以從現(xiàn)有視頻中捕捉動(dòng)畫。

人工智能模型的另一個(gè)令人興奮的點(diǎn)在于，可以用于過濾現(xiàn)有動(dòng)畫，加上新的特效，例如讓動(dòng)畫人物一鍵看起來喝醉了，或者老了，或者高興。這一領(lǐng)域的公司包括 Kinetix、DeepMotion、RADiCAL、Move Ai 和 Plask。

Kinetix

DeepMotion

RADiCAL

關(guān)卡設(shè)計(jì)和游戲世界構(gòu)建（Level design & world building）

游戲創(chuàng)作中最耗時(shí)的方面之一是構(gòu)建游戲世界，生成式人工智能可以用于這項(xiàng)任務(wù)。像《Minecraft》、《No Man"s Sky》和《Diablo》這樣的游戲，因程序化技術(shù)生成關(guān)卡而聞名，其中關(guān)卡是隨機(jī)生成的，每次都不一樣，但都遵循關(guān)卡設(shè)計(jì)者制定的規(guī)則。新的 The new Unreal 5 游戲引擎的一大賣點(diǎn)在于，它收集了用于開放世界設(shè)計(jì)的程序化工具，例如葉子的放置。

例如 Promethean、MLXAR 或 Meta 的 Builder Bot 這些公司，都是看到了生成式 AI 技術(shù)的機(jī)會(huì)。這方面的學(xué)術(shù)研究已經(jīng)有一段時(shí)間了，包括 Minecraft 的生成技術(shù)或 Doom 的關(guān)卡設(shè)計(jì)。

為什么生成式人工智能工具具備用于游戲關(guān)卡設(shè)計(jì)的潛力？因?yàn)?AI 具備創(chuàng)造不同風(fēng)格的關(guān)卡和游戲世界的能力。可以想象一下，通過工具迅速生成一個(gè) 1920 年紙醉金迷時(shí)代紐約的游戲世界，或者是神秘的反烏托邦銀翼殺手的設(shè)計(jì)，或者是托爾金派（類似于魔戒的設(shè)計(jì)和景觀）的幻想世界（vs dystopian blade-runner-esque future, vs. Tolkien-esque fantasy world.）。

下面的概念是由 Midjourney 使用提示生成的游戲中不同風(fēng)格關(guān)卡：

音頻

聲音和配樂是游戲體驗(yàn)的重要部分。已經(jīng)有公司開始使用生成式人工智能生成音頻，以補(bǔ)充圖形方面的工作。

音效

聲音效果是人工智能的另一個(gè)有吸引力的領(lǐng)域。已經(jīng)有學(xué)術(shù)論文探討了使用人工智能在電影中生成「foley」的想法（例如腳步聲），不過目前能夠直接在游戲中應(yīng)用的商業(yè)產(chǎn)品還很少。

筆者認(rèn)為，這只是一個(gè)時(shí)間問題，因?yàn)橛螒虻幕?dòng)性使其成為生成式人工智能的一個(gè)明顯的應(yīng)用，既可以創(chuàng)造靜態(tài)的聲音效果作為生產(chǎn)的一部分（「游戲里的激光槍音效等等」），也可以在運(yùn)行時(shí)創(chuàng)造實(shí)時(shí)的互動(dòng)聲音效果。

想象一下，如何給玩家角色生成腳步聲（筆者注：例如 CS 和吃雞里的腳步聲..）？大多數(shù)傳統(tǒng)游戲，會(huì)通過少量預(yù)先錄制的腳步聲來解決這個(gè)問題：例如，在草地上行走、在礫石上行走、在草地上跑步、在礫石上跑步等等。這些聲音的發(fā)布和管理都很繁瑣，而且運(yùn)行的時(shí)候聽起來重復(fù)且不真實(shí)。

更好的方法是實(shí)時(shí)通過生成式 AI 的模擬音效，產(chǎn)生合適且更真實(shí)的的音效，通過游戲中的參數(shù)，如地面、角色、的重量、步態(tài)、鞋類等不同的介質(zhì)，表現(xiàn)出不同的音效。

音樂（游戲配樂）

配樂對游戲來說很重要，因?yàn)樗梢詭椭适轮黝}設(shè)定感情基調(diào)，就像在電影或電視中一樣。但由于游戲持續(xù)的時(shí)間更長，有的時(shí)候能持續(xù)數(shù)百甚至數(shù)千小時(shí)，不變的音樂可能很快變得重復(fù)或令玩家厭煩。此外，由于游戲具備互動(dòng)性質(zhì)，游戲配樂很難完全精確地配合屏幕上隨機(jī)發(fā)生的場景和動(dòng)作。

二十多年來，自適應(yīng)音樂（Adaptive music）一直是游戲配樂的一個(gè)受關(guān)注的話題，它可以一直追溯到微軟的「DirectMusic」系統(tǒng)，用于創(chuàng)建互動(dòng)音樂。不過，DirectMusic 并沒有被廣泛采用，主要是因?yàn)橛眠@種格式作曲難度較大，只有少數(shù)游戲，如 Monolith 的《無人生還》，創(chuàng)造了真正的互動(dòng)配樂（Monolith’s No One Lives Forever,）。

現(xiàn)在，有許多創(chuàng)業(yè)公司正在嘗試創(chuàng)造人工智能生成的音樂，如 Soundful、Musico、Harmonai、Infinite Album 和 Aiva，盡管目前的很多工具，如 Open AI 的 Jukebox，是高度計(jì)算密集型的，還不能實(shí)時(shí)運(yùn)行，不過，一旦初始模型成功建立，實(shí)時(shí)運(yùn)行將成為可能。

對話&語音（Speech and Dialog）

很多公司試圖為游戲中的人物創(chuàng)造逼真的聲音，當(dāng)然，由于計(jì)算機(jī)的語音合成歷史悠久，這并不少見，這些公司包括 Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai 等等。將生成式人工智能用于語音有多種優(yōu)勢，當(dāng)然，這個(gè)賽道競爭也比較激烈。

即時(shí)對話生成。通常情況下，游戲中的語音是由配音演員預(yù)先錄制的，但這些都僅限于死板的演講稿。有了生成式人工智能對話，角色可以說任何話，這就意味著可以對玩家的行為做出充分的反應(yīng)。

角色扮演。許多玩家希望扮演與自己現(xiàn)實(shí)世界身份幾乎沒有相似之處的虛擬人物。然而，只要玩家用自己的聲音說話，這種幻想就會(huì)破滅，使用與玩家的化身相匹配的生成的聲音可以保持這種幻覺。

控制音效。通過 AI 生成語音時(shí)，我們可以控制聲音的細(xì)微差別，比如它的語調(diào)、轉(zhuǎn)折、情感共鳴、音素長度、口音等等。本地化（方便翻譯和國外推廣）。對話可以翻譯成任何語言，并以同樣的聲音說話，像 Deepdub 這樣的公司專門專注于這個(gè)細(xì)分市場。

NPC&玩家角色

很多初創(chuàng)公司在研究使用生成式人工智能來創(chuàng)建可以互動(dòng)的角色，除了游戲中 NPC 的市場機(jī)會(huì)，虛擬助理或接待員也具備很大的增長空間。這種努力可以追溯到人工智能研究初期。

很多公司正在建立通用聊天機(jī)器人，其中許多是由類似于 GPT-3 的語言模型驅(qū)動(dòng)的。少數(shù)公司專門試圖建立以娛樂為目的的聊天機(jī)器人，如 Replika 和 Anima，試圖建立虛擬陪伴者。電影《Her》（斯派克·瓊斯編劇并執(zhí)導(dǎo)的一部科幻愛情片，由華金·菲尼克斯、斯嘉麗·約翰遜等主演）中展現(xiàn)的虛擬女友時(shí)代，可能很快就會(huì)到來。

現(xiàn)在可以看到這些聊天機(jī)器人平臺(tái)的下一個(gè)迭代，如 Charisma.ai、Convai.com 或 Inworld.ai，除了可以渲染 3D 角色提供動(dòng)力外，還具備情感呈現(xiàn)，工具可以讓創(chuàng)造者給這些角色設(shè)定目標(biāo)，可以在融入游戲或在推動(dòng)情節(jié)發(fā)展中具有敘事性的地位，而不是純粹的擺設(shè)。

一體化平臺(tái)

像 Runwayml.com 這樣最成功的生成式人工智能工具，可以將廣泛的創(chuàng)作者工具集于一身。不過，目前游戲領(lǐng)域還沒有這樣的公司，A16Z 很想投資具備以下特點(diǎn)的生成式 AI 游戲解決方案：

• 涵蓋整個(gè)制作過程的全套生成式人工智能工具：( 代碼、資產(chǎn)生成、紋理、音頻等 )

• 能夠與流行的游戲引擎如虛幻和 Unity 結(jié)合使用

• 設(shè)計(jì)成適合典型的游戲生產(chǎn)的通用場景套件工具

總結(jié)

對于游戲創(chuàng)作者來說，這是一個(gè)令人難以置信的時(shí)代。有一天，我們可以想象會(huì)出現(xiàn)專門為玩家定制的個(gè)性化的游戲，完全基于玩家的需求。

這種場景在科幻小說中已經(jīng)存在了很長時(shí)間 — 比如《安德的游戲》中的「人工智能智力游戲」，或者《星際迷航》中的全息甲板，這些都會(huì)在將到來的未來真正實(shí)現(xiàn)。

熱點(diǎn)：pi 元宇宙 數(shù)據(jù) 計(jì)算機(jī)