大模型生成RPG游戏，情节角色DIY！谷歌出品，一作上海交大校友
大模型生成RPG游戏，情节角色DIY！谷歌出品，一作上海交大校友
谷歌和北卡罗来纳大学教堂山分校的研究团队开发了一款基于大模型的RPG游戏生成系统"Unbounded"。该系统可以根据用户输入生成游戏模拟环境和角色动作，支持角色个性化、游戏环境生成、开放式互动和实时生成等功能。
用大模型生成无限游戏
研究团队引入了一个生成无限游戏的概念。"无限游戏"指以延续游戏为目的游戏，生成无限游戏就是通过使用生成式模型，超越传统受限的视频游戏。
Unbounded是一款完全由生成式模型封装的角色生活模拟游戏。玩家可以在虚拟世界中通过喂养、玩耍和引导角色，与他互动，但需要保证它的健康状态。
基于此，他们生成游戏的主要属性包括：角色个性化、游戏环境生成、开放式互动、实时生成。
在语言方面，他们开发了一个基于LLM的游戏引擎。这个游戏引擎能够保持游戏机制的一致性，生成连贯的叙事，并实时生成上下文角色响应。
他们的专业模型是在两个协作性强的LLM Agent自动生成的数据基础上进行微调的，无需人工注释。以Gemma-2B为例，经过微调之后的游戏引擎，在状态更新、环境相关性、故事连贯性和指令遵循方面都表现得更为出色。
在视觉生成方面，他们引入了新型动态区域图像提示适配器（Regional IP-Adapter）。该适配器可在保持多幅图像视觉一致性的同时，生成一致的角色和环境。具体来说，它将游戏环境和角色外观作为图像生成的条件，而游戏环境和角色外观则由交叉注意力层中注意力输出所获得的动态掩码调制。这是为了减少环境和角色之间的干扰，使两者都能可靠地出现在场景中。
与之前的方法相比，他们的区域IP适配器采用了区块丢弃技术，能持续生成具有高度字符一致性和环境一致性的图像。
一作为上海交大校友
这篇研究主要来自谷歌以及北卡罗来纳大学教堂山分校团队。其中一作Jialu Li目前是北卡罗来纳大学教堂山分校五年级博士生，本科毕业于上海交大，随后在康奈尔大学获得硕士学位。
对于这项研究，谷歌导师Nataniel Ruiz兴奋表示了对生成游戏的看好：未来大多数游戏都将完全由生成游戏组成。想想《龙与地下城》等桌面角色扮演游戏的无限性——并试着想想这将如何应用于《上古卷轴》或《艾尔登法环》等游戏。
论文链接：
https://arxiv.org/abs/2410.18975
https://generative-infinite-game.github.io/
参考链接：
[1]https://x.com/JialuLi96/status/1849869554719260721
[2]https://x.com/natanielruizg/status/1849807021131874583