RWKV社区8月动态：发布中文小说模型、日语模型及embedding模型
RWKV社区8月动态：发布中文小说模型、日语模型及embedding模型
2024年8月，RWKV社区在模型开发、社区项目和学术研究等方面取得了重要进展。以下是RWKV社区8月的主要动态：
RWKV官方动态
发布RWKV-6-ChnNovel中文小说模型
2024年8月3日起，RWKV社区陆续发布了1B6/3B/7B/14B四种参数的RWKV-6-ChnNovel系列中文小说模型，及对应的小说扩写state。
RWKV-6小说模型下载链接：https://huggingface.co/BlinkDL/rwkv-6-misc/tree/main
RWKV-6-ChnNovel中文小说模型基于RWKV-6-World基底模型微调，微调数据包含中文小说数据和指令（instruction）数据。相较于RWKV-6基底模型，RWKV-6中文小说模型在小说续写、小说扩写以及进行深层次的角色扮演功能上有非常好的效果。
发布RWKV-6-Jpn日语微调模型
RWKV发布7B/14B两种参数的RWKV-6-Jpn日语微调模型。
RWKV-6-Jpn下载地址：https://huggingface.co/BlinkDL/rwkv-6-misc
RWKV-6-Jpn系列日语模型由社区成员@OpenMOSE进行RLHF后，在日语任务上表现更好。OpenMOSE发布的基准测试显示：RLHF后RWKV-6-Jpn7B日语模型可与其他70B的Transformer模型媲美。
RWKV中文官网新增pip库使用指南与提示词指南
RWKV官网的中文文档新增了聊天、续写两种模式的提示词指南与RWKV pip库使用指南。“RWKV提示词指南”介绍了如何向RWKV提问，包括完成任务、角色扮演等方面内容。“RWKV pip库使用指南”将指引你使用RWKV pip库开发基于RWKV模型的应用。
RWKV社区项目
RWKV Runner项目更新
RWKV Runner更新了v1.8.7版本，此版本调整了兼容性和UI界面，并新增了function call等功能：
- 新增了函数调用（function call）功能（由RWKV社区成员@EliwiiKeeya贡献）
- 在窄屏页面上添加悬浮Web导航（由RWKV社区成员@HaloWang贡献）
- 发布了RWKV Runner Windows安装器。Windows安装器有完整的、正式的安装流程：会自动创建目录放置依赖，自动创建快捷方式启动，且自带卸载程序
- Completion续写页面已支持调整penalty_decay参数
社区发布rwkv6 embedding模型
RWKV社区发布了rwkv6_emb_4k_base嵌入模型（embedding model），这是一个使用中文查询/上下文数据进行微调的Bi-Encoder，主要用于将文本转换成嵌入向量。
rwkv6_emb_4k_base下载链接：https://huggingface.co/yueyulin/rwkv6_emb_4k_base
此外社区也发布了另一款RWKV-6嵌入模型rwkv6_crossencoder，这是基于RWKV-6架构的Cross-Encoder（交叉编码器）。Cross-Encoder既可以用于生成嵌入向量的embedding任务，也可以用于重排序查询/上下文检索的Rerank任务。
rwkv6_crossencoder下载地址：https://huggingface.co/yueyulin/rwkv6_crossencoder
RWKV学术研究相关
Music-Diff音乐生成模型
来自大连理工大学的研究团队提出了Music-Diff架构，该架构引入了Joint Semantic Pre-training方法来执行多变量扰动，并引入了多分支降噪器“Symb-RWKV”模型来恢复联合分布的噪声（通过Pareto优化来适应多个噪声目标）。
实验表明，与语言模型相比，在音符和语义层面进行扰动的联合概率扩散模型可以提供更多样本多样性和组成规律性。
Music-Diff论文地址：https://arxiv.org/abs/2408.01950