基于 RWKV 的 AI角色扮演 WebUI

这是一个使用 Gradio 制作的基于 RWKV 的 AI 角色扮演对话的 WebUI，7B参数int8量化下仅需要7.6GB显存即可完美运行。配合N卡最新驱动的显存内存融合，基本一个10XX系以上的N卡就能扮演一个不错的AI对象。也不知道是模型特点还是设定问题，AI总是在勾引用户做羞羞的事情。即使你电脑贼垃圾，甚至只有一个手机，也可以白嫖谷歌的 Google Colab，每个账号每天大概可以免费使用3~12小时。

??????白嫖 Google Colab 运行 RWKV

  1. 步骤1：注册一个谷歌账号，然后根据情况选择步骤
    • 你的账号 Google Drive剩余空间大于8GB，则跳到 步骤2
    • 你的账号 Google Drive剩余空间小于8GB，则跳到 步骤5
  2. 步骤2：点击这个链接 【rwkv_role_playing环境初始化】进入项目初始化代码。
    这段代码的目的是下载预转换为 fp16i8 的模型文件，web UI 的配置，角色人格，对话存档，并存入你的谷歌网盘，因为 Google Colab 一旦断开运行，并不会保存状态，所以需要把数据存在自己的谷歌网盘里。下次使用的时候才能继续上次的状态出来。

  3. 步骤3：运行项目初始化代码

    • 点击左上角的【连接】按钮，连接CPU或GPU，这里可能会问你使用什么运行时，选CPU或者GPU都可以啊，建议选CPU，节约GPU运行时。
    • 当你把鼠标放到灰色的代码块上去的时候，左侧会出现一个类似播放按钮的东西，点击它就可以运行这一部分代码。当按钮周围有环绕的虚线时说明代码正在运行中，运行完会在左侧出现一个对勾并写上运行时长，如下图所示。

    • 第二步点击运行后会弹出一个窗口让你授权连接你的谷歌网盘。
    • 第三步无脑点击运行即可。
    • 第四步请选择其中一个运行，选一个就行，不用都运行。这三个模型的区别就是：
      > Claude 模型:这个模型是使用shareClaude进行微调的，相对更擅长对话；
      > Novel 模型：使用大量的小说进行微调，更擅长对话时环境动作描写；
      > 原始CHNtuned模型，更加均衡。
  4. 运行项目

    • 点击这个链接 【运行项目】
    • 点击又上方的小三角将运行时改为 python3 + （T4）GPU

    • 无脑从 4-1 开始，依次点击运行按钮，运行代码到 4-6 ，当你看到下边这样的代码时，就说明项目已经好了

    • 点那个https://XXXXXXX.gradio.live链接，和你的赛博 AI 对象尽情畅玩吧。
  5. 如果你的 Google Drive 剩余空间小于 8GB ，请注意以下操作
    • 步骤 3-1 ~ 3-3 照常执行，步骤 3-4 不要执行
    • 步骤4-4内的代码改为如下内容,这个是拉取的Claude特化训练模型，如需其他模型可以参考步骤3-4内的代码自行更换。
    !curl -Lo model/RWKV-4-Claude-CHNtuned-7B-v1.pth  https://huggingface.co/tjsky/rwkv_mybackup/resolve/main/RWKV-claude-4-World-7B-20230805-ctx65k.pth-cuda-fp16i8.pth
# 4-4.从huggingface中拉取模型文件

    Bash

    Copy

    • 保存角色数据，基本每个角色需要 50 ~ 60 MB的空间，视你角色设定长度的变化，复杂设定可能每个角色需要100MB以上，请确保你的 Google Drive 剩余空间足够。
    • 上述代码会每次运行时现下载 huggingface.co 上的模型，速度不好说，我自己体验从20分钟到5分钟都可能。尽量让代码从谷歌云盘里下，这样模型的下载速度非常稳定。几分钟就可以完成。
  6. 当你玩完了准备走的时候，先点击运行按钮，停止 4-6 的运行后，然后运行 4-7 ，保存角色数据和配置等到谷歌云盘。

  7. 部分注意点

– Google Colab 每天理论上最大可免费用12小时，但实际上嘛谷歌会根据自身的负载调控时长，目前AI不算太火，大约4小时后才会提示免费用户不可用，这个额度基本上也够你玩了，实在还想玩你可以再注册个谷歌账号重复以上步骤继续白嫖，你甚至可以加个代码在两个账号的谷歌盘之间同步角色数据和状态，无缝切换账号什么的。
– Google Colab 运行后不是你就可以不管了，谷歌大约1小时后会进行人机验证，确保你人在电脑前，所以记得时不时切到 Google Colab 页面看一眼。
– 免费额度快到的时候，谷歌会频发让你进行人机验证，这是一个快要强制下线的预兆，请尽快执行 4-7 部分代码保存数据。

本地运行 RWKV

硬件与软件准备

  • 随便一个 CPU，10XX系以上 Nvidia 显卡
  • 至少 16GB 的内存（最好有32GB内存，因为模型加载需要先占用内存）
  • 大于 15GB 的硬盘可用空间
  • 最好有 SSD（最开始要将模型读到内存中，使用 HDD 会经历一个漫长的启动过程）
  • 最好有个魔法上网工具，毕竟大部分代码与模型都在 github 和 huggingface上 。
    • 如果你的魔法上网工具有类似 TUN 模式，VPN 模式直接开启就好。
    • 如果你的魔法上网工具只给你了一个本地代理地址，比如 127.0.0.1:1080 ，可以安装一个叫做“Proxifier”的软件，在Proxy Server内添加127.0.0.1:1080，在Proxification Rules内添加
      一个新条目，Applications 写 python.exe;git-*.exe;git.exe; headless-git.exe;，Action选刚才设置的Proxy XXXX 127.0.0.1

正式开始部署

安装 Python 3.10.6 与 pip

其实3.8以上的就行，不过为了方便同时用stable-diffusion-webui，我选择了3.10.6这个版本

我这里采用直接系统内安装Python 3.10.6的方式
如果你会用Miniconda等python版本依赖控制工具，也可以用它们实现Python多版本切换，具体可以自己百度谷歌解决。

  1. 访问 Python3.10.6 下载页面

  2. 把页面拉到底，找到【Windows installer (64-bit)】点击下载

  3. 安装是注意，到这一步，需要如下图这样勾选 Add Python to PATH
     

    然后再点上边的 Install Now
    python

  4. 安装完成后，命令行里输入Python -V，如果返回Python 3.10.6那就是成功安装了。

  5. 命令行里输入 python -m pip install --upgrade pip安装升级pip到最新版。

安装 Git

  1. 访问 Git 下载页面

  2. 点击【Download for Windows】，【64-bit Git for Windows Setup】点击下载

  3. 一路下一步安装

  4. 命令行运行git --version,返回git version 2.XX.0.windows.1就是安装成功了。

安装 Git Large File Storage

  1. 点击 git-lfs.github.com 并单击“Dowdload”。

  2. 在计算机上，找到下载的文件。

  3. 双击文件 git-lfs-windows-3.X.X.exe , 打开此文件时，Windows 将运行安装程序向导以安装 Git LFS。

  4. 命令行运行git lfs install,返回Git LFS initialized.就是安装成功了。

安装 CUDA

  1. 命令行运行nvidia-smi,看下自己显卡支持的 CUDA版本
    （最好先升级以下显卡驱动，5月之后的的驱动支持了内存显存融合，对小显存显卡有提升）

  2. 接下来前往英伟达 CUDA 官网，下载对应版本。
    注意请下载，你对应的版本号最高的版本，比如我的是11.7的，那就下11.7.1（这里最后的.1意思是，11.7版本的1号升级版）

  3. 选你自己的操作系统版本，注意下个离线安装包【exe [local]】，在线安装的话，速度还是比较堪忧的。

下载 RWKV_Role_Playing

找一个你喜欢的目录，在资源管理器，地址栏里敲CMD，敲回车，启动命令提示行窗口，输入以下命令

# 下载项目源代码
git clone https://github.com/shengxia/RWKV_Role_Playing.git
# 切换到项目根目录
cd RWKV_Role_Playing
# 安装torch
pip install torch==2.0.1 --extra-index-url https://download.pytorch.org/whl/cu117 --upgrade
# 安装依赖
pip install -r requirements.txt

Bash

Copy

  • 他会在你选择的目录下生成 RWKV_Role_Playing 文件夹，放项目
  • 这东西本体+模型大概需要20GB空间
    整个路径中，不要有中文（比如“C:AI对话工具”），也不要有空格（比如“C:Program Files”）可以避免很多奇怪的问题。
  • 安装torch理论上使用1.13.1以上即可，目前最新应该是2.1.0
  • 安装torch命令最后的cu117请根据实际情况修改。目前应该最新是cu121

下载 RWKV 模型

点击这里下载模型，请使用RWKV-4-world系列CHNtuned模型，（如果使用参数量在1.5B及以下这样的模型，需要把策略改为cuda fp32或cpu fp32，否则会溢出。）
RWKV-claude-4-World-7B-65k 和 rwkv-7B-world-novel-128k 也不错。前边已经介绍过这两个模型

  • 原始 CHNtuned 模型，更加均衡。
  • Claude 模型:这个模型是使用 shareClaude 进行微调的，相对更擅长对话；
  • Novel 模型：使用大量的小说进行微调，更擅长对话时环境动作描写；
  • 如果你需要 INT8 量化后的模型（运行大概需要7.5GB显存）可以在这里下载到我已经转换好的

运行 RWKV 模型

  1. 在 RWKV_Role_Playing 文件夹内新建一个文本文件run.txt
  2. 在文件里写
python webui.py --model "model/RWKV-4-Claude-CHNtuned-7B-v1.pth" --strategy "cuda fp16i8"

Bash

Copy

其中的model/RWKV-4-Claude-CHNtuned-7B-v1.pth改成你模型存放位置

  1. 各种启动参数解释如下：
参数 解释
–port webui的端口
–model 要加载的模型路径
–strategy 模型加载的策略
–listen 加上这个参数就允许其他机器访问
–cuda_on 控制RWKV_CUDA_ON这个环境变量的，0-禁用，1-启用
–jit_on 控制RWKV_JIT_ON这个环境变量的，0-禁用，1-启用
–share 生成gradio链接
–lang 语言，zh-中文，en-英文
–autosave 是否自动保存，加上这个参数就自动保存

模型加载参数可以看这个图，注意目前因为N卡驱动已经自带显存内存融合了，使用 int8 参数（cuda fp16i8）运行，虽然省显存但是运算速度会下降。使用 fp16 参数运行，虽然部分模型被加载到内存读取速度慢了，但是 GPU 对 fp16 的运算速度远比 int8 下快，所以如果模型所需显存只是略微超过实际内存（比如模型实际需要 12G，显存 10G）不如用 fp16 加载运行。

  1. 保存文件后，将文件后缀名改成.bat（最后变成run.bat，不要给改成类似run.bat.txt了）

  2. 一些启动参数的例子

python webui.py --model "model/RWKV-4-Claude-CHNtuned-7B-v1.pth" --strategy "cuda fp16i8"
# int8量化加载模型，本地使用

Bash

Copy

python webui.py --model "model/RWKV-4-Claude-CHNtuned-7B-v1.pth" --strategy "cuda fp16i8" --listen --port 7899
# int8量化加载模型，连接0.0.0.0网卡，同局域网可访问，网页端口为机器IP:7899

Bash

Copy

python webui.py --model "model/RWKV-4-Claude-CHNtuned-7B-v1.pth" --cuda_on 1 --share --strategy "cuda fp16i8"
# cuda加速，int8量化加载模型，生成gradio链接

Bash

Copy

python webui.py --model F:gitRWKVmodelsRWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096 --strategy "cuda fp16i8 *0+ -> cpu fp32 *1"
# 几乎全部用CPU运算，显存占用最小的一种方式了。

Bash

Copy

python webui.py --model F:gitRWKVmodelsRWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096 --strategy "cpu fp32"
# 全部用CPU运算，大概需要电脑有32GB内存

Bash

Copy

  1. 以上示例的文件路径写法均为 win 下写法，如果在 Linux （WSL）里跑，请自行改一下，可以参照 Colab 运行里的代码。

开始使用基于 RWKV 的 AI角色扮演 WebUI

  1. 双击上一步的run.bat，等待程序运行，最后CMD窗口显示类似下边这样的代码时，就说明项目已经好了



    点那个https://XXXXXXX.gradio.live链接，或者http://127.0.0.1:7860，打开浏览器

  2. 先在右侧区域选择你需要的角色，然后点【载入角色】

  3. 开始聊天吧

    • 重新生成：让 AI 重新考虑对你的回复
    • 提词：让 AI 提示一下你该说什么
    • 清除上一条：清除上一轮对话，你可以重新输入你想对 AI 说的话
    • 重置角色：将 AI 角色重置到初始状态，重新开始。
    • 勾选替角色说：将AI最后的回复，修改为你输入的内容。可以修正AI偶尔出现的身份混乱，逻辑混乱问题。

RWKV 怎么调参

  1. 最小/最大回复长度：设置AI回复的最小/最大长度，可以强制AI长回复或短回复，不过设置太大太小AI都会开始乱说话。
  2. top_p：值越低，答案越准确而真实。更高的值鼓励更多样化的输出；
  3. top_k：值越低，答案越准确而真实。更高的值鼓励更多样化的输出。top_k 会先于 top_p 生效，即先根据 top_k 值确定所选 token 范围，然后根据 top_p 值在上述范围内，再确定最终所选 token 的范围。
  4. temperature：值越低，结果就越确定，因为总是选择概率最高的下一个词/token，拉高该值，其他可能的token的概率就会变大，随机性就越大，输出越多样化、越具创造性。
  5. Presence Penalty：值越大，AI越会避免重复话题，但也别太大，AI就会不停的试图开始新话题，一般不要超过0.5
  6. Frequency Penalty：值越大，AI越会避免使用重复的句子（可以让AI别总是复读，最后和最开始的内容）。
  7. 强制输出动作：强制AI对每次回复都带上动作心理环境等描写。

RWKV 怎么增加角色

在左上角切换到角色选项卡
 

基本一目了然
– 示例对话里你可以用<user>指代上边设置的你的名字
– 示例对话里你可以用<bot>指代上边设置的角色名字
– 大概有个5~6轮对话就行，不知道怎么写，可以从小说里抄嘛
– 角色性格可以下载一个Glow，然后到上面去找智能体，直接把它们的性格和对话抄过来用。
– 官方模型可能偶尔会因为善恶观思想钢印，拒绝继续话题，一般重新生成即可。Claude 和 Noval 模型就基本没任何限制了，你可以随便聊。
– 示例对话和开场白的格式请参照默认角色“小雪”的格式。文章附图里的这个不一定还是最新的格式。