💯AI00 Server

English | 中文

AI00 Server是一个基于RWKV模型的推理API服务器。

AI00 Server基于 WEB-RWKV推理引擎进行开发。

支持Vulkan/Dx12/OpenGL作为推理后端，无需臃肿的pytorch、CUDA等运行环境，小巧身材，开箱即用！

兼容OpenAI的ChatGPT API接口。

100% 开源可商用，采用MIT协议。

如果你是想要在自己的应用程序中内嵌一个LLM，且对用户的机器要求不那么苛刻（6GB以上GRAM的显卡）, AI00 Server无疑是一个很好的选择。

立即加入AI00 RWKV Server社区，体验AI的魅力！

交流QQ群：30920262

⭕模型下载和转换

你必须（在构建时）下载模型并将其放置在assets/models中，如果你从源代码构建。你可以从 HuggingFace 下载官方 RWKV World 系列模型，并使用提供的convert_safetensors.py进行转换。如果你不想安装 Python，也可以前往web-rwkv下载无依赖的转换器。

你可以在这里下载已经转换好的V4 模型： V5 或者 V6

安装、编译和使用

📦直接下载安装

直接从 Release 下载最新版本
下载模型后把模型放在assets/models/路径，例如assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st
你可以修改 assets/configs/Config.toml 里面的模型配置，包括模型路径、量化层数等
在命令行运行
```
./ai00_rwkv_server
```
打开浏览器，访问WebUI http://localhost:65530

📜从源码编译

安装Rust

克隆本仓库

git clone https://github.com/cgisky1980/ai00_rwkv_server.git
cd ai00_rwkv_server

下载模型后把模型放在 assets/models/路径下，例如assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st
编译
```
cargo build --release
```
编译完成后运行
```
cargo run --release
```
打开浏览器，访问WebUI http://localhost:65530

📒模型转换

本项目目前仅支持.st后缀的 Safetensors 模型，通过torch保存的.pth后缀模型需要在使用前进行转换。

下载pth模型
克隆或下载本仓库下convert_safetensors.py程序，并安装相应的依赖库

运行上述程序，并指定输入输出路径

$ python convert_safetensors.py --input ./filename.pth --output ./filename.st

如果你不想安装 Python 或 Torch，可以前往web-rwkv并下载不依赖于 Python 或 Torch 的转换器web-rwkv-converter
```
$ ./web-rwkv-converter --input /path/to/model.pth
```
根据上文步骤，将转换所得的.st模型文件放在assets/models/路径下，并修改 assets/Config.toml 中的模型路径