diff --git a/README.md b/README.md index e370f83d..3fe90a54 100644 --- a/README.md +++ b/README.md @@ -13,31 +13,17 @@ [![Doc](https://img.shields.io/badge/docs-English-99cc2)](https://llmc-en.readthedocs.io/en/latest/) [![Doc](https://img.shields.io/badge/文档-中文-99cc2)](https://llmc-zhcn.readthedocs.io/en/latest/) - - **\[ English | [中文](README_zh.md) | [日本語](README_ja.md) \]** -**LLMC** is an off-the-shell tool designed for compressing LLM, leveraging state-of-the-art compression algorithms to enhance efficiency and reduce model size without compromising performance. - -**English doc** is [here](https://llmc-en.readthedocs.io/en/latest/). - -**Chinese doc** is [here](https://llmc-zhcn.readthedocs.io/en/latest/). - -**Docker hub** is [here](https://hub.docker.com/r/llmcompression/llmc). - -**Aliyun docker**: `registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag]` - -You can download the Docker image that can run llmc with the following command. Users in mainland China are recommended to use Alibaba Cloud Docker. + -docker hub +**LLMC** is an off-the-shell tool designed for compressing LLM, leveraging state-of-the-art compression algorithms to enhance efficiency and reduce model size without compromising performance. You can download the Docker image that can run llmc with the following command. Users in mainland China are recommended to use Alibaba Cloud Docker. -``` +```shell +# docker hub: https://hub.docker.com/r/llmcompression/llmc docker pull llmcompression/llmc:pure-latest -``` - -aliyun docker -``` +# aliyun docker: registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag] docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-latest ``` @@ -46,6 +32,11 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates - [Discord Server](https://discord.com/invite/NfJzbkK3jY) - [Tencent QQ Group](http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=I9IGPWWj8uuRXWH3_ELWjouf6gkIMgUl&authKey=GA3WbFAsm90ePJf%2FCbc7ZyXXq4ShQktlBaLxgqS5yuSPAsr3%2BDKMRdosUiLYoilO&noverify=0&group_code=526192592) +**Docs**: + +- [English](https://llmc-en.readthedocs.io/en/latest/) +- [Chinese](https://llmc-zhcn.readthedocs.io/en/latest/) + ## Latest News - **May 12, 2025:** 🔥 We now fully support quantization for the **`Wan2.1`** series of video generation models and provide export of truly quantized **INT8/FP8** weights, compatible with the [lightx2v](https://github.com/ModelTC/lightx2v) inference framework. For details, please refer to the [lightx2v documentation](https://llmc-en.readthedocs.io/en/latest/backend/lightx2v.html). diff --git a/README_ja.md b/README_ja.md index c716ec94..f67c0748 100644 --- a/README_ja.md +++ b/README_ja.md @@ -13,31 +13,17 @@ [![Doc](https://img.shields.io/badge/docs-English-99cc2)](https://llmc-en.readthedocs.io/en/latest/) [![Doc](https://img.shields.io/badge/文档-中文-99cc2)](https://llmc-zhcn.readthedocs.io/en/latest/) - - -**\[ English | [中文](README_zh.md) | [日本語](README_ja.md) \]** - -**LLMC** は、大規模言語モデル（LLM）の圧縮を目的とした、最新の圧縮アルゴリズムを活用して、パフォーマンスを損なうことなく効率を向上させ、モデルサイズを削減するためのツールです。 - -**英語のドキュメント**は[こちら](https://llmc-en.readthedocs.io/en/latest/)。 - -**中国語のドキュメント**は[こちら](https://llmc-zhcn.readthedocs.io/en/latest/)。 - -**Docker Hub**は[こちら](https://hub.docker.com/r/llmcompression/llmc)。 - -**aliyun docker**: `registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag]` +**\[ [English](README.md) | [中文](README_zh.md) | 日本語 \]** -以下のコマンドを使用して、llmcを実行できるDockerイメージをダウンロードできます。中国大陸のユーザーは、阿里云Dockerを使用することを推奨します。 + -docker hub +**LLMC** は、大規模言語モデル（LLM）の圧縮を目的とした、最新の圧縮アルゴリズムを活用して、パフォーマンスを損なうことなく効率を向上させ、モデルサイズを削減するためのツールです。以下のコマンドを使用して、llmcを実行できるDockerイメージをダウンロードできます。中国大陸のユーザーは、阿里云Dockerを使用することを推奨します。 -``` +```shell +# docker hub: https://hub.docker.com/r/llmcompression/llmc docker pull llmcompression/llmc:pure-latest -``` - -阿里云Docker -``` +# 阿里云Docker: registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag] docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-latest ``` @@ -46,6 +32,11 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates - [Discordサーバー](https://discord.com/invite/NfJzbkK3jY) - [Tencent QQグループ](http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=I9IGPWWj8uuRXWH3_ELWjouf6gkIMgUl&authKey=GA3WbFAsm90ePJf%2FCbc7ZyXXq4ShQktlBaLxgqS5yuSPAsr3%2BDKMRdosUiLYoilO&noverify=0&group_code=526192592) +**Docs**: + +- [英語](https://llmc-en.readthedocs.io/en/latest/) +- [中国語](https://llmc-zhcn.readthedocs.io/en/latest/) + ## 最新情報 - **2025年5月12日：** 🔥 **`Wan2.1`** シリーズのビデオ生成モデルの量子化を完全にサポートし、実際に量子化された **INT8/FP8** 重みのエクスポートにも対応しました。これらは [lightx2v](https://github.com/ModelTC/lightx2v) 推論フレームワークと互換性があります。詳細は [lightx2v ドキュメント](https://llmc-en.readthedocs.io/en/latest/backend/lightx2v.html) をご参照ください。 diff --git a/README_zh.md b/README_zh.md index af468276..ae2b3e5f 100644 --- a/README_zh.md +++ b/README_zh.md @@ -13,31 +13,17 @@ [![Doc](https://img.shields.io/badge/docs-English-99cc2)](https://llmc-en.readthedocs.io/en/latest/) [![Doc](https://img.shields.io/badge/文档-中文-99cc2)](https://llmc-zhcn.readthedocs.io/en/latest/) - - -**\[ English | [中文](README_zh.md) | [日本語](README_ja.md) \]** - -**LLMC** 是一个开箱即用的工具，专为压缩LLM设计，利用最先进的压缩算法提高效率并减少模型体积，同时不影响预测精度。 - -**英文文档**在[此处](https://llmc-en.readthedocs.io/en/latest/)。 - -**中文文档**在[此处](https://llmc-zhcn.readthedocs.io/en/latest/)。 - -**Docker hub**在[此处](https://hub.docker.com/r/llmcompression/llmc)。 - -**阿里云docker**: `registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag]` +**\[ [English](README.md) | 中文 | [日本語](README_ja.md) \]** -你可以通过以下命令下载可以运行llmc的docker镜像，中国大陆用户推荐使用阿里云docker。 + -docker hub +**LLMC** 是一个开箱即用的工具，专为压缩LLM设计，利用最先进的压缩算法提高效率并减少模型体积，同时不影响预测精度。你可以通过以下命令下载可以运行llmc的docker镜像，中国大陆用户推荐使用阿里云docker。 -``` +```shell +# docker hub: https://hub.docker.com/r/llmcompression/llmc docker pull llmcompression/llmc:pure-latest -``` - -阿里云docker -``` +# 阿里云docker: registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:[tag] docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-latest ``` @@ -46,6 +32,11 @@ docker pull registry.cn-hangzhou.aliyuncs.com/yongyang/llmcompression:pure-lates - [Discord 服务器](https://discord.com/invite/NfJzbkK3jY) - [腾讯QQ群](http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=I9IGPWWj8uuRXWH3_ELWjouf6gkIMgUl&authKey=GA3WbFAsm90ePJf%2FCbc7ZyXXq4ShQktlBaLxgqS5yuSPAsr3%2BDKMRdosUiLYoilO&noverify=0&group_code=526192592) +**文档**: + +- [英文](https://llmc-en.readthedocs.io/en/latest/) +- [中文](https://llmc-zhcn.readthedocs.io/en/latest/) + ## 最新消息 - **2025年5月12日：** 🔥 我们现已全面支持 **`Wan2.1`** 系列视频生成模型的量化，并支持导出真实量化的 **INT8/FP8** 权重，兼容 [lightx2v](https://github.com/ModelTC/lightx2v) 推理框架。详情请参考 [lightx2v 使用文档](https://llmc-zhcn.readthedocs.io/en/latest/backend/lightx2v.html)。