小羊驼（Vicuna)是什么

Vicuna: 一个开源的GPT，宣称实现了GPT-4 90%的功能。 UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。 并且和其他以往不同的是你可以在自己的设备上跑起来！比如Mac，再比如你的主力机！

官网在这： 体验点这个（如果打不开就用魔法）：

一.环境准备

ubuntu 20.04 （自带python3，且版本满足要求） 硬盘大约200G左右（100G也不是不能用，最好是200G，50G肯定是不行） 内存（计划用vicuna-7b的30G，vicuna-13b的60G，选哪个大家自己按需，满分100的话7b大概是40分，13b的话大概70分） 显卡（越贵越好，风浪越贵鱼越大） 以我自己的环境为例: 1.E5-2697-V2，64G内存，没有用显卡，能跑但是速度十分难受。 2.Macbook Pro M1 pro版本16+512，7b的能跑，效果还行。

二.开始操作

1.LLaMa模型下载与转换

1.1 模型下载 磁力链接：magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA 大家自行按需下载 以7b为例下载之后的模型长这样

这里我下载的路径是/home/douding/LLaMA 1.2 模型转换

$ git clone https://github.com/huggingface/transformers.git
$ cd transformers
7B参考下面的
$ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py 
    --input_dir /home/douding/LLaMA --model_size 7B --output_dir ./output/llama-7b
 13B看这个
 $ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py 
    --input_dir /home/douding/LLaMA --model_size 13B --output_dir ./output/llama-13b

转换完成后会在/home/douding/transformers/output中看到你的模型

2.小羊驼模型合并与生成

$ pip3 install fschat
$ pip3 install git+https://github.com/huggingface/transformers

7b参考如下
$ git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0
 注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-7b-delta-v0中

$ python3 -m fastchat.model.apply_delta 
    --base /home/douding/transformers/output/llama-7b 
    --target /home/douding/vicuna-7b 
    --delta /home/douding/lmsys/vicuna-7b-delta-v0

13b参考如下
 $git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0 /home/douding/lmsys/vicuna-13b-delta-v0

注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-13b-delta-v0中

$ python3 -m fastchat.model.apply_delta 
    --base /home/douding/transformers/output/llama-13b 
    --target /home/douding/vicuna-13b 
    --delta /home/douding/lmsys/vicuna-13b-delta-v0

成功后会对应的目录/home/douding/vicuna-7b和/home/douding/vicuna-13b中看到对应的小羊驼模型

我这里提供已经做好了的小羊驼模型（含7b和13b)： 链接: https://pan.baidu.com/s/1t2He47-qDCYYJ38pak_beQ?pwd=w9nw 提取码: w9nw

3.运行

CPU纯享版

python3 -m fastchat.serve.cli --model-path /path/to/vicuna/weights --device cpu

GPU畅爽版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b

Mac勉强享受版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b --device mps --load-8bit