![Llama1-logo.png](/static/img/3b82e2d24b5fc6f7992ec756c621756f.Llama1-logo.webp)



# LLama.cpp开源项目，在cpu上部署模型
<hr>





> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>

<hr>




llama.cpp原生支持大规模语言模型的量化，并且一如既往地保持了灵活性。

在高层次上，llama.cpp所支持的所有量化都是权重量化(weight quantization)：模型参数被量化为低位(bit)数，在推理过程中，它们会被反量化(dequantize)并用于计算。

*   纯粹的C/C++实现，没有外部依赖
    
*   支持广泛的硬件：
    
    *   x86\_64 CPU的AVX、AVX2和AVX512支持
        
    *   通过Metal和Accelerate支持Apple Silicon（CPU和GPU）
        
    *   NVIDIA GPU（通过CUDA）、AMD GPU（通过hipBLAS）、Intel GPU（通过SYCL）、昇腾NPU（通过CANN）和摩尔线程GPU（通过MUSA）
        
    *   GPU的Vulkan后端
        
*   多种量化方案以加快推理速度并减少内存占用
    
*   CPU+GPU混合推理，以加速超过总VRAM容量的模型
    

它就像 Python 框架 `torch`+`transformers` 或 `torch`+`vllm` 的组合，但用的是 C++。

GitHub link:

[https://github.com/ggerganov/llama.cpp](https://github.com/ggerganov/llama.cpp)

中文文档：

[https://qwen.readthedocs.io/zh-cn/latest/run\_locally/llama.cpp.html#conversation-mode](https://qwen.readthedocs.io/zh-cn/latest/run_locally/llama.cpp.html#conversation-mode)

## 简单部署

1.  获取 `llama-cli` 程序
    

```plaintext
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
```
```plaintext
make llama-cli
```

## 获取 GGUF模型

直接从model scope下载：

```python
import os
import subprocess



def download_model(model_name:str,model_file:str='',dir:str=''):
    path=dir+model_name.split('/')[-1]
    try:
        subprocess.run(['modelscope', 'download', '--model',model_name,model_file,'--local_dir',path], check=True)
        print(f"Model '{model_name}' downloaded successfully.")
    except subprocess.CalledProcessError as e:
        print(f"Error downloading model '{model_name}': {e}")

```
```python
download_model("Qwen/Qwen2-0.5B-Instruct-GGUF","qwen2-0_5b-instruct-fp16.gguf")
```

## 运行模型

```python
./llama-cli -m /home/phb/phb/models/Qwen2-0.5B-Instruct-GGUF/qwen2-0_5b-instruct-fp16.gguf     -co -cnv -p "You are a helpful assistant."     -fa -ngl 80 -n 512
```

**\-m 或 –model:**

显然，这是模型路径。

**\-co 或 –color:**

为输出着色以区分提示词、用户输入和生成的文本。提示文本为深黄色；用户文本为绿色；生成的文本为白色；错误文本为红色。

\-**cnv 或 –conversation:**

在对话模式下运行。程序将相应地应用聊天模板。

**\-p 或 –prompt:**

在对话模式下，它作为系统提示。

**\-fa 或 –flash-attn:**

如果程序编译时支持 GPU，则启用Flash Attention注意力实现。

**\-ngl 或 –n-gpu-layers:**

如果程序编译时支持 GPU，则将这么多层分配给 GPU 进行计算。

**\-n 或 –predict:**

要预测的token数量。

## 自定义模型运行

**HF格式转GGUF**

使用我已经lora微调+合并的模型文件转GGUF

[https://qwen.readthedocs.io/zh-cn/latest/quantization/llama.cpp.html](https://qwen.readthedocs.io/zh-cn/latest/quantization/llama.cpp.html)

```python
python convert_hf_to_gguf.py /home/phb/phb/merge_model/sft-Qwen2-0.5B-Instruct
--outfile /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f16.gguf
```

这个命令默认会加载保存为16位

但是建议使用fp32。无论是直接加载还是用于作为量化的起点都很好。

```python
python convert_hf_to_gguf.py /home/phb/phb/merge_model/sft-Qwen2-0.5B-Instruct --outtype f32  
--outfile /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f32.gguf
```

**量化GGUF**

```python
./llama-quantize  /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f32.gguf  /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-q8_0.gguf  Q8_0
```

支持的参数：



![屏幕截图 2024-09-02 150734.png](/static/img/aac670f5e092b5baf74a870701391798.%C3%A5%C2%B1%C2%8F%C3%A5%C2%B9%C2%95%C3%A6%C2%88%C2%AA%C3%A5%C2%9B%C2%BE%202024-09-02%20150734.webp)

**启动模型推理**

```python
./llama-cli -m /home/phb/phb/GGUF_model/Qwen2-0.5B-instruct-f16.gguf     -co -cnv -p "You are 
a helpful assistant."     -fa -ngl 80 -n 512
```




![屏幕截图 2024-09-02 152824.png](/static/img/b653672b5011d1706343840e01df9601.image.webp)
##  Bob 的产品

![image.png](/static/img/b653672b5011d1706343840e01df9601.image.webp)
1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！

![](https://raw.githubusercontent.com/woxiangsj/image/master/2024/08/07/1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg)

LLama.cpp开源项目，在cpu上部署模型

![1725241285062-510a11cb-2745-41ba-8a84-74b9ffe4b513.png](/static/img/bed8515c15ebc9e2454981d291ad0f79.1725241285062-510a11cb-2745-41ba-8a84-74b9ffe4b513.webp)

#  VERA : 一种比Lora更省资源的微调方案



原创  Bob新视界  [ Bob的AI视界 ](javascript:void\(0\);)

__ _ _ _ _

> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>

  

#  VERA论文笔记

> ❝
>
> 《 VERA VECTOR-BASED RANDOM MATRIX ADAPTATION 》

直达链接：

> ❝
>
> https://arxiv.org/pdf/2310.11454

#  引言

该论文基于Lora，提出了基于向量的随机矩阵自适应（ **VeRA** ），与 LoRA
相比，它进一步减少了可训练参数的数量，但保持了相同的性能。模型达到了类似甚至更好的效果。

#  原理


![1725241285062-510a11cb-2745-41ba-8a84-74b9ffe4b513.png](/static/img/bed8515c15ebc9e2454981d291ad0f79.1725241285062-510a11cb-2745-41ba-8a84-74b9ffe4b513.webp)

（图中蓝色部分为冻结部分，橙色为可训练部分）

  1. **LoRA** 通过训练低秩矩阵 A 和 B 以及中间秩 r 来更新权重矩阵 W。 

    
    
       h = W0x + ∆W x = W0x + BAx  
    

  2. 在 **VeRA** 中，这些 **矩阵被冻结（A B）** ，在所有层之间共享，并使用可训练向量 **d 和 b 进行调整** ，从而大大减少了可训练参数的数量。 

    
    
      
       h = W0x + ∆W x = W0x + Λb B Λd A x  
    

冻结一对随机初始化的矩阵，在所有适应层之间共享，并引入可训练的缩放向量，以实现逐层适应。

#  效果

###  参数量方面：



![1725241327261-6fc741ae-4cfa-4099-85c2-e3939c221e3e.png](/static/img/aae05c8aadc46daf6b29204e782d3d6c.1725241327261-6fc741ae-4cfa-4099-85c2-e3939c221e3e.webp)


使用 L 表示微调层的数量，使用 d 表示这些层的维度。

VeRA 中可训练参数的数量 **|θ| = L× (d+ r)**

LoRA 的 |θ| = **2 × L × d × r**

zi具体来说，对于最低秩（即 r = 1），VeRA 需要的可训练参数大约是 LoRA 的 **1/2** 。

随着秩 r 的增加，VeRA 的参数计数每次增加都会增加 **L倍** ，与 LoRA 的 **2Ld倍** 相比，节省了很多。

**显着减少了可训练参数的数量，这种参数效率在极深和极宽的模型中变得尤为重要**

###  模型效果

**在下游任务上产生类似或更好的结果**


![1725241338255-8dff7519-9e55-4423-9a84-007eec454511.png](/static/img/2ea703aea8e684e71b1cf03229765d61.1725241338255-8dff7519-9e55-4423-9a84-007eec454511.webp)

![1725241354728-f038c9a5-dd63-4ec2-a6bb-492ae23a3f05.png](/static/img/a46c659ef91262c48cf81ab20a9479a4.1725241354728-f038c9a5-dd63-4ec2-a6bb-492ae23a3f05.webp)

![1725241374798-80a87d86-08ce-4551-8d67-0f4e681696ae.png](/static/img/93be3d4abb2d93a2d909688b34dc6f67.1725241374798-80a87d86-08ce-4551-8d67-0f4e681696ae.webp)
#  总结

论文引入了一种微调方法VERA，冻结一对随机初始化（A B）的矩阵，在所有适应层之间共享，并引入可训练的缩放向量( d b )，以实现逐层适应与 LoRA
相比，该方法显着减少了可训练参数的数量，从而在下游任务上产生类似或更好的结果.

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！


![1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg](/static/img/e65e022a8ce9307d99c9a7a45f64fbf8.1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.webp)

VERA一种比Lora更省资源的微调方案

![1725240972697-3c49725b-e2d7-420b-a27b-811e13f54018.png](/static/img/eef38a413e14d5d6c8b2c58fa01e31ba.1725240972697-3c49725b-e2d7-420b-a27b-811e13f54018.webp)

#  Wise-ft《Robust fine-tuning of zero-shot models》，能解决大模型持续学习灾难性遗忘吗



原创  Bob新视界  [ Bob的AI视界 ](javascript:void\(0\);)

__ _ _ _ _

> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  

**微调框架：**

https://github.com/mlfoundations/wise-ft

**论文链接**

https://arxiv.org/pdf/2109.01903

##  背景信息：

现有的方法在微调零样本模型时存在两个关键问题。

  1. 首先，微调模型的 **鲁棒性在数据分布发生变化时会有很大差异** ，这种差异受微调过程中的超参数影响显著，但仅通过目标分布上的准确性无法推断出最佳的超参数。 
  2. 其次，更激进的微调（如使用更大的学习率）虽然在目标分布上能带来更大的准确性提升，但在数据分布变化时可能会 **导致准确性大幅下降** 。 

##  WiSE-FT

论文提出了WiSE-FT（Weight-space Ensembling for Fine-tuning）的微调方法。

● 这个方法的好处：WiSE-FT（Weight-space Ensembling for Fine-tuning）方法通过
**组合零样本模型的权重和微调后模型的权重** 来解决上述问题。这种方法简单、通用，能够在不增加额外计算成本的情况下，通过几行代码实现。



![1725241096503-62b7bc9a-ce14-4389-8eed-ac1429a02383.png](/static/img/4f16bbbae17dae9bbbd30e2cd1cdab7a.1725241096503-62b7bc9a-ce14-4389-8eed-ac1429a02383.webp)


WiSE-FT在多个数据集上展示了比标准微调 **更好的准确性** ，尤其是在数据分布变化时， **提高了模型的鲁棒性** 。

##  算法原理与实现：

WiSE-FT具体实现包括以下步骤：

● 微调零样本模型：首先，需要在特定应用数据上微调预训练的零样本模型。这可以通过标准的微调过程来完成，即在新的数据集上训练模型的参数，以适应新的任务。

●
权重组合：微调完成后，将微调后的模型权重与原始零样本模型的权重进行组合。这种组合是通过线性插值实现的，即对两个模型的权重进行加权平均。加权平均的权重α是一个超参数，可以根据具体情况进行调整。

● 权重空间组合：在微调过程中或微调结束后，通过线性插值将两个模型的权重组合起来

WiSE-FT方法的关键在于通过权重空间的组合来利用零样本模型和微调后模型的互补性。这种方法基于两个观察：

首先，零样本模型和微调后模型在权重空间中可以通过一条线性路径连接，在这条路径上模型的准确性保持较高；

其次，这种组合可以利用两个模型的互补预测能力。

##  实验结果

通过实验，作者发现WiSE-FT在多种数据分布变化下都能提高模型的鲁棒性，并且在多个数据集上比标准微调方法有更好的准确性。此外，WiSE-
FT还在低数据量的情况下显示出性能提升，这表明即使在微调数据稀缺的情况下，该方法也能提供改进。

实验证明 WiSE-FT 提高了 Radford 等人研究的五个 ImageNet 分布偏移上微调 CLIP 模型的准确性。 [82]，同时保持或提高
ImageNet 的准确性。

具体而言，相对于微调解决方案，WiSE-FT (α= 0.5) 将分布偏移下的性能提高了 3.5、6.2、1.7、2.1、9.0 和 23.2
pp，同时将参考分布的性能降低最多 0.3 pp（准确度参考分布通常会得到改善）。

![1725241080030-9df9529f-6c16-49fd-8d10-ddbec64384cc.png](/static/img/4a9b93448f28622006a6e7715a209fa8.1725241080030-9df9529f-6c16-49fd-8d10-ddbec64384cc.webp)

![1725240972697-3c49725b-e2d7-420b-a27b-811e13f54018.png](/static/img/eef38a413e14d5d6c8b2c58fa01e31ba.1725240972697-3c49725b-e2d7-420b-a27b-811e13f54018.webp)



即使超参数发生微小变化，微调模型的稳健性也会发生很大变化。应用 WiSE-FT 可以解决这种脆弱性，并且可以消除参考分布和移位分布的准确性之间的权衡。

**总的来说，WiSE-FT提供了一种简单有效的微调策略，可以在不增加额外计算成本的情况下提高模型的性能和鲁棒性** 。

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！


![1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg](/static/img/e65e022a8ce9307d99c9a7a45f64fbf8.1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.webp)

Wiseft-Robust

![1725241400744-d0fa75c1-30c3-4579-b6ea-c99a16c2f99a.png](/static/img/b93b0e6ea4e0f52eb91fbe3faea590b6.1725241400744-d0fa75c1-30c3-4579-b6ea-c99a16c2f99a.webp)

#  新型AI大模型微调方式：ReFT 表征微调



原创  Bob新视界  [ Bob的AI视界 ](javascript:void\(0\);)

__ _ _ _ _


> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>
  



  

#  ReFT (表征微调)

本文主要介绍 ReFT(表征微调)，这是一种比 PeFT(参数高效微调)效果更好的新的大语言模型微调技术。

##  背景

###  PEFT

PEFT (Parameter-Efficient Fine-Tuning，参数高效微调)
是一种仅微调少量模型参数或添加额外的模型参数，固定大部分预训练参数，从而大大降低计算和存储成本的方法。

###  ReFT

ReFT (Representation Finetuning) 是一组专注于在推理过程中对语言模型的隐藏表示学习干预的方法，而不是直接修改其权重。

  

相比 PEFT，ReFT 不改变原模型权重，所消耗的算力资源更少，效果也不错。

  


![1725241432701-4ca9a473-f472-462d-ad0e-195ef7eba65d.png](/static/img/355c035eae3ed74f158a31ce93065f24.1725241432701-4ca9a473-f472-462d-ad0e-195ef7eba65d.webp)


  

##  原理

  



![1725241441862-23c9d1c8-f4f2-47e9-bdb4-7781e845238c.png](/static/img/46bc45a737802f5a11799dd86c01a4f4.1725241441862-23c9d1c8-f4f2-47e9-bdb4-7781e845238c.webp)


  

LoReFT 本质上是在一个线性子空间中使用低秩投影矩阵调整隐藏表示。

简化背景: 我们有一个基于 Transformer 架构的语言模型 (LM)。这个 LM 接受一系列的 token（单词或字符）作为输入。首先将每个
token 转换为一个表示，然后通过多层计算参考附近 token 的上下文来优化这些表示。每一步都会生成一组隐藏表示，捕捉每个 token
在序列上下文中的意义。最终，模型使用这些优化后的表示来预测序列中的下一个 token（在自回归 LM 中）或在其词汇空间中预测每个 token
的可能性（在掩码 LM 中）。

ReFT 方法系列改变了模型处理这些隐藏表示的方式，特别是在定义为低秩投影矩阵的特定子空间中进行调整。这有助于提高模型在各种任务中的效率和效果。

###  干预定义

ReFT 定义了一个干预的概念，它在模型向前传递期间修改隐藏的表示。干预 I 是一个元组 ⟨Φ，P, L⟩，封装了由基于 transformer 的 LM
计算的表示的单个推理时间的干预动作，包含三个参数:

  * • 干预函数 Φ: 用学习到的参数 Φ (Φ) 来表示。 

  * • 干预所应用的一组输入位置 P ≤ {1，…，n}。 

  * • 对层 L ∈ {1，…，m} 进行干预。 

干预的动作如下:

**h⁽ˡ⁾ ← (Φ(h_p⁽ˡ⁾) if p ∈ P else h_p⁽ˡ⁾)_{p ∈ 1,…,n}**

该干预在前向传播计算完后立即进行，所以会影响到后续层中计算的表示。为了提高计算的效率，也可以将干预的权重进行低秩分解，也就是得到了低秩线性子空间 ReFT
(LoReFT)。

  


![1725241453875-09cf6ab1-bdd8-4e84-9727-17c424ee1356.png](/static/img/80d452f126889d595689f481572bf383.1725241453875-09cf6ab1-bdd8-4e84-9727-17c424ee1356.webp)

  

在公式中使用学习到的投影源 Rs = Wh + b。LoReFT 编辑 R 列的 R 维子空间中的表示，来获取从我们的线性投影 Wh + b 中获得的值。

对于生成任务，ReFT 论文使用语言建模的训练目标，重点是在所有输出位置上使用最小化交叉熵损失。

##  区别与优势

  * • **PEFT方法** ：例如，LoRA、DoRA 和 prefix-tuning，侧重于修改模型的权重或引入额外的权重矩阵。 

  * • **ReFT方法** ：不直接修改模型的权重；它们会干预模型在向前传递期间计算的隐藏表示。 

###  优势

  * • **参数效率** ：ReFT 方法，特别是 LoReFT，在参数效率方面表现出色，通常比现有的 PEFT 方法如 LoRA 更高效（参数效率高15-65倍）。 

  * • **性能与效率的平衡** ：ReFT 方法在效率和性能之间取得了良好的平衡，通常在多个任务上展现出与 PEFT 方法相当或更好的性能。 

  * • **不修改权重** ：ReFT 方法不涉及权重更新，而是专注于对隐藏表示的干预，这可以减少对模型结构的修改，从而可能有利于模型的稳定性和可解释性。 

  * • **可解释性** ：ReFT 方法可能提供比 PEFT 方法更高的可解释性，因为它直接操作模型的内部表示，这可以揭示模型如何执行特定任务。 

  * • **兼容性** ：ReFT 方法可以作为现有 PEFT 方法的替代品，因为它们是 drop-in replacements，可以很容易地集成到现有的框架中。 

  * • **潜在的应用** ：ReFT 方法可能适用于多种场景，包括多任务学习、指令调优和跨模态任务，如视觉-语言模型。 

##  使用

可以使用  pyreft  实现 ReFT。

（  **https://github.com/stanfordnlp/pyreft** **** ）

论文直达：

（ **https://arxiv.org/pdf/2404.03592** ）

  

##  Bob的产品

1.【Bob的AI成长陪伴群】门票🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI变现项目、AI前沿技术、NLP知识技术分享、前瞻思考、面试技巧、找工作等

🔴个人IP打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频‮朋的‬友一起蜕变！

扫码加微信，链接不迷路！


![1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg](/static/img/e65e022a8ce9307d99c9a7a45f64fbf8.1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.webp)

新型AI大模型微调方式ReFT表征微调

![image.png](/static/img/29f870b21b47e7f159a157f1846dc70b.image.webp)
#  新一代模型微调方案LLama-Pro ，快来围观！！！



原创  Bob新视界  [ Bob的AI视界 ](javascript:void\(0\);)

__ _ _ _ _

> <center style="margin: 15px 0;">大家好，我是 Bob! 😊</center>
>
><center style="margin: 15px 0;">一个想和大家慢慢变富的 AI 程序员💸</center>
>
><center style="margin: 15px 0;">分享 AI 前沿技术、项目经验、面试技巧!</center>
><center style="margin: 15px 0;">欢迎关注我，一起探索，一起破圈！💪</center>
>



  

#  LLAMA PRO论文笔记

直达链接：

#  摘要

这篇论文介绍了一种名为LLAMA
PRO的新型后预训练方法，用于增强大型语言模型（LLMs）在特定领域的性能，同时保持其原有的通用能力。通过扩展Transformer块来增加模型的深度，从而在不牺牲原有性能的情况下，提升模型在编程、数学和一般语言任务中的表现。LLAMA
PRO模型是在LLAMA2-7B的基础上通过块扩张方法构建的，并在编程、代码和数学方面表现出色。此外，本文还介绍了一种指令版的LLAMA PRO-
INSTRUCT，它在各种基准上达到了先进的性能。实验结果表明，LLAMA
PRO不仅在通用语言任务上保持了高水平的表现，而且在编程和数学任务上的性能也得到了显著提升。

#  先前微调方法的不足

之前的微调方法，如指令调优（Instruction Tuning）和参数高效调优（Parameter-Efficient Fine-
Tuning），如LoRA，虽然能够增强大型语言模型（LLMs）在特定领域的性能，但也存在一些缺点：

  * 指令调优（Instruction Tuning）：这种方法通常需要大量的指令数据来进行调优，以产生高质量的输出。但是这种方法需要很高的计算资源。 

  * 参数高效调优（Parameter-Efficient Fine-Tuning）：如LoRA等方法虽然能够以较低的计算成本适应预训练模型到新的领域，但这些方法通常在预训练阶段之后应用，可能会导致模型在适应新领域的同时，损失一部分原有的通用能力。 

#  LLAMA PRO 架构

LLaMA PRO通过在现有的LLM中添加额外的Transformer块来增加模型的深度，这些块在初始化时被设置为零，并在domain-
specific语料库上进行微调。这种方法使得模型能够在学习新知识的同时，避免了对原有知识的遗忘。

此外，LLaMA PRO还采用了指令跟随（Instruction Following）技术，通过大约80M tokens的supervised
instruction tuning，进一步增强了模型的能力。这种技术使得模型能够更好地理解和执行人类的指令，从而在各种任务中表现出更好的性能。


![1725241497945-1e009dc9-3800-4d38-9863-39aec03efd9f.png](/static/img/cdfeeb86fe8a0d8a5247390b2a831a57.1725241497945-1e009dc9-3800-4d38-9863-39aec03efd9f.webp)


如图(a)所示，从一个大型的语言模型（LLM）开始，该模型在庞大的未标注语料库上进行了预训练，从而获得了强大的通用能力。为了方便起见，文章选择了现成的LLaMA2。(b)
采用了骨干扩展，并使用特定领域语料库对扩展的身份块进行了微调，同时冻结了从基础模型继承的块。经过后预训练的模型可以像往常一样用于指令调优。

#  具体实现


![1725241507258-71105eb5-2863-4875-aa48-b1e1bf972fb9.png](/static/img/4b69081f1126440438693888711bf670.1725241507258-71105eb5-2863-4875-aa48-b1e1bf972fb9.webp)

  1. **模型扩展** ：在现有的LLaMA模型中，每组Transformer块之后添加一个Identity Block（身份块，如上图）。这些块在初始化时被设置为零，以确保模型在扩展后保持相同的输出。 

  2. **分组和复制** ：将原始模型的Transformer块分成多个组，对于每个组，创建原始块的上层副本（即身份块），并将其堆叠在原始组之上。这个过程是逐层进行的，以保持Transformer模型的结构特性。 

  3. **身份块定义** ：身份块被定义为恒等函数，即对于任何输入，身份块输出的值与输入相同。这样可以确保在添加新块后，模型的输出行为不会改变。 

  4. **初始化** ：新添加的块中的线性层被初始化为零，以实现身份映射。这样，在训练过程中，这些新块可以学习新的知识，而不会影响或覆盖原有的知识。 

  5. **微调** ：在添加新块之后，只对新增的块进行微调，而保持原始的块冻结。这样可以确保模型在增强特定领域能力的同时，不会牺牲其原有的通用能力。 

  6. **训练和优化** ：使用domain-specific的语料库对扩展后的模型进行微调。在这个过程中，只更新新添加的块，而原始的块保持不变。 



![1725241518621-9a5757d0-6748-4c5d-8431-8c30f3ad5bac.png](/static/img/3a1fc77fc0ca581e7b24909b6f7362e3.1725241518621-9a5757d0-6748-4c5d-8431-8c30f3ad5bac.webp)


#  效率和效果



![1725241527639-ef277398-e09c-4eaa-a84d-4a99f3bb3152.png](/static/img/9e6ec550bfd63d99fed89f9b320d7a89.1725241527639-ef277398-e09c-4eaa-a84d-4a99f3bb3152.webp)

如图所示，横轴为Code Tasks Avg，纵轴为Language Tasks Avg，圆点的尺寸与训练的令牌数量成正比。

不同训练策略评估结果的比较，报告了在通用任务和法律特定任务上的表现。可以看出Add 8 Block这个超参数下平局分数最高。

##  Bob 的产品

1.【Bob 的 AI 成长陪伴群】门票 🎫99💰/年。

2.【AI+老人回忆录制作】正在运营，有需求 或者 想加入 可微信私聊。

3.【语音咨询】：99💰/小时

群里分享讨论:

🔴AI 变现项目、AI 前沿技术、NLP 知识技术分享、前瞻思考、面试技巧、找工作等

🔴 个人 IP 打造、自媒体副业、向上社交、以及我的日常生活所见所闻，所思所想。

找一群人一起走，慢慢变富。期待和同频 ‮ 朋的 ‬ 友一起蜕变！

扫码加微信，链接不迷路！


![1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.jpg](/static/img/e65e022a8ce9307d99c9a7a45f64fbf8.1722998692927-eb4c0cb6-ce6c-405f-ae0c-044f212defda.webp)

新一代模型微调方案LLamaPro快来围观

站主Bob的个人Blog网站，致力于分享AI 前沿技术、项目经验、所见所闻、人生感悟！