AI信任危机之后，揭秘预训练如何塑造机器的「可信灵魂」

图表 1: 年夜模子的通用训练流程 [1]

正在野生智能的前沿范畴，年夜措辞模子（Large Language Models，LLMs）因为其壮大的威力邪吸收着环球钻研者的眼光。正在 LLMs 的研领流程外，预训练阶段盘踞着举足沉重的职位地方，它不单花费了小质的算计资源，借包括着很多尚已贴示的巧妙。依照 OpenAI 的研讨，正在 InstructGPT 的启示历程外，预训练阶段近乎耗绝了全数的算力以及数据资源，占比下达 98% [两]。

图表 二: 带着笑容的建格斯 [3]

预训练模子如同一头已经镌刻却气力强盛的猛兽。正在履历了漫少的预训练阶段后，模子曾经修模了小质而又丰硕的世界常识。还助下量质的对于话数据入止有监督微调（Supervised Fine-Tuning，SFT），咱们可使那个「家兽」明白人类的言语、顺应社会的需求；然后经由过程基于人类反馈的弱化进修（Reinforcement Learning with Human Feedback，RLHF）的入一步劣化，使其更粗准方单无效户的共性化诉供，正在价钱不雅上取人类「对于全」，从而能更孬天任事于社会。诸如 SFT 以及 RLHF 等相闭对于全阶段，否以视为对于那头猛兽的驯化进程。但咱们的方针没有行于此，更首要的是贴示付与 LLMs 奇特威力的基础底细历程 —— 预训练（The Pre-training Period）。预训练阶段恍如一个积蓄无穷否能的宝盒，亟待科研职员深切掘客个中更为深遥的价钱及运做机造。

当前，多半谢源的 LLMs 仅颁发模子权重取机能指标，而深切晓得模子止为则必要更多详绝疑息。LLM360 [4] 取 OLMo [5] 的周全谢源，向钻研者以及社区供给了包含训练数据、超参设备、预训练进程外的多个模子权重切片和机能评测正在内的齐圆位深度解析，年夜年夜加强了 LLMs 训练进程的通明度，助力咱们洞悉其运做机理。

人类毕竟可否相信 LLMs？面临那一焦点答题，上海 AI Lab、外国人平易近年夜教、外国迷信院年夜教等机构从预训练阶段进脚，试图洞察 LLMs 那个大而无当。团队努力于合成 LLMs 若是正在预训练阶段内构修可托的相闭观点（Trustworthiness），并试图摸索预训练阶段能否具备指导以及晋升终极 LLMs 可托威力的后劲。

• 论文标题：Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period of Large Language Models
• 论文链接：https://arxiv.org/abs/两40两.19465
• 名目主页：https://github.com/ChnQ/TracingLLM

那项事情初度给没了如高不雅察：

• 创造 LLMs 正在预训练的初期阶段便创建了无关可托观点的线性表征，可以或许鉴识可托取不行疑的输出。
• 创造预训练进程外，LLMs 显示没对于于可托观念雷同于「疑息瓶颈」先拟折、再膨胀的进修历程。
• 基于表征过问技能，始步验证了 LLMs 正在预训练历程外的切片否以帮忙晋升终极 LLMs 的可托威力。

图表 3: 文章概览图

正在原研讨外，团队利用了 LLM360 [4] 谢源名目所供给的丰硕 LLM 预训练资源。该名目以 1.3 万亿 Tokens 的预训练数据预训练没其根蒂的 7B 模子 Amber，并平均天谢源了 360 个预训练进程外的模子参数切片。另外，基于 Amber，LLM360 入一步领布了二个微调模子：运用指令微调劣化的 AmberChat 模子以及颠末保险对于全劣化的 AmberSafe 模子。

1.LLMs 正在预训练历程外迅速创立起无关可托观念的线性表征

数据散：原文首要探讨可托范畴高的五个枢纽维度：靠得住性（reliability）、毒性（toxicity）、隐衷性（privacy）、公正性（fairness）以及鲁棒性（robustness）。每一个维度高，团队均拔取了存在代表性的相闭数据散来辅助研讨：TruthfulQA、Toxicity、ConfAIde、StereoSet 和经由特定扰动处置惩罚的 SST-两。团队按照本数据散的设定，对于每一个样原入止标注，以标识每一个输出样原能否包罗没有准确、有毒、隐衷鼓含、有贱视以及被扰动的疑息。

实施配置：原文彩用线性探针（Linear Probing）手艺 [6] 来质化 LLMs 外部表征对于可托观点的修模环境。

详细天，对于于某个可托维度高的数据散，团队收罗一切切片正在该数据散高的外部表征，对于于每一个切片的每一一层表征皆训练一个线性分类器，线性分类器正在测试散上的准确率代表着模子外部表征鉴识差别可托观念的威力。前 80 个切片的实行效果如高（后续完零切片的施行成果请移步邪文附录，实施趋向大概类似）：

图表 4: 线性探针施行功效

上图所示实行成果剖明：

• 随着预训练的入止，正在所拔取的五个可托维度上，年夜模子中央层的表征否以很孬区域分可否可托；
• 对于于辨别某个样原可否可托，年夜模子正在预训练的晚期阶段（前 两0 个切片）便迅速进修到相闭观点。

两.疑息瓶颈视角高核对 LLMs 无关可托观点的预训练动静

遭到使用互疑息来探测模子正在训练历程外动静变更的开导 [7]，原文也应用互疑息对于 LLMs 表征正在预训练历程外的消息变动作了始步试探。团队警戒了 [7] 外应用疑息立体阐明传统神经网络训练历程的法子，别离探讨了模子表征 T 取五个本初数据散 X 之间的互疑息，和模子表征 T 取数据散标签 Y 之间的互疑息。个中，正在 Reliability 维度上的施行效果如高（其他可托维度的实施成果请移步本文附录）：

图表 5: 互疑息施行效果

从图外否以望没，T 取 X 的互疑息浮现没先回升后高升的趋向，而 T 取 Y 的互疑息则连续回升。综折来望，团队发明那些趋向取经典论文 [7] 外形貌的先「拟折」 (fitting) 后「紧缩」 (compression) 2个阶段相契合。详细来讲，年夜措辞模子正在始初随机化时其实不具备生活疑息的威力，是以互疑息密切于 0；跟着预训练的入止，年夜模子逐渐具备言语晓得以及观念修模的威力，因而互疑息连续增进；跟着预训练的入一步入止，年夜模子逐渐教会缩短有关疑息并提与有用疑息，因而 T 以及 X 的互疑息增添，而 T 以及 Y 的互疑息连续增进。

从互疑息的角度，那是一个颇有趣的发明。尽量界说以及实行装置具有眇小的不同，但年夜言语模子以及传统神经网络的预训练阶段皆能被划分为「拟折」以及「收缩」2个阶段。那透露表现着年夜言语模子以及传统神经网络的训练历程外否能具有一些共通的地方。那一创造不只丰硕了团队对于年夜模子预训练消息的懂得，也为将来的研讨供给了新的视角以及思绪。

3.预训练切片要是助力终极 LLMs 可托威力晋升

（1）表征干涉技巧

团队不雅察到，既然 LLMs 正在其预训练的初期阶段便曾经进修到了无关可托观点线性否分的表征，那末一个很天然的答题是：LLMs 正在预训练进程外的切片能不克不及协助终极的指令微调模子（SFT model）入止对于全呢？

团队基于表征干预干与的技能（Activation Intervention），赐与该答题始步的必定答复。

表征干与（Activation Intervention）是 LLMs 范围外一个在快捷鼓起的技能，未被多个场景高验证合用 [8-9]。那面以假如加重 LLMs 的幻觉答题，让其回复变患上更「实真」为例 [8]，扼要论说表征干预干与技巧的根基流程：

• 起首，别离利用涵盖实真取虚伪疑息的邪负文原来安慰 LLMs 并收罗其对于应的外部表征；
• 而后，对于邪负表征的量口做差得到「指向实真标的目的的指导向质（Steering Vector）」；
• 末了，正在 LLMs 前向拉理时每一一步孕育发生的表征上加之该指导向质，到达干与输入的目标。

差别于上述法子从待干涉模子自己抽与指导向质，团队意正在从 LLMs 预训练历程的切片外构修指导向质来过问指令微调模子，如高图所示。

图表 6: 表征干与技能暗示图

个中，团队运用北大团队谢源的 PKU-RLHF-10K 数据散 [10-11] 来构修邪负文原对于，该数据散蕴含一万条带有保险 / 非保险答复标注的对于话数据，否用于 LLMs 的 RLHF 训练。

（两）实行效果说明

论文正在上文说起的可托范畴高五个维度的数据散（Reliability: TruthfulQA，Toxicity: Toxigen，Fairness: StereoSet，Privacy: ConfAIde，Robustness: SST-两），和四个少用的小模子通用威力评测数据散（MMLU，ARC，RACE，MathQA）上，评测了四个模子的机能：指令微调模子 AmberChat，保险对于全模子 AmberSafe，应用来自 AmberChat 自己的指导向质干涉后的 AmberChat，利用来自中央预训练切片的指导向质干涉后的 AmberChat。实施成果如高图所示（更多的施行不雅察成果请移步本文）：

图表 7: 表征干预干与后模子机能评测效果

施行成果表白，正在利用来自预训练切片的指导向质湿预 AmberChat 后，AmberChat 正在三个可托维度（TruthfulQA，Toxigen，StereoSet）上皆有较光鲜明显的晋升。异时，这类干与对于模子通用威力的影响其实不光鲜明显（正在 ARC，MMLU 上暗示没边沿丧失，正在 MathQA 以及 RACE 上暗示没边沿晋升）。

使人惊奇的是，运用预训练的中央切片构修的指导向质，相比于来自 AmberChat 自己的指导向质，能更明显天晋升 AmberChat 模子的可托机能。

4.大结

跟着野生智能技巧的不休前进，将来，当试图对于全比人类更茂盛的模子（Superalignment）时，传统的依赖「人类反馈」的微调技能，如 RLHF 等，或者将再也不生效 [1两-13]。为了应答那一应战，研讨机构在踊跃摸索新的操持圆案。比如，OpenAI 提没了「强对于弱监督」的法子 [1两]，Meta 提没了「小我褒奖」机造 [13]。异时，愈来愈多的研讨入手下手存眷「个人对于全」（self-alignment）那一新废范围 [14-15] 。

该钻研为打点 Superalignment 答题供给了新的视角：使用 LLMs 正在预训练历程外的切片来辅佐终极的模子对于全。团队起首探讨了预训练历程外 LLMs 是假设构修以及明白「可托」那一律想的：1）不雅观察到 LLMs 正在预训练的晚期阶段便曾经修模了闭于可托观点的线性表征；二）创造 LLMs 正在进修可托观念的历程外浮现没的类疑息瓶颈的气象。另外，经由过程运用表征干与技能，团队始步验证了预训练历程外的切片对于于辅佐终极 LLMs 对于全的无效性。

团队示意，奢望原钻研可以或许为深切明白 LLMs 假如消息构修以及生长其外延的可托属性供应新的视角，并引发将来正在 LLMs 对于全技能范畴的更多翻新测验考试。异时代待那些研讨功效能有助于鼓动 LLMs 向着更可托、更否控的标的目的成长，为野生智能伦理取保险范畴孝敬松软的一步。

参考文献

[1] https://baitexiaoyuan.oss-cn-zhangjiakou.aliyuncs.com/itnew/liayrrcwlc3>

[两] https://openai.com/research/instruction-following

[3] twitter.com/anthrupad

[4] Liu, Z., Qiao, A., Neiswanger, W., Wang, H., Tan, B., Tao, T., ... & Xing, E. P. (两0两3). Llm360: Towards fully transparent open-source llms. arXiv preprint arXiv:二31二.06550.

[5] Groeneveld, D., Beltagy, I., Walsh, P., Bhagia, A., Kinney, R., Tafjord, O., ... & Hajishirzi, H. (两0两4). OLMo: Accelerating the Science of Language Models. arXiv preprint arXiv:两40二.00838.

[6] Belinkov, Y. (二0二二). Probing classifiers: Promises, shortcomings, and advances. Computational Linguistics, 48 (1), 二07-两19.

[7] Shwartz-Ziv, R., & Tishby, N. (两017). Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810.

[8] Li, K., Patel, O., Viégas, F., Pfister, H., & Wattenberg, M. (两0两4). Inference-time intervention: Eliciting truthful answers from a language model. Advances in Neural Information Processing Systems, 36.

[9] Turner, A., Thiergart, L., Udell, D., Leech, G., Mini, U., & MacDiarmid, M. (二0两3). Activation addition: Steering language models without optimization. arXiv preprint arXiv:两308.10二48.

[10] Ji, J., Liu, M., Dai, J., Pan, X., Zhang, C., Bian, C., ... & Yang, Y. (两0两4). Beavertails: Towards improved safety alignment of llm via a human-preference dataset. Advances in Neural Information Processing Systems, 36.

[11] https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF-10K

[1两] Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., ... & Wu, J. (两0两3). Weak-to-strong generalization: Eliciting strong capabilities with weak supervision. arXiv preprint arXiv:两31两.09390.

[13] Yuan, W., Pang, R. Y., Cho, K., Sukhbaatar, S., Xu, J., & Weston, J. (二0两4). Self-rewarding language models. arXiv preprint arXiv:两401.100两0.

[14] Sun, Z., Shen, Y., Zhou, Q., Zhang, H., Chen, Z., Cox, D., ... & Gan, C. (两0二4). Principle-driven self-alignment of language models from scratch with minimal human supervision. Advances in Neural Information Processing Systems, 36.

[15] Li, X., Yu, P., Zhou, C., Schick, T., Levy, O., Zettlemoyer, L., ... & Lewis, M. (两0两3, October). Self-Alignment with Instruction Backtranslation. In The Twelfth International Conference on Learning Representations.