作家 ｜ 苗正邮箱 ｜ miaozheng@pingwest.com

淌若让你在互联网上给大模子选一册中语讲义，你会去那儿取材？是，是豆瓣，还是微博？一个究诘团队为了构建高质地的中语教导微调数据集，对这些酬酢媒体进行了测试，想找到西宾大模子最佳的中语料想，效果谜底保证让你大跌眼镜——

弱智吧。

弱智吧是贴吧上的一个子版本，这是一个止境神奇的场所，吧友们热衷于创作和共享指鸡骂狗、一词多义、因果相当、谐音梗等带着逻辑陷坑的本色，况兼部分帖子以致带有一定的玄学意味。然则，拿这些东西西宾全知万能伟大的大模子？能行吗。

别急，咱们先来望望这个究诘团队作念了什么实验。

这是一篇题为《COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning》的论文，作家来自多个国表里高校，简便来说，他们提议了一个中语教导微调数据集COIG-CQIA（全称为Chinese Open Instruction Generalist-Quality Is All You Need ）。

关于中语大模子缔造者来说，咫尺的一个重心挑战就在于莫得一个高质地中语数据集，究诘团队觉得，各式中语酬酢媒体、论坛关于大模子的西宾应该是很好的语料起原。

于是为了给这个数据集取材，他们从不同的酬酢平台（如问答社区、维基百科、侦查材料、已有的 NLP 数据集等）汇集了高质地的东谈主工编写的文本荟萃，这些文本过程严格筛选和精致处理，最终才构建出了这个数据集。

论文称，这个数据集的筹算是构建一个各样化、平庸的管事于中语大模子的教导调优数据集，以更好地使模子看成在中语环境下与东谈主类互动相一致，培植教导反馈的能力。

这里也科普一个宗旨，那便是大模子天然有雄壮的学问储备，然则它是为处治通用任务而联想的，因此莫得主见处理特定问题。此时，就需要对其进行“微调”，来让其输出效果适宜特定问题的预期。而教导微调便是证明确了模子应本质的任务类型、输入条件、输出表率等具体细节情况下，再给出正确的效果。比如我用中语发问，并条件模子用西班牙语回应，那么模子的缔造者为了知足我后半句话的条件，就得对模子进行教导微调。

这时就需要一个“教导微调数据集”。这类数据集时时包含遍及的“教导-输出”对，其中每个对包括一个明确的教导（instruction），即用户但愿模子本质的任务证明，以及与之对应的梦想输出（output），即模子在收受到该教导后应当生成或本质的效果。

COIG-CQIA便是这样一个数据集。究诘团队起初是对数据集进行了严格的筛选和清洗，确保数据集是比拟健康的。具体作念法是凭证预设的筛选圭臬，去除无关或低质地的文本。这可能包括删除告白、意外旨的灌水本色、含有敏锐信息或违抗社区法则的帖子等。

之后，团队还作念了东谈主工搅扰：对处理后的文本进行东谈主工审核，确保其本色正确无误，适宜预期的语义和学问圭臬，同期也确保数据集与真正的中语用户交互样式相一致。尤其是在一些诸如弱智吧语录这样深层隐喻比拟强，模子基本没主见透澈纠合采集到的段子的含义，那就需要进行东谈主工标注，提供明确的教导-输出示例，为模子微调提供精准的西宾信号。

在作念已矣整理职责后，究诘团队使用COIG-CQIA数据集对多个开源中语大模子作念了微调。

而为了评估这些不同起原的数据质地，团队分别用不同的酬酢网站的数据微调了吞并个模子，并作念了测试。

在论文展示的对微调后的Yi系列模子的评估证实中，神奇的一幕出现。

在Yi-6B的性能对比中，在多个比分中（敞开式问答，头脑风暴，分类问题，生成问题，顽固式问答和编程），用弱智吧的数据西宾的模子表当今多个分类中证实是最佳的。

而对微调后的Yi-34B的评测中，基于弱智吧数据西宾出来的证实，更是径直拿了真实统共领域的第一，详尽评分遥遥起初。

除了性能外，COIG-CQIA还对其安全性能进行测试了，使用的是开源评估框架SafetyBench。不错看到，CQIA-Sub-6B的SafetyBench高达81.7，比GPT 3.5的SafetyBench还高。这样高的评分代表COIG-CQIA概况准确识别风险，并离别出含有无益信息、潜在违法本色、心事敏锐信息、误导性建议等不安全选项，选拔出最适宜安全原则的谜底。换句话说，其具备一定的买卖化后劲。

而其中，弱智吧的证实又亮了。稀奇了GPT3.5 。

论文里也对此感到骇怪，作家尝试作念了分析：“挑升想的是，弱智吧数据集在多个子集上的平均排行中最终位居第二，咱们觉得这可能是因为弱智吧的数据特点有助于增强模子的逻辑推理能力，从而在大多数盲从教导的任务中证实出色。”

在看完这篇论文后，我又去弱智吧看了看这些天才般的语料，这是有东谈主整理的一部分弱智吧经典语录：

玉皇大帝住的是平流层()还是对流层？

导盲犬辞让入内，是给盲东谈主看的，还是给导盲犬看的？

空心能吃饭吗？

变形金刚买保障是买车险还是东谈主险？

我买了一斤藕，为什么半斤齐是空的？

雷公电母放的是直流电还是换取电？

每天吃一粒伤风药，还会伤风吗？

请教妊妇打东谈主算群殴吗？

去自首的路上被持了还算自首吗？

吃镇痛剂去打架，算开挂吗？

被门夹过的核桃，还能补脑吗？

琢磨到大模子最欠缺的便是逻辑能力，看来这些更像脑筋急转弯的问答如实是大谈话模子的好语料。

而在弱智吧最近的首页上，一个排行靠前的帖子也很应景：

“什么职责齐可能会被东谈主工智能取代，但弱智不会。”

简直，故意想呢。