中国科学院发现,使用段落来训练最强的中国人AI〜
地球是一个奇迹
技术|中国
精神智障,是百度的帖子。它是由一个年轻人建立的。它专门包括在一些胡说八道的有趣段落和哭泣中。这很有趣。 | |
这是一个频谱,并且在严重的AI纸上受到精神残障,并且已经成为中国最好的培训数据?路口
具体来说,使用精神残障数据的大型数据培训模型,运行100多个主题,Zhihu,,和其他知识共享平台,甚至一些研究团队精心选择的数据集。
精神智障的分数在8个测试中得分,例如Q&A,头脑风暴,分类,生成,摘要和提取。
没错,在本文中是指百度·泰巴(Baidu Tieba)的精神迟缓,一个充满荒谬,怪异和不合理的演讲的中国社区。绘画的风格通常是这样的:
最令人发指的是,使用专业技术问答社区,通过数据培训的精神障碍AI代码能力也超过了AI。
其他平台的围观者也住在班布。
这项研究来自深圳科学院深圳高级技术研究所,中国科学院自动化研究所和滑铁卢大学的许多大学和研究机构的联合团队。
其中一位作者也出现在评论区域中,表明使用精神残障的数据训练AI是一种聪明的运动,它曾经仅用于测试。
如何实现精神残障数据的这一成就,请查看论文。
谈到精神残障的说明
最初,这项研究是解决大型中国模型培训中的许多问题:
为了解决这些痛点,团队直接从中国互联网的各种知识来源收集数据,例如Zhihu,,百科全书,等,经过一系列严格的清洁和手动审查,以创建高 - 质量和多元化的中国人。指令到微调数据集Coig-CQIA。
除了探索不同数据源的作用外,团队还专门提取了CQIA-的本质。
在众多数据来源中,精神智障的酒吧已成为最特别的。
500个最喜欢的标题+人工或GPT-4的对帐指令,用于微调数据集。经过人工审查后,240组指令 - 重新数据对。
培训110万YI系列开源模型,并使用各种数据集,并在Belle-eval测试集中使用GPT-4分数来获得结果。
在较小的YI-6B模型中,弱和智能条的总分排名第三,这并不突出。
看来,小型模型无法理解精神智障的本质。
当我到达YI-34B时,精神残障版本的表现是不道德的。
只有在重写和数学任务中,最高分数才可用,但是结果相对较高。
此外,安全评估的精神智障版本也可以排名第二。
对于这种现象,研究人员还在分析中简单地猜测:
精神残障的问题可能增强了AI的逻辑推理能力,因此指令遵循该任务以使其受益。
当然,精神障碍的酒吧并不是所有这项研究。它的真正贡献是为用于开发大型中国模型的微调数据集提供高质量的指导。
通过探索各种中国互联网数据源,这项研究为构建中国教学数据集提供了许多有用的灵感。
例如,尽管社交媒体数据开放和多样化,但也有很多有害信息风险。百科全书的数据是专业的,但覆盖范围可能还不够广。
水分棒
这项研究一经开始,网民集体笑了。除了“ XSWL和思想的开放”外,一些网民还认真地讨论了如此神奇的效果的原因。
每个人都更加认可的原因之一是精神残障标题的“异质”。
就像大脑的匆忙一样,它增加了指令的多样性,因此它改善了模型的最终表现:
大多数一般数据集都在舞台上看到,它只会再次增加。
另一个原因是,精神残障数据的数据文本非常高,并且单词是准确且简单的。
成千上万的单词要说一个单词:将这种残障人士的内容严重低估了其价值。
每个人通常都会使用Sprit Food或精神智障的问题来测试大型模型。
实际上,自从出生以来,精神智障的酒吧就参与了大型模型的发展。它可以被视为这一浪潮的重要见证。
一开始,只是网民使用了酷刑AI并参与了演出的效果。
后来,每个人都发现精神残障的问题到处都是陷阱,可以用来区分AI的能力。
我仍然记得,在23年初,每种大型模型的第一版都不是很好地处理此类问题,例如2023年3月的文字:
随后的版本也越来越好,例如2023年8月的文本:
直到今天,精神残障的问题是每个新模型必须执行的水平。
秘密塔写猫
Inspo
后来,AI公司还开始关注它,例如百度官员和官方的实时广播。
一开始,为了制定一系列智力障碍,由大型模型专门收集的网民。我没想到有一天他们会改变并成为训练套装。
这个想法确实开放了〜
论文地址:
参考链接:
[1]
[2]
[3]
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权本站发表,未经许可,不得转载。