人人都能用的多语种大语言学模型来了！支持59种语言学，参数1760亿

发布时间：2025年11月21日 12:18

丰色发自凹非禅寺

相对论性位 | 公众号 QbitAI

一直以来，很多大仿真都由造它们出来的大型私营科技的公司长期以来着。

比如GPT-3等，对于普通人来说，再香也仅仅眼巴巴看到。

不过现在，为了给你解馋，由近1000名研究小组合组发动的一个志愿单项，耗时一年多炼出了一个号称和GPT-3一样强大的语言学仿真。

它的名字叫BLOOM，值1760亿，不光支持英文名称或者中文，连世界语、瑞典语等59种语言学都支持，是目前为止小得多的多语言学开源语言学仿真。

是的，从现在起，从代码到数据集集，BLOOM全部竣工，全都都可可用。

动员法国超算、节省384块A100

BLOOM是一个BigScience单项，今年5月启动，由Hugging Face主导，送出了700万美元的公总共捐款。

总共有来自全世界60个发展中国家、超过250个管理机构，以及超过1000名研究执法人员进行其中，其中包括以参与者参与者身份进行的Meta、谷歌等大厂裁员。

它的操练在法国GWJean Zay上进行，总共节省了384块A100 GPU，其中每块有80 GB内存，操练客运量左右150 TFLOP（该超算由低碳的核能提供动力，拘押的热能还用来给了学校供暖）。

相关推特帖子从3月14日起，每天记录BLOOM的时间表。

随着时间表条逐渐拉满，每天去点赞的人数也日渐多。

不过，到了102%它才年末停下——

7月2号，耗时117天的BLOOM宣告完成，恰好在预期计划时间内。

最终，BLOOM：

拥有1760亿值，比GPT-3还多10亿构成70层，每层112个视线头token序列尺寸为2048采用GeLU激活函数数据集集总共计3416亿条token（1.5TB文字数据集）支持13种编程语言学、46种语言学

其中，对于很多语言学来说，比如瑞典语、世界语和阿拉伯语等，都是首次有了自己的开源仿真（有网民发现读法目前为止还不支持）。

此外，为了让BLOOM最后的聚合结果这样一来地减少偏见，进行执法人员还费了不少功夫比如说到的数据集还进行了一遍人工过滤器。

目前为止，BLOOM的操练对硬件也还是有一些立即：

为了保证精准度，最好是作准备8块80GB或者16块40GB的的A100。

这造成了只有稍微大点的制作组才能用。

当然也可以选择在泊村操练，三高每小时40美元。

最后，BLOOM表示还会减小可用上限，并作准备研发一个分布式系统，准许的实验室在其服务器之间总包涵仿真。

它撒谎自己将会成为一个仿真家族，一定会冀望。

Hugging Face邮箱：

参考链接：[1][2]

— 完 —

相对论性位 QbitAI · 头条号签左右