AI2发布大型开放数据集Dolma，助力打破AI语言模型的数据壁垒

AI2发布大型开放数据集Dolma，旨在打破AI语言模型的数据壁垒

艾伦人工智能研究所（AI2）近日发布了名为Dolma的开放式文本数据集，旨在促进AI语言模型的透明度和创新。这个数据集是AI2开放式语言模型（OLMo）计划的核心，将为研究人员和开发者提供免费的数据资源，以支持更广泛的AI研究。

在GPT-4和Claude等语言模型的崛起中，人们对这些模型的强大能力感到惊叹，但模型背后的数据集却笼罩在神秘的面纱之下，引发了对透明度的担忧。为了改变这种现状，AI2决定采取一项突破性举措，向全球发布了Dolma数据集，以推动AI语言模型领域的透明度和协作。

Dolma作为AI2开放式语言模型（OLMo）计划的基石，其名称缩写代表“Data to feed OLMo's Appetite”（供养OLMo食欲的数据）。AI2旨在通过向研究社区提供免费、开放的数据资源，鼓励更多的创新和研究。该数据集的发布不仅是AI2首次共享关于OLMo的“数据成果”，还是AI2在透明度方面迈出的重要一步。

根据AI2的Luca Soldaini在详细的博文中所述，Dolma数据集的来源和处理过程得到了透明记录。AI2团队详细解释了将文本还原为原始英语内容等决策的方法。AI2强调，他们计划发布更全面的论文，以深入探讨数据集的细节。

与此同时，Dolma不仅仅是一个规模庞大的开放数据集，拥有惊人的30亿标记（token）（在自然语言处理中常被视为“词”或子词粒度单元），而且使用和许可方面也非常简便。AI2采用了“中风险成果的ImpACT许可证”，并鼓励用户：

- 提供联系信息和使用情况- 披露基于Dolma的衍生创作- 在相同许可下分发这些衍生创作- 同意不将Dolma应用于禁止领域，如监视或虚假信息

此外，AI2还为担心个人数据隐私的用户提供了专门的数据删除请求表单，以确保个人数据的保护。

Dolma的发布标志着AI2在透明度和协作方面迈出的重要一步，为AI语言模型的开放和共享知识设立了有力的先例。该数据集的开放为研究人员和开发者提供了更多的资源，将推动AI领域走向更加透明和合作的未来。用户可通过Hugging Face平台访问Dolma，这是一个对AI领域的积极而重要的发展。

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具