潞晨科技推出的Colossal-AI:650亿参数大模型预训练方案

近日,潞晨科技,一家专注于人工智能领域的创业公司,宣布推出首个开源的Colossal-AI预训练方案,该方案采用了650亿参数的LLaMA低成本预训练模型。潞晨科技推出的Colossal-AI:650亿参数大模型预训练方案

据介绍,相较于其他主流选择,该预训练方案在预训练速度上提升了38%,且只需32张A100/A800即可运行,对商业使用没有限制。

有关该预训练方案的详细信息和代码可在以下开源地址查看:https://github.com/hpcaitech/ColossalAI

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具

相关新闻

联系我们

联系我们

微信747975991

在线咨询:点击这里给我发消息

邮件:1500158347@qq.com

工作时间:周一至周六,8:30-20:30,可以随时留言

扫码加微信
扫码加微信
返回顶部