蚂蚁集团发布开源代码大模型CodeFuse-CodeLlama-34B的4位量化版本
近日，蚂蚁集团代码大模型CodeFuse-CodeLlama-34B4bits量化版本发布。
CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本，后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调而得到的代码大模型，模型输入长度为4K。
经4bits量化后，CodeFuse-CodeLlama-34B-4bits可用单张A10（24GB显存）或者RTX4090(24GB显存)加载，同时，量化后的模型在Humaneval pass@1指标上仍取得了73.8%的表现。
据悉，CodeFuse是蚂蚁自研的代码生成专属大模型，根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释，自动生成测试用例，修复和优化代码等，以提升研发效率。
ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具
