如何让大模型在提升专业能力的同时又不失通用能力,是大模型在具体场景落地的最大障碍。 12月23日,百川智能推出全链路领域增强的大型金融模型百川4-金融,通过自我约束的训练方案,同步提升模型的特殊能力和通用能力,提高金融场景的可用性。
百川智能由前搜狗CEO王小川于2023年创立。全链路领域增强解决方案涵盖了从模型开发到场景应用的全过程,包括构建、模型预训练、微调、强化学习等,旨在提高模型在多场景下的可用性。据了解,百川4-财经的金融数据集包括金融专业教材和学术著作、顶级金融期刊文章、监管机构政策文件、金融法律法规等核心专业金融知识数据,以及金融专业问答馆藏、企业财务报表及年报、金融研究分析报告等实际应用数据。
在此基础上,百川4-金融在领域自约束训练过程中引入更高精度的通用数据混合训练,实现模型通用能力的不退化和金融能力的稳定增长,并在训练后过程中,它使用合成数据和指令数据来改进模型。实施监督微调;强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强,以提高模型性能。
在中国人民大学金融学院12月17日发布的金融评估系统FLAME评估中,百川4-金融在银行、保险、基金、证券等资质认证领域的准确率超过95% ,总体准确率为93.62%。
金融行业数据丰富,适合大型模型的实施。不过,在业内人士看来,大规模模式在金融领域落地需要解决四大问题:一是合规性。金融是一个受到严格监管的行业,任何新技术的应用都必须满足监管要求。第二是安全。如果不能完全避免或消除幻觉问题,那么大模型在金融中实施时就会存在风险。同时,当涉及敏感用户数据的问答时,大型模型将存在泄露隐私数据的风险。第三是可解释性。金融是一个逻辑性很强的行业,数据处理结果必须准确。第四是经济。大型模型的更新速度越来越快,对计算能力和数据的要求也越来越高。金融机构在实施大型模型时必须考虑成本。 “有时候小模型的效果并不一定比大模型差。大模型和小模型的结合也会发挥很大的作用,比如舆情分析、金融异常识别等。”