IT HOME 2月15日新闻，技术媒体Marktechpost昨天（2月14日）发表了一篇博客文章，报道说，加州大学的研究团队伯克利提出了一种AI培训方法，该方法只能使用少量数据来增强大型语言模型（ LLM）推理能力。
提高LLM推理能力的困难在于训练模型以结构化的自我反射，验证和回溯来产生长链思维（COT）响应。现有模型的培训过程通常需要在大量数据集上进行昂贵的微调，并且未披露许多专有模型的培训方法。
研究小组提出了一种新的培训方法，仅使用17,000个COT示例，对QWEN2.5-32B教学模型进行微调，并结合SFT和Lora微调技术，强调优化推理步骤的结构完整性，而不是该技术的结构完整性内容本身。通过提高逻辑一致性并最大程度地减少不必要的计算开销，LLM的推理效率可显着提高。
研究表明，COT的结构在增强LLM推论的性能中起着至关重要的作用。更改训练数据的逻辑结构将显着影响模型的准确性，同时修改单个推理步骤的影响很小。
使用新方法后，IT家附着测试结果如下：
这些结果表明，有效的微调技术可以使LLM能够获得与专有模型相当的推理功能，例如OpenAI的O1-preview，数据要求较少。
这项研究表明，从大规模数据依赖性转移到结构完整性可以导致一种训练方法，以确保与最小计算资源的强大逻辑一致性。这种方法减少了对大量数据集的依赖，同时保持了强大的推理功能，从而使LLM更容易访问和可扩展。
这项研究的结果为未来模型的优化铺平了道路，表明结构化的微调策略可以有效地增强LLM推理能力而不会影响效率，这标志着在更广泛的应用程序步骤中迈出了复杂的AI推理模型的重要步骤。
