龙年预见·新质生产力｜大模型落地金融业，尚有这些关键点

编者按：过去的一年，人类社会在AI、具身机器人、脑机接口等领域取得瞩目成就，令我们目不暇接。新时代的大门已经开启。站在龙年开首，我们想问，科技进步带来的新质生产力会把我们带向何方？光芯片、飞行汽车以及不断进化的AI，又会打开一幅怎样的人类社会图景？在此，请同银柿财经一起，聆听技术最前沿科学家们的声音。

自2022年11月ChatGPT问世以来，生成式AI大模型的浪潮便迅速席卷全球，成为人工智能领域最炙手可热的赛道。在赛事行至中场之时，从业者对于行业发展图谱的认知也愈发清晰：大模型只有从通用走向垂直，并迅速投入到产业应用才是王道。

其中，金融行业因其数据密集型和科技驱动型的行业属性，被视为垂直大模型应用落地的最优场景之一。也正因如此，有越来越多企业开始布局金融垂类，截至目前，度小满、蚂蚁集团（06688.HK）、华为、腾讯云、马上消费金融、同花顺（300033.SZ）等公司都开发了金融大模型，并积极探索这一垂直行业的应用场景。

金融大模型目前进展如何？还有哪些应用前景有待开发？落地过程中数据安全和隐私合规如何得到保障？2024年金融大模型又将涌现出哪些技术突破点？站在龙年的起点，银柿财经采访到了同花顺金融大模型HithinkGPT的研发团队，试图探寻这些问题的答案。

据悉，和国内外其他大模型相比，HithinkGPT在金融数据方面具备数据覆盖广、量极大、质量优、合规强等优势，并展现了强大的分析、预测、推理能力。这些优势的获得主要得益于研发团队从训练语料、训练框架到模型结构的设计。

“HithinkGPT预训练阶段金融语料约1.4T token，占比超过了50%。”HithinkGPT研发人士介绍称，在使用优质金融语料训练后，HithinkGPT的金融知识储备远超其他金融大模型。

在模型应用方面，同花顺凭借多年来的数据积累和业务经验，将金融RAG体系，金融领域专家系统，知识图谱，领域知识库等集成在HithinkGPT中，使其具备了实时分析、逻辑推理、精准预测的能力。

即便HithinkGPT拥有诸多优势，但研发人士坦言，“模型幻觉问题目前依然存在，实际部署的推理成本较高，推理速度不够理想，离真正的商业化落地应用还有一些距离。”

研发人士所说的“模型幻觉”（Model hallucination），指的是大模型在缺乏足够信息或面对模棱两可的输入时，生成的错误、虚构或无根据的错误回答。

在研发人士看来，这种错误回答在金融行业是不可容忍的。金融行业容错率较低，无论是知识问答，还是内容提取上，都对大模型技术提出非常高的要求。“只有真正解决了模型幻觉，才能实现to c应用。”

不过在面对模型幻觉时也并非无计可施，研发人士表示，通过数据清洗，RAG技术，RLHF对齐等方法可以有效降低模型幻觉。未来可能会通过研究和开发新的模型解释性工具，开发新的模型架构和训练技术（如更细粒度的注意力机制、更有效的上下文理解能力）等方式来修正并减少模型幻觉问题。

从应用进展来看，目前金融大模型已涉及运营、客服、营销、风控、研究以及贷后等多个场景，但不少分析认为，金融机构对大模型的应用仍处于探索、研发或试用阶段。

研发人士称，除了对“模型幻觉”的考量外，金融行业本身对数据安全合规有着严格的要求，也决定了其在采用金融大模型方面更为谨慎。

对此，同花顺在向金融机构提供大模型服务时，将采用问句侧风控，模型本身安全性能增强，答案侧风控三层风控机制来保障合规性。“HithinkGPT对于违规问题的风控召回率已经达到99%+。”研发人士介绍称。

据悉，HithinkGPT已和大量包括但不限于银行、券商、会计师事务所、政府机构等客户开展合作，很快将会接入他们的系统。

“目前大模型的应用处在一个可以用，还不错的阶段，但距离好用，能准确解决实际问题尚有一定的距离。”在研发人士看来，需要解决的关键点除了“模型幻觉问题”和“安全合规采集问题”外，“如何降低推理成本，提升推理速度”以及“如何生成实际有用的，对用户有参考意义的具体建议，而并非泛化的‘安全回答’”也是亟待解决的问题。

不过研发人士也表示，其中一些问题有望在2024年迎来一些突破点。比如在模型回答方面，或将更加个性化，对于不同的用户画像、不同的上下文信息，模型能理解得更透彻，生成有深度、有逻辑的准确回答；对于意图不准确的问句，也有望能够自动进行澄清和确认。

目前，HithinkGPT大模型在智能投研、智能投顾等应用场景已经取得了一些进展，能够赋能投研工作的多个环节，并辅助投顾从业人员产出更多优质内容。