探索Wisdom Interrogatory：法律AI大模型“智海-录问”发布及应用

2023年8月21日，由中国工程院院刊《Engineering》、中国人工智能学会和中国工程院院刊信息与电子工程领域分刊《FITEE》联合主办的Engineering大讲堂暨“智行中国”第五期系列论坛在浙江大学成功举行。此次论坛围绕基座模型基础理论、AI+X垂直领域赋能应用及基座模型评测体系等问题展开了深入探讨，并发布了面向司法领域的开源法律大模型——智海-录问。

一、Wisdom Interrogatory是什么？

Wisdom Interrogatory，中文名为智海-录问，是由浙江大学、阿里巴巴达摩院及华院计算共同研发的法律大模型。该模型旨在通过推动法律智能化体系的建设，为司法实践、数字化案例建设及虚拟法律咨询服务提供支持，从而提升司法效能。

二、Wisdom Interrogatory的项目地址

Github仓库: https://github.com/zhihaiLLM/wisdomInterrogatory
相关报道: https://mp.weixin.qq.com/s/LhXmh0_Q3s0gTruwNZ_kYQ
在线试用: https://modelscope.cn/studios/wisdomOcean/wisdomInterrogatory/summary

三、Wisdom Interrogatory的模型训练

智海-录问模型基于Baichuan-7B进行了二次预训练和指令微调训练，以注入法律领域的专业知识并提升其问答能力。

二次预训练二次预训练旨在给通用大模型注入法律知识，使用的数据包括法律文书、司法案例和法律问答数据，共计40G。
指令微调训练通过使用100k的指令微调数据集，使模型具备法律问答的能力，能够直接与用户进行交流。训练数据涵盖了法律咨询、情景问答、罪名预测、刑期预测等多种法律场景。

四、Wisdom Interrogatory的模型增强

为了提高模型的实用性和准确性，团队构建了6种类型的法律知识库，包括法条、案例、模板、书籍、法律考试和法律日常问答知识库。

知识库构建与处理各类知识库经过收集、清洗和处理，生成了结构化的文本和JSON文件。例如，法条库包括宪法、各类法律和地方性法规，处理后生成txt和json格式文件。
知识增强为了提升检索效率和准确性，采用了统计特征和语义特征双重检索方法，并通过对比学习训练检索模型的embedding，实现了更精确的知识定位和融合。