案例简介
企业智核是一种基于以LLM为基础，支持使用垂直领域私有知识进行微调、可以实时添加更多私域知识、使用RAG和REACT机制等一种知识存取、检索和生成方案。
本方案旨在利用垂直领域的大型语言模型（LLM）来解决企业在异构数据同构化、碎片化和零散化知识管理方面的挑战。通过构建一个集中化、智能化的知识库，为企业提供一个定制化的知识增强平台，以提高企业在该领域的决策能力、运营效率、创新速度、管理能力和运营效率。
关键组件和特性：
（1） 基础LLM微调：基于通用LLM，通过领域数据进行微调，以适应特定行业的语言模式和知识结构。
（2） 知识构建与管理：用于存储、检索和分析领域知识，支持知识库的构建和维护。
（3） 知识录入与嵌入：支持对多源异构知识、多模态数据尽心统一化录入识别，支持定制化嵌入、拆分、构建知识库。
（4） 知识提取与整合：自动从企业内部文档、行业报告、法规更新等资料中提取关键信息，并整合到知识库中。
（5） 智能搜索与推荐：利用LLM理解复杂查询，提供精准的搜索结果，并根据用户行为推荐相关内容。
（6） 自动化报告生成：根据用户需求，自动生成行业报告、市场分析和趋势预测。
（7） 决策支持系统：提供基于数据驱动的洞察，辅助企业决策。
（8） 培训与教育：为员工提供定制化的培训材料和学习路径，加速知识传递和技能提升。
本方案具有数据智能同构化与解析能力、知识统筹管理能力、知识检索与创作能力以及支持决策和自动化报告生成能力。
背景或痛点
在竞争日益激烈的当今社会，企业需要对内需要沉淀完善、规范的企业知识以提升内部管理和运营效率，对外需要构筑强大的知识围栏和知识壁垒构筑具备核心竞争力的护城河。而在这过程中，构建知识库是企业知识管理、综合竞争能力的的重要组成部分，对于提升企业的核心竞争力和可持续发展具有重要作用。
但是近年来，企业知识碎片化、零散化、数据异构化异常问题凸显，知识隔离、数据烟囱、数据不规范存取使用等问题亟待解决。这些问题由来已久但又不好解决，其中技术方案层面是解决这些问题的重要障碍之一。
传统的技术，针对异构数据同构化已比较吃力，针对碎片化、零散化知识进行管理更严峻考验着企业的管理能力和运营机制。
针对于此，本方案提出基于垂直领域LLM构建企业知识增强方案。对企业内容，可以标准化、统一化私域知识，为数字化运营提供必要的保障和支撑，同时提供标准化流程的自动化、智能化解决方案。同时，可优化运营流程、促进知识共享、加速员工培训学习、降低重复劳动、支撑远程工作、促进个人和团队成长等，综合提升企业运营能力。对外，方案可增强客户服务、提高品牌形象、支撑合规性要求、增强综合竞争力。
技术特色
本方案融合多种技术，包括REACT、RAG机制、Agent、GraphRAG等相关技术，体现在：
1） 采用微调技术，生成垂直领域LLM。使用基础LLM，结合某领域私域知识，经过微调得到垂直领域定制化LLM，方案能够理解和处理特定行业的术语和概念，提供更加精准的知识管理和服务，解决该领域的复杂问题。
2） 使用多模态LLM相关技术，知识同构化。本方案可利用LLM的能力，将异构数据源（如文本、PDF、Excel等）转化为统一的知识表示，将多模态数据源（如文本、音频、图片等）统一转换合表示，最终便于知识的管理和检索。
3） 采用内置Embedding、Token分词、TextSplitter等技术，支持自动化、智能化信息处理。本方案支持多源数据集的预处理、向量化处理和QA形式切割拆分，支持自定义形式数据集预处理。集成自然语言处理（NLP）技术，支持数据集的Token自动分词、实体识别，包括实体识别、情感分析、语义理解等，以实现自动化的知识提取、分类和标签化。针对文本数据，采用递归拆解法优化了TextSplitter，提升了文本处理的能力。
4） 采用GraphRAG与REACT技术相结合，支持自定义Agent和多Agent自定义编排。方案融合GraphRAG、REACT相关原理和技术，支持自定义基于LLM的Agent。同时，支持对多个Agent实现自定编排，协同完成更加复杂的知识检索、表示和生成场景。
5） 零信任安全模型（Zero Trust Security）：采用零信任框架，确保知识库的安全性，通过持续验证和精细化访问控制来保护数据和应用。
6） 引入了PgVector0.5版本的HNSW索引，提升知识检索效率。方案采用引入了PgVector0.5版本的HNSW索引，极大提升了知识库检索的效率，相比IVFFlat索引检索，可提升10倍左右的效率。
应用实例场景
本方案有较多的可实用场景，包括：
1）智能客服：本方案可用在客户服务领域作为一个虚拟助手，提供24/7的自动化客户支持。由于具有了特定的知识库，所以可以针对用户提问，通过知识库进行检索和答案的生成，从而提高客户满意度并减少企业的人力成本。
2）内容创作：本方案可用在内容产业能够帮助内容创作者生成文章、故事或其他文本内容，提高创作效率并激发创意。由于具备了特定领域的知识，因此创造的内容符合性较高，具有较高的参考和实用价值。
3）企业知识管理：本方案可用于企业建内部知识库，帮助员工快速查找所需信息，促进知识共享，加速新员工培训学习。
4）教育与培训：本方案可用在教育领域，作为辅助教学工具，提供个性化的学习资源和答疑服务，帮助学生和教师更有效地进行教学和学习。
5）行业智能应用：本方案可用在金融、医疗、法律等专业领域中，提供定制化服务，如风险评估、病例分析、法律咨询等。
6）研究与分析：本方案可用在研究人员进行文献回顾、数据分析和报告撰写，以支持复杂研究项目的进行。
7）多语言支持：本方案可用在多种语言转换时，它也可以用于多语言环境下的问答系统和内容生成，支持全球化业务的需求。
实施效果
1）数据更加安全、可用。采用垂直领域LLM部署的知识增强方案实施后，由于是私有部署意味着企业数据存储在企业内部服务器上，由知识库系统统一规划、管理，对各类和各级别信息提供访问控制等，增强了数据的安全性、隐私性。同时，知识库系统可以将多维度、层次和形式数据进行语义检索，相对于传统的单个数据集的检索，数据的可用性得到较大的增强，而不再是信息孤岛。
2）增强领域人员专业能力。本方案基于专业领域内知识进行微调、学习和增强，领域内的专业人员不近可以随时使用本方案进行学习、查阅资料，也可以讲其当做自己的一个专业顾问，在外界看来，专业领域的相关人员的能力得到的增强。因此，本方案提升比较有效的增强了本领域人员的专业能力。
3）检索更加高效、准确。方案结合向量搜索引擎，如PgVector，可以显著提升文本检索能力，帮助企业快速从大量异构甚至多模态数据中找到所需信息。同时，采用Embedding技术编码后，采用语义相似度算法机制进行计算，检索召回的准确性得到进一步的提升，相对原传统的检索技术仅能执行规则匹配层面的检索而言，语义检索极大提升了检索的准确性。
4）降低运营成本，提升数字化、智能化。通过私域智能问答系统，员工可以快速获取所需知识，减少查询时间，提高工作效率。企业可以将知识增强方案作为一种知识交流、沟通的途径和方法，将标准化的其他内部知识存储在知识库中，新员工、新岗位员工均可在其中查阅其对应的知识集，准确提升自己的岗位能力，同时降低了运营成本，无需再需要HR参与指导等。同时，进行标准化、统一化的知识库作为沟通交流的主体，非常有助于提升企业数字化、智能化建设，从而进一步增强企业的综合竞争能力。
5）促进知识共享、提升企业形象。企业内部员工可以通过知识库分享和协作，促进知识的记录、传播、共享和创新。同时，拥有先进的内部知识管理系统可以提升企业的专业形象，并展示企业对技术和创新的重视。
