数据建设与自动入库

1. 总体原则与统一流程

普通数据来源统一先进入素材池,不直接进入正式知识库。

正式知识建议经过“素材 → 草稿 → 质检 → 审核 → 发布 → 入库 → 检索问答”流程。

问答页只提交反馈,不直接把回答写入正式知识库。

正式文件入库保留为管理员入口,适用于已确认质量的文档、历史资料迁移和紧急补充。

所有关键环节应保留任务、状态和处理记录,方便追踪与复盘。

序号流程节点说明
1数据来源来自反馈、人工新增、来源文件、网页采集、缺口补充或正式文件上传。
2素材池保存未审核的原始资料,可编辑、忽略或生成草稿。
3知识草稿对素材进行结构化加工,补充标题、分类、正文和来源说明。
4质量检查检查内容完整性、重复性、格式和可读性。
5人工审核由知识库维护人员或管理员确认是否可发布。
6发布正式知识审核通过后发布为正式知识文件或正式知识记录。
7正式入库生成知识片段和语义索引,进入检索链路。
8问答验证通过知识库检索、智能问答和检索评测验证效果。

2. 数据入口总览

入口进入位置是否直接参与检索后续流程结果
问答反馈反馈处理后进入素材或缺口运营判断 → 素材/缺口 → 草稿流程高价值反馈沉淀为可审核知识。
手动新增素材素材池生成草稿 → 质检 → 审核 → 发布人工整理资料进入标准流程。
来源文件扫描扫描结果进入素材池筛选有效资料 → 草稿流程批量采集原始资料。
网页来源采集采集结果进入素材池解析网页 → 草稿流程把网页内容转为可治理资料。
知识缺口任务缺口列表补资料 → 素材或草稿补齐未命中或不准确问题。
正式文件入库知识库管理入口预检查 → 入库任务 → 检索验证确认质量的正式文档参与问答。

3. 入口一:问答反馈采集

用户在问答结果中提交反馈。运营人员在反馈列表中判断是否进入数据建设。

序号流程节点说明
1用户提问系统生成回答并展示引用。
2提交反馈用户选择有用、无用、引用错误、答案不准或需要补资料。
3运营处理查看问题、回答、引用和反馈说明。
4进入数据建设根据反馈类型生成素材或知识缺口。
5后续处理进入素材或缺口流程,最终可形成正式知识。
处理结果说明
有用反馈可转为素材,沉淀为标准知识。
无用/不准可转为缺口任务,要求补充资料或修正文档。
引用错误定位来源问题,触发文档修正或禁用处理。

4. 入口二:手动新增素材

手动新增素材适用于人工整理的临时说明、经验总结、配置记录、错误处理笔记等。

序号流程节点说明
1新增素材填写标题、分类、来源说明和正文。
2保存素材素材进入待处理状态。
3生成草稿选择有效素材生成知识草稿。
4质检审核检查内容质量并提交审核。
5发布入库审核通过后发布并进入正式入库。
处理结果说明
保存成功素材可查看、编辑、忽略或生成草稿。
内容不完整需补充标题、分类或正文。

5. 入口三:来源文件扫描

来源文件扫描用于批量发现原始资料。扫描结果进入素材池,不直接参与检索。

序号流程节点说明
1执行扫描管理员选择扫描范围或触发定时扫描。
2文件识别系统识别支持的文档类型和基础信息。
3去重过滤跳过重复、空内容或不支持的文件。
4生成素材有效内容进入素材池。
5查看历史管理员可查看扫描结果和异常原因。
处理结果说明
扫描成功新增有效素材并记录扫描结果。
重复跳过系统提示重复或已处理。
读取失败记录失败原因,待人工处理。

6. 入口四:网页来源采集

网页来源采集用于把指定网页内容采集为可治理资料。

序号流程节点说明
1提交网页来源录入网页标题、地址或来源说明。
2内容解析系统提取页面正文和关键信息。
3内容预览人工检查是否采集完整。
4进入素材池确认有效后进入素材流程。
5草稿加工对内容进行规范化整理。
处理结果说明
采集成功网页内容进入素材池。
解析不完整需要人工补充或重新采集。
不可访问检查网页权限、网络或地址有效性。

7. 入口五:知识缺口任务

知识缺口用于记录未命中、答案不准、引用错误、资料缺失等问题。

序号流程节点说明
1生成缺口来自问答反馈、检索评测或人工新增。
2补充资料运营人员查找或新增资料。
3关联素材把资料转为素材或关联已有素材。
4生成草稿形成可审核的知识草稿。
5关闭缺口发布入库并验证后完成。
处理结果说明
缺口关闭问题已补齐并通过验证。
资料不足缺口保持待补充状态。

8. 入口六:文件上传、预检查与正式入库

正式文件入库适用于已经确认质量、需要直接参与检索问答的知识文档。

序号流程节点说明
1上传文件选择待入库知识文件。
2预检查检查格式、重复、分类、内容有效性和风险。
3确认入库管理员确认后创建入库任务。
4处理任务系统解析、切分、向量化并记录进度。
5验证结果通过检索和问答测试确认生效。
处理结果说明
入库成功正式知识进入检索和问答链路。
预检查失败按提示修复后重新上传。
任务失败查看任务历史和失败原因。

9. 素材生命周期与操作控制

状态说明允许操作
待处理素材已进入素材池,等待人工判断。查看、编辑、忽略、生成草稿。
已处理素材已生成草稿或进入后续流程。查看、追踪关联草稿。
已忽略确认不进入知识生产流程。查看、必要时恢复。
异常采集、解析或保存过程中出现问题。查看原因、重新处理。

10. 草稿生命周期与操作控制

阶段系统/人工动作下一步
生成草稿从素材、缺口或网页内容生成可编辑草稿。补充标题、分类、正文和来源说明。
质量检查检查内容完整性、格式规范、重复风险和可读性。通过后提交审核,不通过则修改。
人工审核审核草稿是否可发布为正式知识。通过后发布,驳回后修改。
发布发布为正式知识。进入正式入库任务。
入库验证检索和问答测试验证生效。通过后关闭相关素材/缺口。

11. 正式入库、检索与问答验证

环节说明验证方式
解析读取正式知识内容并识别标题、分类和正文结构。检查文档预览和片段数量。
切分按语义和长度拆分为知识片段。查看片段是否完整、是否过短或过长。
向量化为知识片段生成语义索引。查看向量覆盖和任务成功率。
检索生效启用文档参与检索。用知识库检索验证召回。
问答生效智能问答引用相关知识生成答案。查看回答正文、引用来源和反馈。

12. 异常治理与清理规则

入库失败应优先查看任务历史和失败原因,不建议直接重复上传。

重复、过期、错误或污染知识应先禁用,再根据情况清理或重新发布。

清理前应执行预览或扫描,确认不会影响仍在使用的有效知识。

13. 验收清单

验收项通过标准
入口覆盖反馈、手动素材、来源文件、网页采集、缺口任务、正式文件入库均有说明。
流程一致素材、草稿、质检、审核、发布、入库、检索问答流程统一。
状态明确每个节点都有状态、结果和下一步处理建议。
质量可控未经审核的内容不会直接进入正式检索链路。
脱敏合规文档不包含内部路径、接口、数据库表名、账号、密钥、域名或部署细节。

14. 最终完整闭环

最终闭环为:数据来源进入素材池,经过草稿加工、质量检查和人工审核后发布为正式知识;正式知识完成入库后参与检索与问答;用户反馈和评测结果再回到数据建设模块,持续补充、修正和优化知识库。