数据建设与自动入库
1. 总体原则与统一流程
普通数据来源统一先进入素材池,不直接进入正式知识库。
正式知识建议经过“素材 → 草稿 → 质检 → 审核 → 发布 → 入库 → 检索问答”流程。
问答页只提交反馈,不直接把回答写入正式知识库。
正式文件入库保留为管理员入口,适用于已确认质量的文档、历史资料迁移和紧急补充。
所有关键环节应保留任务、状态和处理记录,方便追踪与复盘。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 数据来源 | 来自反馈、人工新增、来源文件、网页采集、缺口补充或正式文件上传。 |
| 2 | 素材池 | 保存未审核的原始资料,可编辑、忽略或生成草稿。 |
| 3 | 知识草稿 | 对素材进行结构化加工,补充标题、分类、正文和来源说明。 |
| 4 | 质量检查 | 检查内容完整性、重复性、格式和可读性。 |
| 5 | 人工审核 | 由知识库维护人员或管理员确认是否可发布。 |
| 6 | 发布正式知识 | 审核通过后发布为正式知识文件或正式知识记录。 |
| 7 | 正式入库 | 生成知识片段和语义索引,进入检索链路。 |
| 8 | 问答验证 | 通过知识库检索、智能问答和检索评测验证效果。 |
2. 数据入口总览
| 入口 | 进入位置 | 是否直接参与检索 | 后续流程 | 结果 |
|---|---|---|---|---|
| 问答反馈 | 反馈处理后进入素材或缺口 | 否 | 运营判断 → 素材/缺口 → 草稿流程 | 高价值反馈沉淀为可审核知识。 |
| 手动新增素材 | 素材池 | 否 | 生成草稿 → 质检 → 审核 → 发布 | 人工整理资料进入标准流程。 |
| 来源文件扫描 | 扫描结果进入素材池 | 否 | 筛选有效资料 → 草稿流程 | 批量采集原始资料。 |
| 网页来源采集 | 采集结果进入素材池 | 否 | 解析网页 → 草稿流程 | 把网页内容转为可治理资料。 |
| 知识缺口任务 | 缺口列表 | 否 | 补资料 → 素材或草稿 | 补齐未命中或不准确问题。 |
| 正式文件入库 | 知识库管理入口 | 是 | 预检查 → 入库任务 → 检索验证 | 确认质量的正式文档参与问答。 |
3. 入口一:问答反馈采集
用户在问答结果中提交反馈。运营人员在反馈列表中判断是否进入数据建设。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 用户提问 | 系统生成回答并展示引用。 |
| 2 | 提交反馈 | 用户选择有用、无用、引用错误、答案不准或需要补资料。 |
| 3 | 运营处理 | 查看问题、回答、引用和反馈说明。 |
| 4 | 进入数据建设 | 根据反馈类型生成素材或知识缺口。 |
| 5 | 后续处理 | 进入素材或缺口流程,最终可形成正式知识。 |
| 处理结果 | 说明 |
|---|---|
| 有用反馈 | 可转为素材,沉淀为标准知识。 |
| 无用/不准 | 可转为缺口任务,要求补充资料或修正文档。 |
| 引用错误 | 定位来源问题,触发文档修正或禁用处理。 |
4. 入口二:手动新增素材
手动新增素材适用于人工整理的临时说明、经验总结、配置记录、错误处理笔记等。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 新增素材 | 填写标题、分类、来源说明和正文。 |
| 2 | 保存素材 | 素材进入待处理状态。 |
| 3 | 生成草稿 | 选择有效素材生成知识草稿。 |
| 4 | 质检审核 | 检查内容质量并提交审核。 |
| 5 | 发布入库 | 审核通过后发布并进入正式入库。 |
| 处理结果 | 说明 |
|---|---|
| 保存成功 | 素材可查看、编辑、忽略或生成草稿。 |
| 内容不完整 | 需补充标题、分类或正文。 |
5. 入口三:来源文件扫描
来源文件扫描用于批量发现原始资料。扫描结果进入素材池,不直接参与检索。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 执行扫描 | 管理员选择扫描范围或触发定时扫描。 |
| 2 | 文件识别 | 系统识别支持的文档类型和基础信息。 |
| 3 | 去重过滤 | 跳过重复、空内容或不支持的文件。 |
| 4 | 生成素材 | 有效内容进入素材池。 |
| 5 | 查看历史 | 管理员可查看扫描结果和异常原因。 |
| 处理结果 | 说明 |
|---|---|
| 扫描成功 | 新增有效素材并记录扫描结果。 |
| 重复跳过 | 系统提示重复或已处理。 |
| 读取失败 | 记录失败原因,待人工处理。 |
6. 入口四:网页来源采集
网页来源采集用于把指定网页内容采集为可治理资料。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 提交网页来源 | 录入网页标题、地址或来源说明。 |
| 2 | 内容解析 | 系统提取页面正文和关键信息。 |
| 3 | 内容预览 | 人工检查是否采集完整。 |
| 4 | 进入素材池 | 确认有效后进入素材流程。 |
| 5 | 草稿加工 | 对内容进行规范化整理。 |
| 处理结果 | 说明 |
|---|---|
| 采集成功 | 网页内容进入素材池。 |
| 解析不完整 | 需要人工补充或重新采集。 |
| 不可访问 | 检查网页权限、网络或地址有效性。 |
7. 入口五:知识缺口任务
知识缺口用于记录未命中、答案不准、引用错误、资料缺失等问题。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 生成缺口 | 来自问答反馈、检索评测或人工新增。 |
| 2 | 补充资料 | 运营人员查找或新增资料。 |
| 3 | 关联素材 | 把资料转为素材或关联已有素材。 |
| 4 | 生成草稿 | 形成可审核的知识草稿。 |
| 5 | 关闭缺口 | 发布入库并验证后完成。 |
| 处理结果 | 说明 |
|---|---|
| 缺口关闭 | 问题已补齐并通过验证。 |
| 资料不足 | 缺口保持待补充状态。 |
8. 入口六:文件上传、预检查与正式入库
正式文件入库适用于已经确认质量、需要直接参与检索问答的知识文档。
| 序号 | 流程节点 | 说明 |
|---|---|---|
| 1 | 上传文件 | 选择待入库知识文件。 |
| 2 | 预检查 | 检查格式、重复、分类、内容有效性和风险。 |
| 3 | 确认入库 | 管理员确认后创建入库任务。 |
| 4 | 处理任务 | 系统解析、切分、向量化并记录进度。 |
| 5 | 验证结果 | 通过检索和问答测试确认生效。 |
| 处理结果 | 说明 |
|---|---|
| 入库成功 | 正式知识进入检索和问答链路。 |
| 预检查失败 | 按提示修复后重新上传。 |
| 任务失败 | 查看任务历史和失败原因。 |
9. 素材生命周期与操作控制
| 状态 | 说明 | 允许操作 |
|---|---|---|
| 待处理 | 素材已进入素材池,等待人工判断。 | 查看、编辑、忽略、生成草稿。 |
| 已处理 | 素材已生成草稿或进入后续流程。 | 查看、追踪关联草稿。 |
| 已忽略 | 确认不进入知识生产流程。 | 查看、必要时恢复。 |
| 异常 | 采集、解析或保存过程中出现问题。 | 查看原因、重新处理。 |
10. 草稿生命周期与操作控制
| 阶段 | 系统/人工动作 | 下一步 |
|---|---|---|
| 生成草稿 | 从素材、缺口或网页内容生成可编辑草稿。 | 补充标题、分类、正文和来源说明。 |
| 质量检查 | 检查内容完整性、格式规范、重复风险和可读性。 | 通过后提交审核,不通过则修改。 |
| 人工审核 | 审核草稿是否可发布为正式知识。 | 通过后发布,驳回后修改。 |
| 发布 | 发布为正式知识。 | 进入正式入库任务。 |
| 入库验证 | 检索和问答测试验证生效。 | 通过后关闭相关素材/缺口。 |
11. 正式入库、检索与问答验证
| 环节 | 说明 | 验证方式 |
|---|---|---|
| 解析 | 读取正式知识内容并识别标题、分类和正文结构。 | 检查文档预览和片段数量。 |
| 切分 | 按语义和长度拆分为知识片段。 | 查看片段是否完整、是否过短或过长。 |
| 向量化 | 为知识片段生成语义索引。 | 查看向量覆盖和任务成功率。 |
| 检索生效 | 启用文档参与检索。 | 用知识库检索验证召回。 |
| 问答生效 | 智能问答引用相关知识生成答案。 | 查看回答正文、引用来源和反馈。 |
12. 异常治理与清理规则
入库失败应优先查看任务历史和失败原因,不建议直接重复上传。
重复、过期、错误或污染知识应先禁用,再根据情况清理或重新发布。
清理前应执行预览或扫描,确认不会影响仍在使用的有效知识。
13. 验收清单
| 验收项 | 通过标准 |
|---|---|
| 入口覆盖 | 反馈、手动素材、来源文件、网页采集、缺口任务、正式文件入库均有说明。 |
| 流程一致 | 素材、草稿、质检、审核、发布、入库、检索问答流程统一。 |
| 状态明确 | 每个节点都有状态、结果和下一步处理建议。 |
| 质量可控 | 未经审核的内容不会直接进入正式检索链路。 |
| 脱敏合规 | 文档不包含内部路径、接口、数据库表名、账号、密钥、域名或部署细节。 |
14. 最终完整闭环
最终闭环为:数据来源进入素材池,经过草稿加工、质量检查和人工审核后发布为正式知识;正式知识完成入库后参与检索与问答;用户反馈和评测结果再回到数据建设模块,持续补充、修正和优化知识库。