362 lines
38 KiB
JSON
362 lines
38 KiB
JSON
|
{
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"answer": "在自助式数据分析的过程中，确保数据二次处理阶段和最终发布阶段的数据高可用性和可验证性至关重要。以下是从事件信息和段落信息中提取的关键点，帮助理解如何实现这一目标：\n\n### 数据二次处理阶段的数据高可用性和可验证性\n\n1. **主数据识别**：采用多因素分析方法，如结合主数据的特征，提炼共享性、权威性、稳定性、高价值性等识别因素，通过量化分析（如UC矩阵法）来判断数据的共享程度。这有助于识别具有高可用性和可验证性的主数据。\n\n2. **主数据标准**：主数据标准化是关键步骤，它基于对业务流程的深入分析，确保数据规范、质量校核准确、应用分析高效。通过定义数据的基本单元和标准设计，可以提高数据的可靠性和一致性。\n\n3. **数据研发管理**：采用自动化数据流水线，包括需求管理、设计管理、数据开发等环节。通过这些流程，可以确保数据需求的准确捕获、设计的规范化、开发的高效执行，从而保证数据的质量和可用性。\n\n4. **数据自动化交付部署**：利用自动化部署发布流程，确保数据交付过程中的版本控制、环境管理、代码版本管理等，保证数据在各阶段的可用性和可追溯性。\n\n5. **测试管理**：实施自动化测试，包括单元测试和集成测试，提前发现并解决问题，确保数据质量和可靠性。\n\n### 最终发布阶段的数据高可用性和可验证性\n\n1. **配置管理**：通过版本控制和环境管理，确保数据在发布前的稳定性和一致性。这包括代码版本管理和数据版本管理，确保数据随时可用且可验证。\n\n2. **数据运维**：构建监控体系，实时监测数据研发全链路的运行情况和数据质量。通过可视化方式展现，便于快速定位和解决问题，保持数据的持续可用性。\n\n3. **安全管控**：实施全面的风险管理和安全测试策略，确保数据在全生命周期内受到有效保护。这包括风险识别、风险预测、合规审核等，防止数据泄露和不当使用。\n\n4. **数据产品经营**：确保公共数据产品被合理合规应用，通过协议等方式与应用方约定数据产品的用途。尽管数据产品一旦离开运营主体的控制环境，其应用的监测和监管变得困难，但仍需建立业务流程规范，确保数据应用的合法性。\n\n### 结论\n\n综上所述，确保数据二次处理阶段和最终发布阶段的数据高可用性和可验证性，需要通过主数据识别和标准化、自动化数据流水线、严格的测试和配置管理、全面的数据运维和安全管控策略，以及合理的数据产品经营规范。这些措施共同作用，旨在构建一个高效、可靠、安全的数据生态系统，最大程度地释放数据的价值，支持经济高质量发展。",
|
|||
|
|
"query_complexity": {
|
|||
|
|
"is_complex": true,
|
|||
|
|
"complexity_level": "complex",
|
|||
|
|
"confidence": 0.95,
|
|||
|
|
"reason": "这是一个复杂查询，因为它涉及到多方面的知识和分析。用户询问了如何确保数据处理到发布过程中的高可用性和可验证性，这不仅需要理解数据处理的技术细节，还需要考虑数据管理、安全性、合规性等多个方面。因此，需要生成多个子查询来分别探讨这些不同角度的问题，以全面回答用户的需求。"
|
|||
|
|
},
|
|||
|
|
"is_complex_query": true,
|
|||
|
|
"retrieval_path": "complex_hipporag",
|
|||
|
|
"iterations": 0,
|
|||
|
|
"total_passages": 15,
|
|||
|
|
"sub_queries": [
|
|||
|
|
"在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"在自助式数据分析的过程中，如何确保最终发布阶段的数据高可用性和可验证性？"
|
|||
|
|
],
|
|||
|
|
"decomposed_sub_queries": [
|
|||
|
|
"在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"在自助式数据分析的过程中，如何确保最终发布阶段的数据高可用性和可验证性？"
|
|||
|
|
],
|
|||
|
|
"initial_retrieval_details": {},
|
|||
|
|
"sufficiency_check": {
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"reason": "事件信息和段落信息包含了回答查询所需的关键内容...",
|
|||
|
|
"iteration": 0
|
|||
|
|
},
|
|||
|
|
"current_sub_queries": [],
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"all_documents": [
|
|||
|
|
{
|
|||
|
|
"page_content": "数据需求方主动通过自助分析平台进行数据探查",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.013953947692650778,
|
|||
|
|
"edge_score": 1.6553365,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 1,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "主数据的唯一性、稳定性、长期性",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "89ff682ea7f5892af772742fa40054b9793fb8ecee1e42fde050613db20d46e1",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.01259946972138739,
|
|||
|
|
"edge_score": 1.6597034,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 2,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "进一步进行主数据的识别确认",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "25c80e79f1d7603faa15f8eda1ff9413c08418d8db1c28b1359d0d4dac578b7e",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.01259946972138739,
|
|||
|
|
"edge_score": 1.6597034,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 3,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "数据资源获取环节需经过审核确认",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "4ec9b70a0c88cabf2a97f56855885942f7afcdf58e21ba6c812d03f1dc4c684b",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.007832023397397733,
|
|||
|
|
"edge_score": 1.6410435,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 4,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "主数据的一致性和准确性",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "d692782f95c006adcd9eb79ebad2e92304fec01aed3de410cbc41a0a89941fe0",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0070643257042329625,
|
|||
|
|
"edge_score": 1.6549647,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 5,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "（2）基础数据：是组织业务经营活动发生的依托，属于基础数据的 范畴。 （3）重复使用：被组织多个业务部门、多个系统之间共享。 ### 2、主数据属性识别 组织通常会使用各种统计学方法来进行主数据的识别，最常见的一种 为多因素分析方法，即结合主数据的特征，提炼主数据的共享性、权威 性、稳定性、高价值性等识别因素，判别因素的符合程度（符合、不符 合），确定主数据范围。例如，根据主数据的共享性，可采用UC矩阵法可以定量判断数据的 共享程度，即用U（Use）和C（Create）来表示数据的使用和产生情 况，识别同一类数据由多少个源头创建，由多少个系统共享。以下为某金 融行业企业主数据识别定量分析UC矩阵示例。 | 数据名称 | 核心系统 | ECIF系统 | 人力资源系统 | 信用卡系统 | 零售信贷系统 | 机构管理信息系统 | ....... | 客户数据 | U | C | / | U | U | / | | 机构数据 | U | U | C | U | U | C | | 员工信息 | U | U | C | U | U | / | | 存单信息 | C | / | / | / | / | / | 进一步地，可根据主数据的唯一性、稳定性、长期性等特点进一步进 行主数据的识别确认。 | 序号 | 数据名称 | 共享性 | 唯一性 | 稳定性 | 长期性 | 是否主数据 | 1 | 客户数据A | 符合 | 符合 | 符合 | 符合 | 是 | 2 | 机构数据B | 符合 | 符合 | 符合 | 符合 | 是 | 3 | 交易数据C | 符合 | 符合 | 不符合 | 符合 | 否 | 4 | 指标数据D | 符合 | 符合 | 不符合 | 不符合 | 否 ## （二）主数据标准 主数据标准化是建立在对业务流程分析基础之上，是信息共享的前提 和基础。主数据标准是定义数据的基本单元，通过数据标准定义实现组织 数据规范、数据质量校核准确、应用分析高效。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "1b4b7b4482b5b11ce2315db34bd3adda8d8526c0cc36297c8c61a272df311702",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.03817414937385857,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.1908485689,
|
|||
|
|
"rank": 6,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.03096934940927036,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.1851585318,
|
|||
|
|
"rank": 7,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.02343269405297753,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.18840284429999998,
|
|||
|
|
"rank": 8,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "提升数据开发利用水平",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "91f8b07a2c271624e3fe23ae43dabe330d97953fa8e33a56f5fb2951d24ada5a",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.014149352403392906,
|
|||
|
|
"edge_score": 1.6541835,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 2,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "还需对数据加工使用产生的公共数据产品进行合规审核",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "682a2cdcb773b04b1e49c61fee110e3bd0143babe7910c47ce29118be791f0b9",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.013412067675108268,
|
|||
|
|
"edge_score": 1.6527342,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 3,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "未经审核的公共数据产品不会直接进入市场交易流通",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "97128a306d10cb03ebd4348ca4df07f1f8933c10038b4f1254f07be9f1e70de9",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.013412067675108268,
|
|||
|
|
"edge_score": 1.6527342,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 4,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "在安全、合规、规范等方面不断完善",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "8602668fda84239cd719c5ab0047d24739c1fd37263836293c0bcc98fae0b1fd",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.011546697592296942,
|
|||
|
|
"edge_score": 1.6541835,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 5,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "而若是 运营主体获得“全量数据”的运营权，无需通过场景审批，则需确保 “全量数据”覆盖的范围满足分类分级的安全管理要求和数据开发利 用要求。 其次是数据加工使用环节, 所有的数据分析处理操作均应满足运营协议的约定和数据安全保护要求, 包含但不限于原始数据不得泄露和不当使用等。一方面, 可通过加密、数据沙箱、隐私计算、数据访 问控制等技术手段限定数据加工使用的方式和结果形态；另一方面， 还需对数据加工使用产生的公共数据产品进行合规审核，无论技术手 段如何配合，未经审核的公共数据产品直接进入市场交易流通，始终 会有安全合规风险。 最后是数据产品经营环节，如何确保公共数据产品被合理合规应 用仍是一大难点。多数运营主体也会通过协议等方式与应用方约定数 据产品的用途，但是，只要数据产品离开运营主体控制的技术安全环 境，这类的数据应用是无法被直接监测和监管的。例如，若应用方未 经允许，将获取到的数据集合类产品转手给其他企业并从中获利，必 将造成数据供给者的数据价值稀释，并可能引发严峻的数据安全事件。 因此，在上述环节均需针对性的建立业务流程规范。政府和公共 部门需对公共数据授权运营行为进行日常的监督管理，确保相关授权 运营严格遵守流程规范。 ## （三）供需充分对接需促进 可以看到，公共数据应用大量集中在公共服务治理以及金融借贷、 核保等少数典型场景中，因此，公共数据授权运营的核心难点在于充 分挖掘潜在应用场景，促进供需对接。 从供给角度来看，多数公共部门存在实际能汇聚、掌握的数据资 源体量不足，或受限于自身发展水平和重视程度不足，或受限于地方 与行业间的协同难度较大。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "d9db643259eaba630bddc947ca137dc3dfec24451793667a7d342f02b094b9f3",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.030451703045566724,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.1958237864,
|
|||
|
|
"rank": 7,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "由于政企数据处于不同的管理体系与管 理机制之下，不论是国家层面还是行业层面均缺乏统一的管理标准和 规范，难以有效贯通，影响数据的整体性。与此同时，由于数据治理 的总体水平尚在发展中，数据整体质量与利用价值相对有限，未能完 全发挥数据作用。并且，政企数据融合的安全保障也需要进一步升级。 从本质而言，当前各省、市、区（县）等地方分别探索公共数据授权 运营实际上也是一种分割，但由于缺乏明确的激励机制目前难以实现 整合应用，还需要通过政策或举措实现有效的促进。 尽管面临困难和挑战，政企数据融合开发也已经起步，形成了一 系列应用成果，例如结合人群监控数据与运营商实时位置数据的智慧 安防应用、结合跨域交通数据与货运信息数据的物流管理应用、结合 集采数据与集采协议数据的供应链金融应用等等。面向政企数据要素 流通，应推进解决各类问题，在安全、合规、规范等方面不断完善， 提升数据开发利用水平，以充分释放数据价值，培育新增长点，发展 壮大数字经济，促进经济高质量发展。 # 五、公共数据授权运营推进要点 在当前的政策背景下，各地方要开展公共数据授权运营，需要从 顶层出发，根据当地实际情况规划公共数据授权运营体系，在明确发 展目标与推进方向的基础上，设计具体推进思路，通过细化的工作方 案落实各阶段的各项重点工作。从当前已经开展和正在推进公共数据 授权运营的地方及行业实践总结来看，主要从建设制度机制、设计实 施路径、打造运营平台、培育多元生态、推进成效优化五方面的工作 要点发力建设，从而按步骤逐步推进公共数据授权运营高效落地运转， 助力公共数据要素价值释放。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "049e6393f2f84a523c14648c3d2afed0ff465fd35d05026dd33172bbb0af4aa3",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.02984718391147832,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.1835100036,
|
|||
|
|
"rank": 8,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "对个性定制化数据进行分析，评估潜在共享价值，提炼共性数据内容，进行共性、标准化改造后补增入数据开放清单",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "167a8715151d073fc973153bbb2a8244d5147543316be4ea8ac668c20c979151",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.014439245019706993,
|
|||
|
|
"edge_score": 1.6498475,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 2,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "在自助式数据分析的过程中，如何确保最终发布阶段的数据高可用性和可验证性？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"all_passages": [
|
|||
|
|
"数据需求方主动通过自助分析平台进行数据探查",
|
|||
|
|
"主数据的唯一性、稳定性、长期性",
|
|||
|
|
"进一步进行主数据的识别确认",
|
|||
|
|
"数据资源获取环节需经过审核确认",
|
|||
|
|
"主数据的一致性和准确性",
|
|||
|
|
"（2）基础数据：是组织业务经营活动发生的依托，属于基础数据的 范畴。 （3）重复使用：被组织多个业务部门、多个系统之间共享。 ### 2、主数据属性识别 组织通常会使用各种统计学方法来进行主数据的识别，最常见的一种 为多因素分析方法，即结合主数据的特征，提炼主数据的共享性、权威 性、稳定性、高价值性等识别因素，判别因素的符合程度（符合、不符 合），确定主数据范围。例如，根据主数据的共享性，可采用UC矩阵法可以定量判断数据的 共享程度，即用U（Use）和C（Create）来表示数据的使用和产生情 况，识别同一类数据由多少个源头创建，由多少个系统共享。以下为某金 融行业企业主数据识别定量分析UC矩阵示例。 | 数据名称 | 核心系统 | ECIF系统 | 人力资源系统 | 信用卡系统 | 零售信贷系统 | 机构管理信息系统 | ....... | 客户数据 | U | C | / | U | U | / | | 机构数据 | U | U | C | U | U | C | | 员工信息 | U | U | C | U | U | / | | 存单信息 | C | / | / | / | / | / | 进一步地，可根据主数据的唯一性、稳定性、长期性等特点进一步进 行主数据的识别确认。 | 序号 | 数据名称 | 共享性 | 唯一性 | 稳定性 | 长期性 | 是否主数据 | 1 | 客户数据A | 符合 | 符合 | 符合 | 符合 | 是 | 2 | 机构数据B | 符合 | 符合 | 符合 | 符合 | 是 | 3 | 交易数据C | 符合 | 符合 | 不符合 | 符合 | 否 | 4 | 指标数据D | 符合 | 符合 | 不符合 | 不符合 | 否 ## （二）主数据标准 主数据标准化是建立在对业务流程分析基础之上，是信息共享的前提 和基础。主数据标准是定义数据的基本单元，通过数据标准定义实现组织 数据规范、数据质量校核准确、应用分析高效。",
|
|||
|
|
"# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
|||
|
|
"# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
|||
|
|
"提升数据开发利用水平",
|
|||
|
|
"还需对数据加工使用产生的公共数据产品进行合规审核",
|
|||
|
|
"未经审核的公共数据产品不会直接进入市场交易流通",
|
|||
|
|
"在安全、合规、规范等方面不断完善",
|
|||
|
|
"而若是 运营主体获得“全量数据”的运营权，无需通过场景审批，则需确保 “全量数据”覆盖的范围满足分类分级的安全管理要求和数据开发利 用要求。 其次是数据加工使用环节, 所有的数据分析处理操作均应满足运营协议的约定和数据安全保护要求, 包含但不限于原始数据不得泄露和不当使用等。一方面, 可通过加密、数据沙箱、隐私计算、数据访 问控制等技术手段限定数据加工使用的方式和结果形态；另一方面， 还需对数据加工使用产生的公共数据产品进行合规审核，无论技术手 段如何配合，未经审核的公共数据产品直接进入市场交易流通，始终 会有安全合规风险。 最后是数据产品经营环节，如何确保公共数据产品被合理合规应 用仍是一大难点。多数运营主体也会通过协议等方式与应用方约定数 据产品的用途，但是，只要数据产品离开运营主体控制的技术安全环 境，这类的数据应用是无法被直接监测和监管的。例如，若应用方未 经允许，将获取到的数据集合类产品转手给其他企业并从中获利，必 将造成数据供给者的数据价值稀释，并可能引发严峻的数据安全事件。 因此，在上述环节均需针对性的建立业务流程规范。政府和公共 部门需对公共数据授权运营行为进行日常的监督管理，确保相关授权 运营严格遵守流程规范。 ## （三）供需充分对接需促进 可以看到，公共数据应用大量集中在公共服务治理以及金融借贷、 核保等少数典型场景中，因此，公共数据授权运营的核心难点在于充 分挖掘潜在应用场景，促进供需对接。 从供给角度来看，多数公共部门存在实际能汇聚、掌握的数据资 源体量不足，或受限于自身发展水平和重视程度不足，或受限于地方 与行业间的协同难度较大。",
|
|||
|
|
"由于政企数据处于不同的管理体系与管 理机制之下，不论是国家层面还是行业层面均缺乏统一的管理标准和 规范，难以有效贯通，影响数据的整体性。与此同时，由于数据治理 的总体水平尚在发展中，数据整体质量与利用价值相对有限，未能完 全发挥数据作用。并且，政企数据融合的安全保障也需要进一步升级。 从本质而言，当前各省、市、区（县）等地方分别探索公共数据授权 运营实际上也是一种分割，但由于缺乏明确的激励机制目前难以实现 整合应用，还需要通过政策或举措实现有效的促进。 尽管面临困难和挑战，政企数据融合开发也已经起步，形成了一 系列应用成果，例如结合人群监控数据与运营商实时位置数据的智慧 安防应用、结合跨域交通数据与货运信息数据的物流管理应用、结合 集采数据与集采协议数据的供应链金融应用等等。面向政企数据要素 流通，应推进解决各类问题，在安全、合规、规范等方面不断完善， 提升数据开发利用水平，以充分释放数据价值，培育新增长点，发展 壮大数字经济，促进经济高质量发展。 # 五、公共数据授权运营推进要点 在当前的政策背景下，各地方要开展公共数据授权运营，需要从 顶层出发，根据当地实际情况规划公共数据授权运营体系，在明确发 展目标与推进方向的基础上，设计具体推进思路，通过细化的工作方 案落实各阶段的各项重点工作。从当前已经开展和正在推进公共数据 授权运营的地方及行业实践总结来看，主要从建设制度机制、设计实 施路径、打造运营平台、培育多元生态、推进成效优化五方面的工作 要点发力建设，从而按步骤逐步推进公共数据授权运营高效落地运转， 助力公共数据要素价值释放。",
|
|||
|
|
"对个性定制化数据进行分析，评估潜在共享价值，提炼共性数据内容，进行共性、标准化改造后补增入数据开放清单"
|
|||
|
|
],
|
|||
|
|
"passage_sources": [
|
|||
|
|
"子查询1-event-cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
|||
|
|
"子查询1-event-89ff682ea7f5892af772742fa40054b9793fb8ecee1e42fde050613db20d46e1",
|
|||
|
|
"子查询1-event-25c80e79f1d7603faa15f8eda1ff9413c08418d8db1c28b1359d0d4dac578b7e",
|
|||
|
|
"子查询1-event-4ec9b70a0c88cabf2a97f56855885942f7afcdf58e21ba6c812d03f1dc4c684b",
|
|||
|
|
"子查询1-event-d692782f95c006adcd9eb79ebad2e92304fec01aed3de410cbc41a0a89941fe0",
|
|||
|
|
"子查询1-text-1b4b7b4482b5b11ce2315db34bd3adda8d8526c0cc36297c8c61a272df311702",
|
|||
|
|
"子查询1-text-b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
|||
|
|
"子查询1-text-21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
|||
|
|
"原始查询-event-91f8b07a2c271624e3fe23ae43dabe330d97953fa8e33a56f5fb2951d24ada5a",
|
|||
|
|
"原始查询-event-682a2cdcb773b04b1e49c61fee110e3bd0143babe7910c47ce29118be791f0b9",
|
|||
|
|
"原始查询-event-97128a306d10cb03ebd4348ca4df07f1f8933c10038b4f1254f07be9f1e70de9",
|
|||
|
|
"原始查询-event-8602668fda84239cd719c5ab0047d24739c1fd37263836293c0bcc98fae0b1fd",
|
|||
|
|
"原始查询-text-d9db643259eaba630bddc947ca137dc3dfec24451793667a7d342f02b094b9f3",
|
|||
|
|
"原始查询-text-049e6393f2f84a523c14648c3d2afed0ff465fd35d05026dd33172bbb0af4aa3",
|
|||
|
|
"子查询2-event-167a8715151d073fc973153bbb2a8244d5147543316be4ea8ac668c20c979151"
|
|||
|
|
],
|
|||
|
|
"pagerank_data_available": true,
|
|||
|
|
"pagerank_summary": {},
|
|||
|
|
"concept_exploration_results": {},
|
|||
|
|
"exploration_round": 0,
|
|||
|
|
"debug_info": {
|
|||
|
|
"total_time": 26.921006202697754,
|
|||
|
|
"retrieval_calls": 1,
|
|||
|
|
"llm_calls": 4,
|
|||
|
|
"langsmith_project": "rag-api-service",
|
|||
|
|
"token_usage_summary": {
|
|||
|
|
"has_llm": true,
|
|||
|
|
"has_generator": true,
|
|||
|
|
"last_call": {
|
|||
|
|
"prompt_tokens": 2889,
|
|||
|
|
"completion_tokens": 592,
|
|||
|
|
"total_tokens": 3481
|
|||
|
|
},
|
|||
|
|
"total_usage": {
|
|||
|
|
"prompt_tokens": 6885,
|
|||
|
|
"completion_tokens": 789,
|
|||
|
|
"total_tokens": 7674,
|
|||
|
|
"call_count": 4
|
|||
|
|
},
|
|||
|
|
"model_name": "qwen2-7b-instruct",
|
|||
|
|
"has_last_usage": true,
|
|||
|
|
"has_total_usage": true
|
|||
|
|
},
|
|||
|
|
"complexity_analysis": {
|
|||
|
|
"is_complex": true,
|
|||
|
|
"complexity_level": "complex",
|
|||
|
|
"confidence": 0.95,
|
|||
|
|
"reason": "这是一个复杂查询，因为它涉及到多方面的知识和分析。用户询问了如何确保数据处理到发布过程中的高可用性和可验证性，这不仅需要理解数据处理的技术细节，还需要考虑数据管理、安全性、合规性等多个方面。因此，需要生成多个子查询来分别探讨这些不同角度的问题，以全面回答用户的需求。"
|
|||
|
|
},
|
|||
|
|
"debug_mode_analysis": {
|
|||
|
|
"debug_mode": "0",
|
|||
|
|
"debug_override": {},
|
|||
|
|
"path_override_applied": false
|
|||
|
|
},
|
|||
|
|
"sufficiency_analysis": {
|
|||
|
|
"final_sufficiency": true,
|
|||
|
|
"sufficiency_check_details": {
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"reason": "事件信息和段落信息包含了回答查询所需的关键内容...",
|
|||
|
|
"iteration": 0
|
|||
|
|
},
|
|||
|
|
"iteration_sufficiency_history": [],
|
|||
|
|
"sufficiency_progression": {
|
|||
|
|
"status": "no_sufficiency_checks"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"routing_analysis": {
|
|||
|
|
"total_routing_decisions": 1,
|
|||
|
|
"sub_query_generation_count": 0,
|
|||
|
|
"parallel_retrieval_count": 0,
|
|||
|
|
"pagerank_collection_count": 0
|
|||
|
|
},
|
|||
|
|
"concept_exploration_analysis": {
|
|||
|
|
"exploration_enabled": false,
|
|||
|
|
"exploration_rounds": 0,
|
|||
|
|
"pagerank_nodes_analyzed": 0,
|
|||
|
|
"successful_branches_total": 0,
|
|||
|
|
"total_branches_attempted": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"iteration_history": [
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"query": "并行检索: 原始查询 + 2 个子查询",
|
|||
|
|
"passages_count": 15,
|
|||
|
|
"action": "retrieval"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"action": "sufficiency_check",
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"sub_queries_count": 0
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"action": "final_answer_generation",
|
|||
|
|
"answer_length": 1061
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
}
|