442 lines
58 KiB
JSON
442 lines
58 KiB
JSON
{
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"answer": "【检索结果汇总】\n\n查询问题：在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？\n\n检索到 20 个相关段落：\n\n【事件信息】\n\n事件1：数据需求方主动通过自助分析平台进行数据探查\n\n事件2：DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\n\n事件3：数据开发主要负责集成存储、实施、部署、维护数据解决方案，以及数据处理、加工、管理、使用，以提升数据资源价值。\n\n事件4：持续变革打造反馈机制，收集各环节堵点问题，并持续改进。\n\n事件5：自助分析提供自助式的数据二次处理。\n\n事件6：提升数据开发利用水平\n\n事件7：还需对数据加工使用产生的公共数据产品进行合规审核\n\n事件8：未经审核的公共数据产品不会直接进入市场交易流通\n\n事件9：在安全、合规、规范等方面不断完善\n\n事件10：专业数据分析与低门槛自助分析相结合\n\n事件11：充分利用并加速释放海量数据资源\n\n事件12：提升双随机成熟度\n\n事件13：同时也有利于提高数据的可用性和价值\n\n\n\n【段落信息】\n\n段落1：# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略\n\n段落2：# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题\n\n段落3：# 数据采集能力\\n\\n## 2024第三届数字化审计论坛\\n\\n深化技术应用，打造智审新篇\\n\\n### 灵活全面的采集方式\\n\\n| | | | |\\n\\n|---|---|---|---|\\n\\n| 企业大数据平台 | 线下数据导入审计平台 | 特色系统实现接口取数 | 非结构化文件数据转换 |\\n\\n| 已纳入企业大数据平台的数据实现应接尽接 | 线下收集数据前端导入审计平台，融入审计数据体系 | 未纳入企业大数据平台的特色系统与审计平台实现接口取数 | 审计平台集成 OCR、自然语言处理等工具，实现对常用非结构化文件的信息提取和转换 |\\n\\n### 采集内容\\n\\n企业内部**财务**数据、**业务**数据、**管理**数据的报表和明细数据\\n\\n企业外部**工商**信息、**行业**数据、**法律诉讼**信息、**物流**数据等有助于审计建模的外部数据\n\n段落4：而若是 运营主体获得“全量数据”的运营权，无需通过场景审批，则需确保 “全量数据”覆盖的范围满足分类分级的安全管理要求和数据开发利 用要求。 其次是数据加工使用环节, 所有的数据分析处理操作均应满足运营协议的约定和数据安全保护要求, 包含但不限于原始数据不得泄露和不当使用等。一方面, 可通过加密、数据沙箱、隐私计算、数据访 问控制等技术手段限定数据加工使用的方式和结果形态；另一方面， 还需对数据加工使用产生的公共数据产品进行合规审核，无论技术手 段如何配合，未经审核的公共数据产品直接进入市场交易流通，始终 会有安全合规风险。 最后是数据产品经营环节，如何确保公共数据产品被合理合规应 用仍是一大难点。多数运营主体也会通过协议等方式与应用方约定数 据产品的用途，但是，只要数据产品离开运营主体控制的技术安全环 境，这类的数据应用是无法被直接监测和监管的。例如，若应用方未 经允许，将获取到的数据集合类产品转手给其他企业并从中获利，必 将造成数据供给者的数据价值稀释，并可能引发严峻的数据安全事件。 因此，在上述环节均需针对性的建立业务流程规范。政府和公共 部门需对公共数据授权运营行为进行日常的监督管理，确保相关授权 运营严格遵守流程规范。 ## （三）供需充分对接需促进 可以看到，公共数据应用大量集中在公共服务治理以及金融借贷、 核保等少数典型场景中，因此，公共数据授权运营的核心难点在于充 分挖掘潜在应用场景，促进供需对接。 从供给角度来看，多数公共部门存在实际能汇聚、掌握的数据资 源体量不足，或受限于自身发展水平和重视程度不足，或受限于地方 与行业间的协同难度较大。\n\n段落5：由于政企数据处于不同的管理体系与管 理机制之下，不论是国家层面还是行业层面均缺乏统一的管理标准和 规范，难以有效贯通，影响数据的整体性。与此同时，由于数据治理 的总体水平尚在发展中，数据整体质量与利用价值相对有限，未能完 全发挥数据作用。并且，政企数据融合的安全保障也需要进一步升级。 从本质而言，当前各省、市、区（县）等地方分别探索公共数据授权 运营实际上也是一种分割，但由于缺乏明确的激励机制目前难以实现 整合应用，还需要通过政策或举措实现有效的促进。 尽管面临困难和挑战，政企数据融合开发也已经起步，形成了一 系列应用成果，例如结合人群监控数据与运营商实时位置数据的智慧 安防应用、结合跨域交通数据与货运信息数据的物流管理应用、结合 集采数据与集采协议数据的供应链金融应用等等。面向政企数据要素 流通，应推进解决各类问题，在安全、合规、规范等方面不断完善， 提升数据开发利用水平，以充分释放数据价值，培育新增长点，发展 壮大数字经济，促进经济高质量发展。 # 五、公共数据授权运营推进要点 在当前的政策背景下，各地方要开展公共数据授权运营，需要从 顶层出发，根据当地实际情况规划公共数据授权运营体系，在明确发 展目标与推进方向的基础上，设计具体推进思路，通过细化的工作方 案落实各阶段的各项重点工作。从当前已经开展和正在推进公共数据 授权运营的地方及行业实践总结来看，主要从建设制度机制、设计实 施路径、打造运营平台、培育多元生态、推进成效优化五方面的工作 要点发力建设，从而按步骤逐步推进公共数据授权运营高效落地运转， 助力公共数据要素价值释放。\n\n段落6：# 多样性算力需求不断提高，算力资源差异性成为发展限制因素 CAICT 中国信通院\\n\\n> 企业日益丰富的应用对于多样性算力的需求不断提高，计算密集型应用需要计算平台执行逻辑复杂的调度任务，而数据密集型应用则需严完成海量数据高并发处理，这使得单一计算平台难以适应业务要求，算力资源多样性发展成为必然。\\n\\n>\\n\\n> 受算力资源服务商类型、所处地理位置、架构差异性、资源类型等差异性因素制约，现阶段算力应用方式仍然多为指定单一资源进行利用，算力资源彼此之间互不感知，限制算力资源的流动。\\n\\n受算力资源使用方业务需求及提供方产品特性影响，GPU、NPU、DPU等异构智算平台持续向前迈进，“多样性”成为如今算力领域的显著特征。\\n\\n多样算力资源的差异化导致企业多样性算力资源使用成本过高，业务算力资源匹配困难，算力资源的流动性收到限制。\\n\\n使用方业务需求\\n\\n\\n\\n提供方产品特性\\n\\n\\n\\n多样性算力资源\\n\\n\\n\\n* 资源服务商类型差异\\n\\n* 地理位置差异\\n\\n* 架构差异\\n\\n* 资源类型差异\\n\\n难以满足使用方业务需求\\n\\n\\n\\n算力资源流动性受到限制\\n\\n\n\n段落7：# 业数融合不断深化，逐步由机构高层扩展到全域\\n\\n中国·北京 12.20-12.21 回归数据本质 应用驱动治理\\n\\n2023数据资产管理大会\\n\\n数据应用同业务融合的趋势显著，服务对象逐步由机构高层向机构全域转变，**普惠化、场景化、智能化**进程加速。\\n\\n### 服务高层\\n\\n* 依托专业的数据分析师、数据科学家\\n\\n* 用于企业高层的战略决策，周期较长\\n\\n* 采用专业化的数据分析工具，工具同业务流程分离\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱\\n\\n### 服务全域\\n\\n* 专业、深度的数据分析同低门槛自助分析结合\\n\\n* 轻量快速的决策中数据分析渗透率在不断提高\\n\\n* 数据分析工具逐步嵌入业务流程中\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱  自助式BI  移动端看板  AI助手\\n\\n\\n\\n\\n\\n参考：《数据分析应用能力分级要求》标准\n\n\n相关子查询：\n在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？、在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？\n\n检索统计：\n- 查询复杂度：{'is_complex': True, 'complexity_level': 'complex', 'confidence': 0.95, 'reason': '这是一个复杂查询，需要生成多方面的多个子查询来回答。查询涉及到自助式数据分析过程中的数据管理和质量保证，需要考虑数据处理的各个阶段（包括二次处理和最终发布），并关注数据的高可用性和可验证性。这不仅需要对数据分析流程有深入理解，还需要了解数据管理的最佳实践、数据质量控制方法以及可能的数据验证技术。因此，回答此查询需要构建一系列子查询，分别针对数据处理的不同方面、可用性指标、验证方法等进行详细分析。'}\n- 是否复杂查询：True\n- 迭代次数：0\n- 信息充分性：True\n",
|
||
"query_complexity": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。查询涉及到自助式数据分析过程中的数据管理和质量保证，需要考虑数据处理的各个阶段（包括二次处理和最终发布），并关注数据的高可用性和可验证性。这不仅需要对数据分析流程有深入理解，还需要了解数据管理的最佳实践、数据质量控制方法以及可能的数据验证技术。因此，回答此查询需要构建一系列子查询，分别针对数据处理的不同方面、可用性指标、验证方法等进行详细分析。"
|
||
},
|
||
"is_complex_query": true,
|
||
"retrieval_path": "complex_hipporag",
|
||
"iterations": 0,
|
||
"total_passages": 20,
|
||
"sub_queries": [
|
||
"在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？"
|
||
],
|
||
"decomposed_sub_queries": [
|
||
"在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？"
|
||
],
|
||
"initial_retrieval_details": {},
|
||
"sufficiency_check": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps的数据流水线、数据研发管理、数据交付管理、数据运维和价值运营的各个环节，以及自助分析、数据二次处理、合规审核、数据加工使用、公共数据产品等，这些内容有助于确保数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性。",
|
||
"iteration": 0
|
||
},
|
||
"current_sub_queries": [],
|
||
"is_sufficient": true,
|
||
"all_documents": [
|
||
{
|
||
"page_content": "数据需求方主动通过自助分析平台进行数据探查",
|
||
"metadata": {
|
||
"node_id": "cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
||
"node_type": "event",
|
||
"ppr_score": 0.04013395354279059,
|
||
"edge_score": 1.6544473,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||
"metadata": {
|
||
"node_id": "fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004154830923841822,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据开发主要负责集成存储、实施、部署、维护数据解决方案，以及数据处理、加工、管理、使用，以提升数据资源价值。",
|
||
"metadata": {
|
||
"node_id": "a8e425ff3aa5f8bd29548f9c4130dfed6453d9cf9cc299df160f13b7b51f96f8",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00271860278323168,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "持续变革打造反馈机制，收集各环节堵点问题，并持续改进。",
|
||
"metadata": {
|
||
"node_id": "ab8889b01ec13cd76620e850642bb3af5b76b48ede851dac4eae3f4079dc524f",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00271860278323168,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "自助分析提供自助式的数据二次处理。",
|
||
"metadata": {
|
||
"node_id": "fc93749624bb981c739de329a2202546d88ffa6f6664589d8e8ecadfdef7ec1c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002668797109410988,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"metadata": {
|
||
"node_id": "b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"node_type": "text",
|
||
"ppr_score": 0.08693630741819439,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.186425789,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"metadata": {
|
||
"node_id": "21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"node_type": "text",
|
||
"ppr_score": 0.06693014848604406,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.1908340973,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 数据采集能力\\n\\n## 2024第三届数字化审计论坛\\n\\n深化技术应用，打造智审新篇\\n\\n### 灵活全面的采集方式\\n\\n| | | | |\\n\\n|---|---|---|---|\\n\\n| 企业大数据平台 | 线下数据导入审计平台 | 特色系统实现接口取数 | 非结构化文件数据转换 |\\n\\n| 已纳入企业大数据平台的数据实现应接尽接 | 线下收集数据前端导入审计平台，融入审计数据体系 | 未纳入企业大数据平台的特色系统与审计平台实现接口取数 | 审计平台集成 OCR、自然语言处理等工具，实现对常用非结构化文件的信息提取和转换 |\\n\\n### 采集内容\\n\\n企业内部**财务**数据、**业务**数据、**管理**数据的报表和明细数据\\n\\n企业外部**工商**信息、**行业**数据、**法律诉讼**信息、**物流**数据等有助于审计建模的外部数据",
|
||
"metadata": {
|
||
"node_id": "2663ac70290c40f3d0c6deb1785e335dd0ada7c209487a6b4fea3604d544c936",
|
||
"node_type": "text",
|
||
"ppr_score": 0.006387144958678618,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.19176612399999998,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提升数据开发利用水平",
|
||
"metadata": {
|
||
"node_id": "91f8b07a2c271624e3fe23ae43dabe330d97953fa8e33a56f5fb2951d24ada5a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.014149352403392906,
|
||
"edge_score": 1.6541835,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "还需对数据加工使用产生的公共数据产品进行合规审核",
|
||
"metadata": {
|
||
"node_id": "682a2cdcb773b04b1e49c61fee110e3bd0143babe7910c47ce29118be791f0b9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.013412067675108268,
|
||
"edge_score": 1.6527342,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "未经审核的公共数据产品不会直接进入市场交易流通",
|
||
"metadata": {
|
||
"node_id": "97128a306d10cb03ebd4348ca4df07f1f8933c10038b4f1254f07be9f1e70de9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.013412067675108268,
|
||
"edge_score": 1.6527342,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "在安全、合规、规范等方面不断完善",
|
||
"metadata": {
|
||
"node_id": "8602668fda84239cd719c5ab0047d24739c1fd37263836293c0bcc98fae0b1fd",
|
||
"node_type": "event",
|
||
"ppr_score": 0.011546697592296942,
|
||
"edge_score": 1.6541835,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "而若是 运营主体获得“全量数据”的运营权，无需通过场景审批，则需确保 “全量数据”覆盖的范围满足分类分级的安全管理要求和数据开发利 用要求。 其次是数据加工使用环节, 所有的数据分析处理操作均应满足运营协议的约定和数据安全保护要求, 包含但不限于原始数据不得泄露和不当使用等。一方面, 可通过加密、数据沙箱、隐私计算、数据访 问控制等技术手段限定数据加工使用的方式和结果形态；另一方面， 还需对数据加工使用产生的公共数据产品进行合规审核，无论技术手 段如何配合，未经审核的公共数据产品直接进入市场交易流通，始终 会有安全合规风险。 最后是数据产品经营环节，如何确保公共数据产品被合理合规应 用仍是一大难点。多数运营主体也会通过协议等方式与应用方约定数 据产品的用途，但是，只要数据产品离开运营主体控制的技术安全环 境，这类的数据应用是无法被直接监测和监管的。例如，若应用方未 经允许，将获取到的数据集合类产品转手给其他企业并从中获利，必 将造成数据供给者的数据价值稀释，并可能引发严峻的数据安全事件。 因此，在上述环节均需针对性的建立业务流程规范。政府和公共 部门需对公共数据授权运营行为进行日常的监督管理，确保相关授权 运营严格遵守流程规范。 ## （三）供需充分对接需促进 可以看到，公共数据应用大量集中在公共服务治理以及金融借贷、 核保等少数典型场景中，因此，公共数据授权运营的核心难点在于充 分挖掘潜在应用场景，促进供需对接。 从供给角度来看，多数公共部门存在实际能汇聚、掌握的数据资 源体量不足，或受限于自身发展水平和重视程度不足，或受限于地方 与行业间的协同难度较大。",
|
||
"metadata": {
|
||
"node_id": "d9db643259eaba630bddc947ca137dc3dfec24451793667a7d342f02b094b9f3",
|
||
"node_type": "text",
|
||
"ppr_score": 0.030451703045566724,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.1958237864,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "由于政企数据处于不同的管理体系与管 理机制之下，不论是国家层面还是行业层面均缺乏统一的管理标准和 规范，难以有效贯通，影响数据的整体性。与此同时，由于数据治理 的总体水平尚在发展中，数据整体质量与利用价值相对有限，未能完 全发挥数据作用。并且，政企数据融合的安全保障也需要进一步升级。 从本质而言，当前各省、市、区（县）等地方分别探索公共数据授权 运营实际上也是一种分割，但由于缺乏明确的激励机制目前难以实现 整合应用，还需要通过政策或举措实现有效的促进。 尽管面临困难和挑战，政企数据融合开发也已经起步，形成了一 系列应用成果，例如结合人群监控数据与运营商实时位置数据的智慧 安防应用、结合跨域交通数据与货运信息数据的物流管理应用、结合 集采数据与集采协议数据的供应链金融应用等等。面向政企数据要素 流通，应推进解决各类问题，在安全、合规、规范等方面不断完善， 提升数据开发利用水平，以充分释放数据价值，培育新增长点，发展 壮大数字经济，促进经济高质量发展。 # 五、公共数据授权运营推进要点 在当前的政策背景下，各地方要开展公共数据授权运营，需要从 顶层出发，根据当地实际情况规划公共数据授权运营体系，在明确发 展目标与推进方向的基础上，设计具体推进思路，通过细化的工作方 案落实各阶段的各项重点工作。从当前已经开展和正在推进公共数据 授权运营的地方及行业实践总结来看，主要从建设制度机制、设计实 施路径、打造运营平台、培育多元生态、推进成效优化五方面的工作 要点发力建设，从而按步骤逐步推进公共数据授权运营高效落地运转， 助力公共数据要素价值释放。",
|
||
"metadata": {
|
||
"node_id": "049e6393f2f84a523c14648c3d2afed0ff465fd35d05026dd33172bbb0af4aa3",
|
||
"node_type": "text",
|
||
"ppr_score": 0.02984718391147832,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.1835100036,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保从数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "专业数据分析与低门槛自助分析相结合",
|
||
"metadata": {
|
||
"node_id": "9b6ae677b15bc21f5c8a3d64656577f5d741f31196347a87bc22d4562bbe596d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.013432186332739574,
|
||
"edge_score": 1.6617332,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "充分利用并加速释放海量数据资源",
|
||
"metadata": {
|
||
"node_id": "5184849aa97b66a62a4dbd110376519636d426094e258c5c7be538a2d4db6dcd",
|
||
"node_type": "event",
|
||
"ppr_score": 0.011336249501322554,
|
||
"edge_score": 1.6520911,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提升双随机成熟度",
|
||
"metadata": {
|
||
"node_id": "0a9ca815cb651c99bd09982caf8420ebe045880dac8053f3e3b85c44b6e4d5f7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0112796882532171,
|
||
"edge_score": 1.6503388,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "同时也有利于提高数据的可用性和价值",
|
||
"metadata": {
|
||
"node_id": "7e3145fffebb153d32cc4171cedcdfeec729e4dfeffc68e1dc33c7cbad57129c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.011172726379595757,
|
||
"edge_score": 1.6582851,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 多样性算力需求不断提高，算力资源差异性成为发展限制因素 CAICT 中国信通院\\n\\n> 企业日益丰富的应用对于多样性算力的需求不断提高，计算密集型应用需要计算平台执行逻辑复杂的调度任务，而数据密集型应用则需严完成海量数据高并发处理，这使得单一计算平台难以适应业务要求，算力资源多样性发展成为必然。\\n\\n>\\n\\n> 受算力资源服务商类型、所处地理位置、架构差异性、资源类型等差异性因素制约，现阶段算力应用方式仍然多为指定单一资源进行利用，算力资源彼此之间互不感知，限制算力资源的流动。\\n\\n受算力资源使用方业务需求及提供方产品特性影响，GPU、NPU、DPU等异构智算平台持续向前迈进，“多样性”成为如今算力领域的显著特征。\\n\\n多样算力资源的差异化导致企业多样性算力资源使用成本过高，业务算力资源匹配困难，算力资源的流动性收到限制。\\n\\n使用方业务需求\\n\\n\\n\\n提供方产品特性\\n\\n\\n\\n多样性算力资源\\n\\n\\n\\n* 资源服务商类型差异\\n\\n* 地理位置差异\\n\\n* 架构差异\\n\\n* 资源类型差异\\n\\n难以满足使用方业务需求\\n\\n\\n\\n算力资源流动性受到限制\\n\\n",
|
||
"metadata": {
|
||
"node_id": "c2baa07cf1a1f1d81aa6b247a70a2dcac5ff2b530b21761fb2db27402c19d65a",
|
||
"node_type": "text",
|
||
"ppr_score": 0.027494538285856865,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.17659637820000001,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 业数融合不断深化，逐步由机构高层扩展到全域\\n\\n中国·北京 12.20-12.21 回归数据本质 应用驱动治理\\n\\n2023数据资产管理大会\\n\\n数据应用同业务融合的趋势显著，服务对象逐步由机构高层向机构全域转变，**普惠化、场景化、智能化**进程加速。\\n\\n### 服务高层\\n\\n* 依托专业的数据分析师、数据科学家\\n\\n* 用于企业高层的战略决策，周期较长\\n\\n* 采用专业化的数据分析工具，工具同业务流程分离\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱\\n\\n### 服务全域\\n\\n* 专业、深度的数据分析同低门槛自助分析结合\\n\\n* 轻量快速的决策中数据分析渗透率在不断提高\\n\\n* 数据分析工具逐步嵌入业务流程中\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱  自助式BI  移动端看板  AI助手\\n\\n\\n\\n\\n\\n参考：《数据分析应用能力分级要求》标准",
|
||
"metadata": {
|
||
"node_id": "bfb55ff2c7c3ab9d1839b1a9b5e75e706bdb2f0ebab747e9dc22168e15da5b9c",
|
||
"node_type": "text",
|
||
"ppr_score": 0.02602358391916868,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.18873645339999998,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "在自助式数据分析的过程中，如何确保数据二次处理阶段的数据具有高可用性？",
|
||
"pagerank_available": true
|
||
}
|
||
}
|
||
],
|
||
"all_passages": [
|
||
"数据需求方主动通过自助分析平台进行数据探查",
|
||
"DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||
"数据开发主要负责集成存储、实施、部署、维护数据解决方案，以及数据处理、加工、管理、使用，以提升数据资源价值。",
|
||
"持续变革打造反馈机制，收集各环节堵点问题，并持续改进。",
|
||
"自助分析提供自助式的数据二次处理。",
|
||
"# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"# 数据采集能力\\n\\n## 2024第三届数字化审计论坛\\n\\n深化技术应用，打造智审新篇\\n\\n### 灵活全面的采集方式\\n\\n| | | | |\\n\\n|---|---|---|---|\\n\\n| 企业大数据平台 | 线下数据导入审计平台 | 特色系统实现接口取数 | 非结构化文件数据转换 |\\n\\n| 已纳入企业大数据平台的数据实现应接尽接 | 线下收集数据前端导入审计平台，融入审计数据体系 | 未纳入企业大数据平台的特色系统与审计平台实现接口取数 | 审计平台集成 OCR、自然语言处理等工具，实现对常用非结构化文件的信息提取和转换 |\\n\\n### 采集内容\\n\\n企业内部**财务**数据、**业务**数据、**管理**数据的报表和明细数据\\n\\n企业外部**工商**信息、**行业**数据、**法律诉讼**信息、**物流**数据等有助于审计建模的外部数据",
|
||
"提升数据开发利用水平",
|
||
"还需对数据加工使用产生的公共数据产品进行合规审核",
|
||
"未经审核的公共数据产品不会直接进入市场交易流通",
|
||
"在安全、合规、规范等方面不断完善",
|
||
"而若是 运营主体获得“全量数据”的运营权，无需通过场景审批，则需确保 “全量数据”覆盖的范围满足分类分级的安全管理要求和数据开发利 用要求。 其次是数据加工使用环节, 所有的数据分析处理操作均应满足运营协议的约定和数据安全保护要求, 包含但不限于原始数据不得泄露和不当使用等。一方面, 可通过加密、数据沙箱、隐私计算、数据访 问控制等技术手段限定数据加工使用的方式和结果形态；另一方面， 还需对数据加工使用产生的公共数据产品进行合规审核，无论技术手 段如何配合，未经审核的公共数据产品直接进入市场交易流通，始终 会有安全合规风险。 最后是数据产品经营环节，如何确保公共数据产品被合理合规应 用仍是一大难点。多数运营主体也会通过协议等方式与应用方约定数 据产品的用途，但是，只要数据产品离开运营主体控制的技术安全环 境，这类的数据应用是无法被直接监测和监管的。例如，若应用方未 经允许，将获取到的数据集合类产品转手给其他企业并从中获利，必 将造成数据供给者的数据价值稀释，并可能引发严峻的数据安全事件。 因此，在上述环节均需针对性的建立业务流程规范。政府和公共 部门需对公共数据授权运营行为进行日常的监督管理，确保相关授权 运营严格遵守流程规范。 ## （三）供需充分对接需促进 可以看到，公共数据应用大量集中在公共服务治理以及金融借贷、 核保等少数典型场景中，因此，公共数据授权运营的核心难点在于充 分挖掘潜在应用场景，促进供需对接。 从供给角度来看，多数公共部门存在实际能汇聚、掌握的数据资 源体量不足，或受限于自身发展水平和重视程度不足，或受限于地方 与行业间的协同难度较大。",
|
||
"由于政企数据处于不同的管理体系与管 理机制之下，不论是国家层面还是行业层面均缺乏统一的管理标准和 规范，难以有效贯通，影响数据的整体性。与此同时，由于数据治理 的总体水平尚在发展中，数据整体质量与利用价值相对有限，未能完 全发挥数据作用。并且，政企数据融合的安全保障也需要进一步升级。 从本质而言，当前各省、市、区（县）等地方分别探索公共数据授权 运营实际上也是一种分割，但由于缺乏明确的激励机制目前难以实现 整合应用，还需要通过政策或举措实现有效的促进。 尽管面临困难和挑战，政企数据融合开发也已经起步，形成了一 系列应用成果，例如结合人群监控数据与运营商实时位置数据的智慧 安防应用、结合跨域交通数据与货运信息数据的物流管理应用、结合 集采数据与集采协议数据的供应链金融应用等等。面向政企数据要素 流通，应推进解决各类问题，在安全、合规、规范等方面不断完善， 提升数据开发利用水平，以充分释放数据价值，培育新增长点，发展 壮大数字经济，促进经济高质量发展。 # 五、公共数据授权运营推进要点 在当前的政策背景下，各地方要开展公共数据授权运营，需要从 顶层出发，根据当地实际情况规划公共数据授权运营体系，在明确发 展目标与推进方向的基础上，设计具体推进思路，通过细化的工作方 案落实各阶段的各项重点工作。从当前已经开展和正在推进公共数据 授权运营的地方及行业实践总结来看，主要从建设制度机制、设计实 施路径、打造运营平台、培育多元生态、推进成效优化五方面的工作 要点发力建设，从而按步骤逐步推进公共数据授权运营高效落地运转， 助力公共数据要素价值释放。",
|
||
"专业数据分析与低门槛自助分析相结合",
|
||
"充分利用并加速释放海量数据资源",
|
||
"提升双随机成熟度",
|
||
"同时也有利于提高数据的可用性和价值",
|
||
"# 多样性算力需求不断提高，算力资源差异性成为发展限制因素 CAICT 中国信通院\\n\\n> 企业日益丰富的应用对于多样性算力的需求不断提高，计算密集型应用需要计算平台执行逻辑复杂的调度任务，而数据密集型应用则需严完成海量数据高并发处理，这使得单一计算平台难以适应业务要求，算力资源多样性发展成为必然。\\n\\n>\\n\\n> 受算力资源服务商类型、所处地理位置、架构差异性、资源类型等差异性因素制约，现阶段算力应用方式仍然多为指定单一资源进行利用，算力资源彼此之间互不感知，限制算力资源的流动。\\n\\n受算力资源使用方业务需求及提供方产品特性影响，GPU、NPU、DPU等异构智算平台持续向前迈进，“多样性”成为如今算力领域的显著特征。\\n\\n多样算力资源的差异化导致企业多样性算力资源使用成本过高，业务算力资源匹配困难，算力资源的流动性收到限制。\\n\\n使用方业务需求\\n\\n\\n\\n提供方产品特性\\n\\n\\n\\n多样性算力资源\\n\\n\\n\\n* 资源服务商类型差异\\n\\n* 地理位置差异\\n\\n* 架构差异\\n\\n* 资源类型差异\\n\\n难以满足使用方业务需求\\n\\n\\n\\n算力资源流动性受到限制\\n\\n",
|
||
"# 业数融合不断深化，逐步由机构高层扩展到全域\\n\\n中国·北京 12.20-12.21 回归数据本质 应用驱动治理\\n\\n2023数据资产管理大会\\n\\n数据应用同业务融合的趋势显著，服务对象逐步由机构高层向机构全域转变，**普惠化、场景化、智能化**进程加速。\\n\\n### 服务高层\\n\\n* 依托专业的数据分析师、数据科学家\\n\\n* 用于企业高层的战略决策，周期较长\\n\\n* 采用专业化的数据分析工具，工具同业务流程分离\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱\\n\\n### 服务全域\\n\\n* 专业、深度的数据分析同低门槛自助分析结合\\n\\n* 轻量快速的决策中数据分析渗透率在不断提高\\n\\n* 数据分析工具逐步嵌入业务流程中\\n\\n#### 主要形式：\\n\\n 业务报表  驾驶舱  自助式BI  移动端看板  AI助手\\n\\n\\n\\n\\n\\n参考：《数据分析应用能力分级要求》标准"
|
||
],
|
||
"passage_sources": [
|
||
"子查询2-event-cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
||
"子查询2-event-fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||
"子查询2-event-a8e425ff3aa5f8bd29548f9c4130dfed6453d9cf9cc299df160f13b7b51f96f8",
|
||
"子查询2-event-ab8889b01ec13cd76620e850642bb3af5b76b48ede851dac4eae3f4079dc524f",
|
||
"子查询2-event-fc93749624bb981c739de329a2202546d88ffa6f6664589d8e8ecadfdef7ec1c",
|
||
"子查询2-text-b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"子查询2-text-21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"子查询2-text-2663ac70290c40f3d0c6deb1785e335dd0ada7c209487a6b4fea3604d544c936",
|
||
"原始查询-event-91f8b07a2c271624e3fe23ae43dabe330d97953fa8e33a56f5fb2951d24ada5a",
|
||
"原始查询-event-682a2cdcb773b04b1e49c61fee110e3bd0143babe7910c47ce29118be791f0b9",
|
||
"原始查询-event-97128a306d10cb03ebd4348ca4df07f1f8933c10038b4f1254f07be9f1e70de9",
|
||
"原始查询-event-8602668fda84239cd719c5ab0047d24739c1fd37263836293c0bcc98fae0b1fd",
|
||
"原始查询-text-d9db643259eaba630bddc947ca137dc3dfec24451793667a7d342f02b094b9f3",
|
||
"原始查询-text-049e6393f2f84a523c14648c3d2afed0ff465fd35d05026dd33172bbb0af4aa3",
|
||
"子查询1-event-9b6ae677b15bc21f5c8a3d64656577f5d741f31196347a87bc22d4562bbe596d",
|
||
"子查询1-event-5184849aa97b66a62a4dbd110376519636d426094e258c5c7be538a2d4db6dcd",
|
||
"子查询1-event-0a9ca815cb651c99bd09982caf8420ebe045880dac8053f3e3b85c44b6e4d5f7",
|
||
"子查询1-event-7e3145fffebb153d32cc4171cedcdfeec729e4dfeffc68e1dc33c7cbad57129c",
|
||
"子查询1-text-c2baa07cf1a1f1d81aa6b247a70a2dcac5ff2b530b21761fb2db27402c19d65a",
|
||
"子查询1-text-bfb55ff2c7c3ab9d1839b1a9b5e75e706bdb2f0ebab747e9dc22168e15da5b9c"
|
||
],
|
||
"pagerank_data_available": true,
|
||
"pagerank_summary": {},
|
||
"concept_exploration_results": {},
|
||
"exploration_round": 0,
|
||
"debug_info": {
|
||
"total_time": 15.994032859802246,
|
||
"retrieval_calls": 1,
|
||
"llm_calls": 4,
|
||
"langsmith_project": "rag-api-service",
|
||
"token_usage_summary": {
|
||
"has_llm": true,
|
||
"has_generator": true,
|
||
"last_call": {
|
||
"prompt_tokens": 3427,
|
||
"completion_tokens": 103,
|
||
"total_tokens": 3530
|
||
},
|
||
"total_usage": {
|
||
"prompt_tokens": 4458,
|
||
"completion_tokens": 307,
|
||
"total_tokens": 4765,
|
||
"call_count": 3
|
||
},
|
||
"model_name": "qwen2-7b-instruct",
|
||
"has_last_usage": true,
|
||
"has_total_usage": true
|
||
},
|
||
"complexity_analysis": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。查询涉及到自助式数据分析过程中的数据管理和质量保证，需要考虑数据处理的各个阶段（包括二次处理和最终发布），并关注数据的高可用性和可验证性。这不仅需要对数据分析流程有深入理解，还需要了解数据管理的最佳实践、数据质量控制方法以及可能的数据验证技术。因此，回答此查询需要构建一系列子查询，分别针对数据处理的不同方面、可用性指标、验证方法等进行详细分析。"
|
||
},
|
||
"debug_mode_analysis": {
|
||
"debug_mode": "0",
|
||
"debug_override": {},
|
||
"path_override_applied": false
|
||
},
|
||
"sufficiency_analysis": {
|
||
"final_sufficiency": true,
|
||
"sufficiency_check_details": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps的数据流水线、数据研发管理、数据交付管理、数据运维和价值运营的各个环节，以及自助分析、数据二次处理、合规审核、数据加工使用、公共数据产品等，这些内容有助于确保数据二次处理到最终发布的各阶段数据都具有高可用性和可验证性。",
|
||
"iteration": 0
|
||
},
|
||
"iteration_sufficiency_history": [],
|
||
"sufficiency_progression": {
|
||
"status": "no_sufficiency_checks"
|
||
}
|
||
},
|
||
"routing_analysis": {
|
||
"total_routing_decisions": 1,
|
||
"sub_query_generation_count": 0,
|
||
"parallel_retrieval_count": 0,
|
||
"pagerank_collection_count": 0
|
||
},
|
||
"concept_exploration_analysis": {
|
||
"exploration_enabled": false,
|
||
"exploration_rounds": 0,
|
||
"pagerank_nodes_analyzed": 0,
|
||
"successful_branches_total": 0,
|
||
"total_branches_attempted": 0
|
||
}
|
||
},
|
||
"iteration_history": [
|
||
{
|
||
"iteration": 0,
|
||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||
"passages_count": 20,
|
||
"action": "retrieval"
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "sufficiency_check",
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"sub_queries_count": 0
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "final_answer_generation",
|
||
"answer_length": 6117
|
||
}
|
||
]
|
||
} |