634 lines
62 KiB
JSON
634 lines
62 KiB
JSON
{
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"answer": "【检索结果汇总】\n\n查询问题：数据研发运营一体化（DataOps）是数据开发的哪种范式？\n\n检索到 32 个相关段落：\n\n【事件信息】\n\n事件1：数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。\n\n事件2：将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。\n\n事件3：随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。\n\n事件4：DataOps 实践快速发展\n\n事件5：加强数据生态系统的建设，鼓励实现数据开放共享。\n\n事件6：随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。\n\n事件7：编写了一篇关于DataOps实践指南的文章\n\n事件8：“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。\n\n事件9：实施数据治理策略\n\n事件10：提高开发效率和产品质量\n\n事件11：建立数据管道\n\n事件12：集成DevOps实践\n\n事件13：分析段落中的事件及其参与实体\n\n事件14：定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设\n\n事件15：《DataOps 实践指南 2.0》发布\n\n事件16：《DataOps 实践指南 1.0》发布\n\n事件17：返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]\n\n事件18：标准引领，建设 DataOps 体系\n\n事件19：经过 2、3 年的实践，国内 DataOps 体系逐步完善起来\n\n事件20：以评促建，评估咨询一体化\n\n事件21：深入产研，开展标准评估\n\n事件22：《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\n\n事件23：提出DataOps服务能力要求\n\n事件24：进行意见征集\n\n事件25：发起意见征集活动\n\n事件26：引入分布式追踪技术和实时监控系统\n\n\n\n【段落信息】\n\n段落1：## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。\n\n段落2：# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向\n\n段落3：# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能\n\n段落4：# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望\n\n段落5：# 交付管理首批评估方法及流程\\n\\n## 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估等级划分\\n\\n\\n\\n### 评估流程\\n\\n\\n\\n## 交付管理标准首批评估启动！\\n\\n\\n\\n- 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为**五个级别**：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估价值\\n\\n#### 标准引领，建设 DataOps 体系\\n\\n发挥标准引领的优势。引导企业快速接纳 DataOps 文化，指导企业全面建设数据开发运营一体化能力。\\n\\n#### 助力企业提升数据研发治理效率\\n\\n培养与提升数据相关部门专业能力，发现 DataOps 能力短板，明确持续优化的方向，释放数据要素价值。\\n\\n### 贯标服务\\n\\n#### 深入产研，开展标准评估\\n\\n深入产业研讨，开展面向多行业的 DataOps 系列标准评估，辐射各行业数字化转型企业。\\n\\n#### 以评促建，评估咨询一体化\\n\\n以评促建，基于标准评估观察，提供**提升咨询**服务，对齐业 DataOps 最佳实践，补足 DataOps 能力，\\n\\n### 报名方式\\n\\n#### 报名方式及联系人\\n\\n联系人：尹正\\n\\n联系方式：15810811776（微信号同）\\n\\n邮箱地址：yinzheng@caict.ac.cn\\n\\n\n\n段落6：# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具\n\n\n相关子查询：\nDataOps在数据开发中扮演何种角色？、数据研发运营一体化（DataOps）属于数据开发的哪一类范式？\n\n检索统计：\n- 查询复杂度：{'is_complex': True, 'complexity_level': 'complex', 'confidence': 0.95, 'reason': '这是一个复杂查询，因为用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体范式。这一问题不仅涉及到DataOps的概念理解，还可能需要解释其与传统数据开发范式的区别和联系。因此，可能需要生成多方面的子查询来详细阐述DataOps的定义、核心理念、以及它如何改变数据开发流程。此外，可能还需要提供一些案例或者研究来支持解释，这进一步增加了查询的复杂性。'}\n- 是否复杂查询：True\n- 迭代次数：0\n- 信息充分性：True\n",
|
||
"query_complexity": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，因为用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体范式。这一问题不仅涉及到DataOps的概念理解，还可能需要解释其与传统数据开发范式的区别和联系。因此，可能需要生成多方面的子查询来详细阐述DataOps的定义、核心理念、以及它如何改变数据开发流程。此外，可能还需要提供一些案例或者研究来支持解释，这进一步增加了查询的复杂性。"
|
||
},
|
||
"is_complex_query": true,
|
||
"retrieval_path": "complex_hipporag",
|
||
"iterations": 0,
|
||
"total_passages": 32,
|
||
"sub_queries": [
|
||
"DataOps在数据开发中扮演何种角色？",
|
||
"数据研发运营一体化（DataOps）属于数据开发的哪一类范式？"
|
||
],
|
||
"decomposed_sub_queries": [
|
||
"DataOps在数据开发中扮演何种角色？",
|
||
"数据研发运营一体化（DataOps）属于数据开发的哪一类范式？"
|
||
],
|
||
"initial_retrieval_details": {},
|
||
"sufficiency_check": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，构建集开发、治理、运营于一体的自动化数据流水线，以及DataOps在提高数据产品交付效率与质量方面的作用。",
|
||
"iteration": 0
|
||
},
|
||
"current_sub_queries": [],
|
||
"is_sufficient": true,
|
||
"all_documents": [
|
||
{
|
||
"page_content": "数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"metadata": {
|
||
"node_id": "774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"node_type": "event",
|
||
"ppr_score": 0.007236380468328203,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"metadata": {
|
||
"node_id": "f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"node_type": "event",
|
||
"ppr_score": 0.007228586625845636,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"metadata": {
|
||
"node_id": "5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0033647268540496593,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps 实践快速发展",
|
||
"metadata": {
|
||
"node_id": "20707ee6c13b5870e58f4eb4853f2bd6ddc6b0dff31966717b5f434d0a6dcc20",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003007429819934772,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"metadata": {
|
||
"node_id": "cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0026402299892637443,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"metadata": {
|
||
"node_id": "f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002541885262660486,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "编写了一篇关于DataOps实践指南的文章",
|
||
"metadata": {
|
||
"node_id": "c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0025299038981715606,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"metadata": {
|
||
"node_id": "90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002496279873862634,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "实施数据治理策略",
|
||
"metadata": {
|
||
"node_id": "0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0024784737497529994,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提高开发效率和产品质量",
|
||
"metadata": {
|
||
"node_id": "b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0024784737497529994,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "建立数据管道",
|
||
"metadata": {
|
||
"node_id": "849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00245150978274215,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "集成DevOps实践",
|
||
"metadata": {
|
||
"node_id": "fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00245150978274215,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "分析段落中的事件及其参与实体",
|
||
"metadata": {
|
||
"node_id": "eeb3a7041856f88641d5a7fc15027f502f0f73778ea4f6fadfd1b6b654b16929",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0023664639789201134,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 13,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设",
|
||
"metadata": {
|
||
"node_id": "805ccf4b8afad7fdc7adf220f8be68488e531cfbb23f6b8ea12ce6eeb52fea63",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002047277475844585,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 14,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "《DataOps 实践指南 2.0》发布",
|
||
"metadata": {
|
||
"node_id": "883d48746a2c6d5088fb85af475dede23902ac92177369e7704f30cc11fb98da",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002047277475844585,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 15,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "《DataOps 实践指南 1.0》发布",
|
||
"metadata": {
|
||
"node_id": "1399b28642963b0ae525bae264742aabd43a3f9bcb85d98c0ca6566a1c1ba26d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002045049922785841,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 16,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]",
|
||
"metadata": {
|
||
"node_id": "894a0cd323b92326cbbccb930ff9128a22525c5f987593c94b591e52bd5a86d8",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0018774530605870435,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 17,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"metadata": {
|
||
"node_id": "da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"node_type": "text",
|
||
"ppr_score": 0.05259225054051377,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4677786612106491,
|
||
"rank": 18,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向",
|
||
"metadata": {
|
||
"node_id": "9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6",
|
||
"node_type": "text",
|
||
"ppr_score": 0.01085985545281619,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4979129526081955,
|
||
"rank": 19,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"metadata": {
|
||
"node_id": "4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"node_type": "text",
|
||
"ppr_score": 0.010287820729894905,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.5003536068876977,
|
||
"rank": 20,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）属于数据开发的哪一类范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "标准引领，建设 DataOps 体系",
|
||
"metadata": {
|
||
"node_id": "adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.009713458653966913,
|
||
"edge_score": 1.8087037,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "经过 2、3 年的实践，国内 DataOps 体系逐步完善起来",
|
||
"metadata": {
|
||
"node_id": "5bd26c11fb5b2a047fe6a598b8777b5af1c22761139a938331cb327612b3646b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004707949308540472,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "以评促建，评估咨询一体化",
|
||
"metadata": {
|
||
"node_id": "749264b8da4204b674ad390845fddc245435c63fd983ef5e425eb27ad7f9831d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0019890503552636705,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "深入产研，开展标准评估",
|
||
"metadata": {
|
||
"node_id": "ad328541e0228ff207e9bf93c9861503f7a0c010f857b34b1cc6ec7d244c76b3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0016149880409002824,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。",
|
||
"metadata": {
|
||
"node_id": "ba3305f39700976e3952b9eee0a649086c0f51dd4d08b3cc9673fc7bd0186f24",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0015794604848037913,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提出DataOps服务能力要求",
|
||
"metadata": {
|
||
"node_id": "3a068edb1c5649880334a21e741217e2e5a225be789b4a64ef9da94da431b048",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001525733626528627,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "进行意见征集",
|
||
"metadata": {
|
||
"node_id": "d358a1d1a1a9400e149274fa124d0cf06d243184939c2dd1db82536e1236b239",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001525733626528627,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "发起意见征集活动",
|
||
"metadata": {
|
||
"node_id": "4c54213b0c0b8e6bb6f65cfe84516373d0704c5149fa11ad2a03fcd785590763",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001525733626528627,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "引入分布式追踪技术和实时监控系统",
|
||
"metadata": {
|
||
"node_id": "da1780de4e3dc960d8fa7efe9bb415d3ab1e687a63d3bfe770e412fb07ab8ab6",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0014742857017354194,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 17,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望",
|
||
"metadata": {
|
||
"node_id": "e34af0743f1a73824cdd542d786b9b39af367c001f1cd738d2160bfa9bc54e60",
|
||
"node_type": "text",
|
||
"ppr_score": 0.040012816946203435,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4950080731941828,
|
||
"rank": 18,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 交付管理首批评估方法及流程\\n\\n## 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估等级划分\\n\\n\\n\\n### 评估流程\\n\\n\\n\\n## 交付管理标准首批评估启动！\\n\\n\\n\\n- 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为**五个级别**：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估价值\\n\\n#### 标准引领，建设 DataOps 体系\\n\\n发挥标准引领的优势。引导企业快速接纳 DataOps 文化，指导企业全面建设数据开发运营一体化能力。\\n\\n#### 助力企业提升数据研发治理效率\\n\\n培养与提升数据相关部门专业能力，发现 DataOps 能力短板，明确持续优化的方向，释放数据要素价值。\\n\\n### 贯标服务\\n\\n#### 深入产研，开展标准评估\\n\\n深入产业研讨，开展面向多行业的 DataOps 系列标准评估，辐射各行业数字化转型企业。\\n\\n#### 以评促建，评估咨询一体化\\n\\n以评促建，基于标准评估观察，提供**提升咨询**服务，对齐业 DataOps 最佳实践，补足 DataOps 能力，\\n\\n### 报名方式\\n\\n#### 报名方式及联系人\\n\\n联系人：尹正\\n\\n联系方式：15810811776（微信号同）\\n\\n邮箱地址：yinzheng@caict.ac.cn\\n\\n",
|
||
"metadata": {
|
||
"node_id": "1e5cd2525d6081774234fb876795668072f7e09940ca799d144884b4acef43f3",
|
||
"node_type": "text",
|
||
"ppr_score": 0.017291647873176778,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4694650865223871,
|
||
"rank": 19,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具",
|
||
"metadata": {
|
||
"node_id": "80e3b9fe847d2774e596b9add8567d0ca2100e688360734db7a08fab029ddaa7",
|
||
"node_type": "text",
|
||
"ppr_score": 0.017014061730236972,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.49785742425101354,
|
||
"rank": 20,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演何种角色？",
|
||
"pagerank_available": true
|
||
}
|
||
}
|
||
],
|
||
"all_passages": [
|
||
"数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"DataOps 实践快速发展",
|
||
"加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"编写了一篇关于DataOps实践指南的文章",
|
||
"“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"实施数据治理策略",
|
||
"提高开发效率和产品质量",
|
||
"建立数据管道",
|
||
"集成DevOps实践",
|
||
"分析段落中的事件及其参与实体",
|
||
"定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设",
|
||
"《DataOps 实践指南 2.0》发布",
|
||
"《DataOps 实践指南 1.0》发布",
|
||
"返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]",
|
||
"## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向",
|
||
"# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"标准引领，建设 DataOps 体系",
|
||
"经过 2、3 年的实践，国内 DataOps 体系逐步完善起来",
|
||
"以评促建，评估咨询一体化",
|
||
"深入产研，开展标准评估",
|
||
"《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。",
|
||
"提出DataOps服务能力要求",
|
||
"进行意见征集",
|
||
"发起意见征集活动",
|
||
"引入分布式追踪技术和实时监控系统",
|
||
"# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望",
|
||
"# 交付管理首批评估方法及流程\\n\\n## 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为五个级别：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估等级划分\\n\\n\\n\\n### 评估流程\\n\\n\\n\\n## 交付管理标准首批评估启动！\\n\\n\\n\\n- 《数据研发运营一体化 (Dataops) 能力成熟度模型第三部分：交付管理》根据企业数据系统平台及管理运营工具满足的能力要求数量将其分为**五个级别**：入门级（1 级）、进阶级（2 级）、优秀级（3 级）、卓越级（4 级）、引领级（5 级）。\\n\\n### 评估价值\\n\\n#### 标准引领，建设 DataOps 体系\\n\\n发挥标准引领的优势。引导企业快速接纳 DataOps 文化，指导企业全面建设数据开发运营一体化能力。\\n\\n#### 助力企业提升数据研发治理效率\\n\\n培养与提升数据相关部门专业能力，发现 DataOps 能力短板，明确持续优化的方向，释放数据要素价值。\\n\\n### 贯标服务\\n\\n#### 深入产研，开展标准评估\\n\\n深入产业研讨，开展面向多行业的 DataOps 系列标准评估，辐射各行业数字化转型企业。\\n\\n#### 以评促建，评估咨询一体化\\n\\n以评促建，基于标准评估观察，提供**提升咨询**服务，对齐业 DataOps 最佳实践，补足 DataOps 能力，\\n\\n### 报名方式\\n\\n#### 报名方式及联系人\\n\\n联系人：尹正\\n\\n联系方式：15810811776（微信号同）\\n\\n邮箱地址：yinzheng@caict.ac.cn\\n\\n",
|
||
"# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具"
|
||
],
|
||
"passage_sources": [
|
||
"子查询2-event-774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"子查询2-event-f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"子查询2-event-5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"子查询2-event-20707ee6c13b5870e58f4eb4853f2bd6ddc6b0dff31966717b5f434d0a6dcc20",
|
||
"子查询2-event-cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"子查询2-event-f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"子查询2-event-c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"子查询2-event-90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"子查询2-event-0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"子查询2-event-b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"子查询2-event-849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"子查询2-event-fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"子查询2-event-eeb3a7041856f88641d5a7fc15027f502f0f73778ea4f6fadfd1b6b654b16929",
|
||
"子查询2-event-805ccf4b8afad7fdc7adf220f8be68488e531cfbb23f6b8ea12ce6eeb52fea63",
|
||
"子查询2-event-883d48746a2c6d5088fb85af475dede23902ac92177369e7704f30cc11fb98da",
|
||
"子查询2-event-1399b28642963b0ae525bae264742aabd43a3f9bcb85d98c0ca6566a1c1ba26d",
|
||
"子查询2-event-894a0cd323b92326cbbccb930ff9128a22525c5f987593c94b591e52bd5a86d8",
|
||
"子查询2-text-da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"子查询2-text-9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6",
|
||
"子查询2-text-4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"子查询1-event-adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"子查询1-event-5bd26c11fb5b2a047fe6a598b8777b5af1c22761139a938331cb327612b3646b",
|
||
"子查询1-event-749264b8da4204b674ad390845fddc245435c63fd983ef5e425eb27ad7f9831d",
|
||
"子查询1-event-ad328541e0228ff207e9bf93c9861503f7a0c010f857b34b1cc6ec7d244c76b3",
|
||
"子查询1-event-ba3305f39700976e3952b9eee0a649086c0f51dd4d08b3cc9673fc7bd0186f24",
|
||
"子查询1-event-3a068edb1c5649880334a21e741217e2e5a225be789b4a64ef9da94da431b048",
|
||
"子查询1-event-d358a1d1a1a9400e149274fa124d0cf06d243184939c2dd1db82536e1236b239",
|
||
"子查询1-event-4c54213b0c0b8e6bb6f65cfe84516373d0704c5149fa11ad2a03fcd785590763",
|
||
"子查询1-event-da1780de4e3dc960d8fa7efe9bb415d3ab1e687a63d3bfe770e412fb07ab8ab6",
|
||
"子查询1-text-e34af0743f1a73824cdd542d786b9b39af367c001f1cd738d2160bfa9bc54e60",
|
||
"子查询1-text-1e5cd2525d6081774234fb876795668072f7e09940ca799d144884b4acef43f3",
|
||
"子查询1-text-80e3b9fe847d2774e596b9add8567d0ca2100e688360734db7a08fab029ddaa7"
|
||
],
|
||
"pagerank_data_available": true,
|
||
"pagerank_summary": {},
|
||
"concept_exploration_results": {},
|
||
"exploration_round": 0,
|
||
"debug_info": {
|
||
"total_time": 14.674922466278076,
|
||
"retrieval_calls": 1,
|
||
"llm_calls": 4,
|
||
"langsmith_project": "rag-api-service",
|
||
"token_usage_summary": {
|
||
"has_llm": true,
|
||
"has_generator": true,
|
||
"last_call": {
|
||
"prompt_tokens": 3498,
|
||
"completion_tokens": 86,
|
||
"total_tokens": 3584
|
||
},
|
||
"total_usage": {
|
||
"prompt_tokens": 4507,
|
||
"completion_tokens": 304,
|
||
"total_tokens": 4811,
|
||
"call_count": 3
|
||
},
|
||
"model_name": "qwen2-7b-instruct",
|
||
"has_last_usage": true,
|
||
"has_total_usage": true
|
||
},
|
||
"complexity_analysis": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，因为用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体范式。这一问题不仅涉及到DataOps的概念理解，还可能需要解释其与传统数据开发范式的区别和联系。因此，可能需要生成多方面的子查询来详细阐述DataOps的定义、核心理念、以及它如何改变数据开发流程。此外，可能还需要提供一些案例或者研究来支持解释，这进一步增加了查询的复杂性。"
|
||
},
|
||
"debug_mode_analysis": {
|
||
"debug_mode": "0",
|
||
"debug_override": {},
|
||
"path_override_applied": false
|
||
},
|
||
"sufficiency_analysis": {
|
||
"final_sufficiency": true,
|
||
"sufficiency_check_details": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，构建集开发、治理、运营于一体的自动化数据流水线，以及DataOps在提高数据产品交付效率与质量方面的作用。",
|
||
"iteration": 0
|
||
},
|
||
"iteration_sufficiency_history": [],
|
||
"sufficiency_progression": {
|
||
"status": "no_sufficiency_checks"
|
||
}
|
||
},
|
||
"routing_analysis": {
|
||
"total_routing_decisions": 1,
|
||
"sub_query_generation_count": 0,
|
||
"parallel_retrieval_count": 0,
|
||
"pagerank_collection_count": 0
|
||
},
|
||
"concept_exploration_analysis": {
|
||
"exploration_enabled": false,
|
||
"exploration_rounds": 0,
|
||
"pagerank_nodes_analyzed": 0,
|
||
"successful_branches_total": 0,
|
||
"total_branches_attempted": 0
|
||
}
|
||
},
|
||
"iteration_history": [
|
||
{
|
||
"iteration": 0,
|
||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||
"passages_count": 32,
|
||
"action": "retrieval"
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "sufficiency_check",
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"sub_queries_count": 0
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "final_answer_generation",
|
||
"answer_length": 6133
|
||
}
|
||
]
|
||
} |