first commit
This commit is contained in:
闫旭隆
@ -0,0 +1,618 @@
|
||||
{
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"answer": "数据研发运营一体化(DataOps)是数据开发的一种新范式，它将敏捷、精益等理念融入数据开发过程，通过打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，以提高数据产品交付效率与质量，从而实现高质量的数字化发展。DataOps强调数据管理的自动化，为数据工作者提供敏捷的数据开发支持，同时简化数据交付周期，提升数据生产者与消费者之间的协同效率。\n\nDataOps在数据开发中的作用主要体现在以下几个方面：\n\n1. **自动化数据流水线构建**：DataOps通过自动化构建数据开发、治理、运营的整合流程，使得数据开发过程更加高效和可控。\n\n2. **敏捷与精益理念的应用**：将敏捷开发的快速迭代、精益生产的原则应用于数据开发中，提高开发效率和质量。\n\n3. **协作效率提升**：打破数据开发、治理、运营之间的壁垒，促进跨部门协作，提高整体团队的协同效率。\n\n4. **提高数据质量**：通过自动化工具和流程，确保数据的准确性和一致性，提高数据质量。\n\n5. **加速数据流动**：简化数据交付流程，缩短数据从开发到应用的时间，加速数据在产品开发和消费端的利用。\n\n6. **数据驱动决策**：通过优化数据策略，利用AI和大模型技术，提升数据分析能力，支持更准确、实时的决策制定。\n\n在实践中，企业通过实施DataOps能够实现以下成果：\n\n- **研发效率提升**：例如，中国工商银行通过DataOps的敏捷数据生产与创新体系，研发效率提高了50%。\n- **资源利用优化**：构建自动化测试平台，如某大型互联网企业普及自动化测试平台，实现了集成自动化风险标记、自动化测试用例转监控等功能。\n- **数据治理前置**：形成“先设计、后开发、先标准、后建模”的模式，确保数据治理在数据开发的早期阶段得到重视。\n- **数据运维效率提升**：通过自动化部署发布流水线，加快数据部署效率并降低人为操作风险。\n- **数据价值释放**：构建数据研发管理、数据交付管理、数据运维和价值运营四个环节，以实现数据的深度应用和价值释放。\n\n为了实施DataOps，企业需要考虑以下关键因素：\n\n- **量体裁衣**：根据自身需求、痛点和技术架构进行有针对性的实施。\n- **决策机制**：确保高层参与，平衡资源投入，避免资源浪费。\n- **技术与业务融合**：避免过度依赖技术解决所有问题，注重业技融合。\n- **长期视角**：注重长远发展，避免追求短期利益。\n- **组织变革**：促进业务部门与数据部门的紧密合作，构建跨职能团队。\n- **文化渗透**：培养数据文化，提高员工对DataOps的认知和参与度。\n- **流程与技术**：围绕业务目标，建立标准化工作流程，选择合适的系统工具。\n- **持续优化**：不断调整策略，关注行业新方向，实现持续改进。\n\n通过实施DataOps，企业不仅能够提升数据开发效率和质量，还能加速数据价值的释放，推动数字化转型，实现高质量的数字化发展。",
|
||||
"query_complexity": {
|
||||
"is_complex": true,
|
||||
"complexity_level": "complex",
|
||||
"confidence": 0.95,
|
||||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。首先，需要解释数据研发运营一体化(DataOps)的概念，其次，需要理解数据开发的不同范式，最后，通过比较和分析确定DataOps在这些范式中的定位。这涉及到理论知识的综合运用和概念间的逻辑关联。"
|
||||
},
|
||||
"is_complex_query": true,
|
||||
"retrieval_path": "complex_hipporag",
|
||||
"iterations": 0,
|
||||
"total_passages": 31,
|
||||
"sub_queries": [
|
||||
"什么是数据研发运营一体化(DataOps)?",
|
||||
"数据研发运营一体化(DataOps)在数据开发中的作用是什么?"
|
||||
],
|
||||
"decomposed_sub_queries": [
|
||||
"什么是数据研发运营一体化(DataOps)?",
|
||||
"数据研发运营一体化(DataOps)在数据开发中的作用是什么?"
|
||||
],
|
||||
"initial_retrieval_details": {},
|
||||
"sufficiency_check": {
|
||||
"is_sufficient": true,
|
||||
"confidence": 0.9,
|
||||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps的概念、作用、实施案例和实践建议，这足以解释数据研发运营一体化(DataOps)是数据开发的一种范式。",
|
||||
"iteration": 0
|
||||
},
|
||||
"current_sub_queries": [],
|
||||
"is_sufficient": true,
|
||||
"all_documents": [
|
||||
{
|
||||
"page_content": "将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||||
"metadata": {
|
||||
"node_id": "f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.012888766931655169,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 1,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||||
"metadata": {
|
||||
"node_id": "774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.012798584977439784,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 2,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||||
"metadata": {
|
||||
"node_id": "5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.005641018480833784,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 3,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||||
"metadata": {
|
||||
"node_id": "cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004431636476846187,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 4,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||||
"metadata": {
|
||||
"node_id": "f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004269986066248878,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 5,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||||
"metadata": {
|
||||
"node_id": "90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004184941189666428,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 6,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "“数据二十条”的提出",
|
||||
"metadata": {
|
||||
"node_id": "327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0029354478610980612,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 7,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||||
"metadata": {
|
||||
"node_id": "e38d3e0e4674b563982bcd5cd1ec26a0b1ca3f132d337daa172449acae175c0d",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0029354478610980612,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 8,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展",
|
||||
"metadata": {
|
||||
"node_id": "d5ee55564eb846724ff58c21d820cd8a707a3aa64993c6fb3ceb062f52fddc05",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0029354478610980612,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 9,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "企业开展数据流通服务创造了良好的环境。",
|
||||
"metadata": {
|
||||
"node_id": "1f50d1daccca477b7b1e644e4eb617d9316bb954774db3d5dd038e306e1a6e5a",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0029354478610980612,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 10,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||||
"metadata": {
|
||||
"node_id": "da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.08712097699344519,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08247856,
|
||||
"rank": 11,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向",
|
||||
"metadata": {
|
||||
"node_id": "9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.006848923856265025,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08724103500000001,
|
||||
"rank": 12,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||||
"metadata": {
|
||||
"node_id": "114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.004635526868374358,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08440419500000002,
|
||||
"rank": 13,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "数据研发运营一体化(DataOps)是数据开发的哪种范式?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||||
"metadata": {
|
||||
"node_id": "fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.00832175679384141,
|
||||
"edge_score": 1.781126,
|
||||
"passage_score": 0.0,
|
||||
"rank": 1,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。",
|
||||
"metadata": {
|
||||
"node_id": "2f222f53bad572b56b485badbccb1f0a2d95887140618044aa4570a173f9cced",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.008309279627434215,
|
||||
"edge_score": 1.776636,
|
||||
"passage_score": 0.0,
|
||||
"rank": 2,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "数据研发管理环节包括需求管理、设计管理、数据开发和自助分析。",
|
||||
"metadata": {
|
||||
"node_id": "e13c374b2e0d28363535b948b82692adf29763d5a43df19b0b7ea4f4c15d016d",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0056957040622676305,
|
||||
"edge_score": 1.781126,
|
||||
"passage_score": 0.0,
|
||||
"rank": 5,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
||||
"metadata": {
|
||||
"node_id": "54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0033426739391995215,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 6,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "华为终端、浙江移动、中国农业银行、江苏移动等企业构建了跨职能团队、专职组织或设立了专职人员来促进业务部门与数据部门的紧密合作。",
|
||||
"metadata": {
|
||||
"node_id": "f28343612362bd4309f0461469c98665ea8242c1bfec8ebceb97bab7b4040d68",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.00298030797028519,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 7,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "形成‘先设计、后开发、先标准、后建模’的数据治理模式，中国工商银行实施了大数据质量门禁，包括大数据代码规范扫描、单元测试覆盖、UTTD。",
|
||||
"metadata": {
|
||||
"node_id": "daccb4f23c08a4ef8394f257711df0715723916de3c3e8baebe68b0b8705a18c",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.0028117959005398937,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 8,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "某大型互联网企业普及了自动化测试平台，包括集成自动化风险标记、自动化测试用例转监控等功能。",
|
||||
"metadata": {
|
||||
"node_id": "38d6f7019df68656457904d0da88bce501f071a71b45fe6458eb1bdb13c1efc6",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.002803264728776074,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 9,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
||||
"metadata": {
|
||||
"node_id": "6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.00273840111463471,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.0,
|
||||
"rank": 10,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||||
"metadata": {
|
||||
"node_id": "4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.04722715073726205,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08900392000000001,
|
||||
"rank": 11,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||||
"metadata": {
|
||||
"node_id": "b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.018562616200450615,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08841267000000001,
|
||||
"rank": 13,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "数据研发运营一体化(DataOps)在数据开发中的作用是什么?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "助力企业提升数据研发治理效率",
|
||||
"metadata": {
|
||||
"node_id": "1b6b77e038badf416067aa96ebd483cd4418fa162b6be2cd85b43b0c3b9ff669",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.005614383229461582,
|
||||
"edge_score": 1.7648816,
|
||||
"passage_score": 0.0,
|
||||
"rank": 3,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "建设 DataOps 体系的企业团队",
|
||||
"metadata": {
|
||||
"node_id": "c524451db5a5555d65fb9eb0f16f6f5c9f2ed0a9996401a532b8ac506b74c81c",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.005395428413711078,
|
||||
"edge_score": 1.7678206,
|
||||
"passage_score": 0.0,
|
||||
"rank": 4,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "构建自动化、标准化的数据测试交付流程，保障数据开发团队高效地进行开发和测试",
|
||||
"metadata": {
|
||||
"node_id": "c2881d198b8b007e43fa7e7f3d57b03dc6093873ab09d9c7b42b2565b977588d",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.005395428413711078,
|
||||
"edge_score": 1.7678206,
|
||||
"passage_score": 0.0,
|
||||
"rank": 5,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "对数据平台工具提出技术要求，指导企业建设完善的DataOps数据研发工具链",
|
||||
"metadata": {
|
||||
"node_id": "c1feac627a7cf0a4a3bd774d5e5d81f31a59a47a335e6e46b9682ab1c7983a44",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004255482953587778,
|
||||
"edge_score": 1.7638936,
|
||||
"passage_score": 0.0,
|
||||
"rank": 6,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "DataOps能力框架引领企业构建集开发、治理、运营于一体的自动化数据流水线",
|
||||
"metadata": {
|
||||
"node_id": "aba765ebba60737c35e6ab187b4188a23a275ae9e6a3232f38dd84a4a58b4878",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004207852215048899,
|
||||
"edge_score": 1.7641821,
|
||||
"passage_score": 0.0,
|
||||
"rank": 7,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "发现 DataOps 能力短板，明确持续优化的方向，释放数据要素价值",
|
||||
"metadata": {
|
||||
"node_id": "d766c6dab1d838148fb9e12957115668db50a591c225604b47295b3c2d2e9121",
|
||||
"node_type": "event",
|
||||
"ppr_score": 0.004131765818513003,
|
||||
"edge_score": 1.7648816,
|
||||
"passage_score": 0.0,
|
||||
"rank": 8,
|
||||
"source": "hipporag2_langchain_event",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||||
"metadata": {
|
||||
"node_id": "21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.02123183866659245,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08794080500000001,
|
||||
"rank": 12,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"page_content": "# 交付管理是 DataOps 实践的重要环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n* 数据交付质量是确保数据从采集、处理到应用服务的重要基础。建设 DataOps 体系的企业团队依托交付管理标准指引构建自动化、标准化的数据测试交付流程，保障数据开发团队高效地进行开发和测试，助力企业提升数据产品交付质量和效率。\\n\\n### 标准化交付流程\\n\\n建立标准化的测试流程规范和高效的协同机制，促进开发人员、测试人员以及质量管理人员之间的紧密合作，共同推进测试工作的顺利进行。\\n\\n\\n\\n### 多层次数据测试体系\\n\\n建立标准化的测试流程规范和高效的协同机制，促进开发人员、测试人员以及质量管理人员之间的紧密合作，共同推进测试工作的顺利进行。\\n\\n\\n\\n### 测试与开发环节耦合\\n\\n将数据测试环节与设计开发环节耦合，在开发阶段持续测试，有助于数据标准、质量规则的贯彻落实，有助于提升数据质量和开发效率。\\n\\n\\n\\n### 自动化发布流水线\\n\\n构建自动化数据发布流水线，实现自动化的数据管道构建、测试和部署，提升数据发布的可追溯性，有效提高数据计算资源利用率和交付效率。\\n\\n",
|
||||
"metadata": {
|
||||
"node_id": "252b3eaad96203bfc2382421de1aa16e3982d487c47143866b22cc180396047d",
|
||||
"node_type": "text",
|
||||
"ppr_score": 0.017168021182171644,
|
||||
"edge_score": 0.0,
|
||||
"passage_score": 0.08535756,
|
||||
"rank": 13,
|
||||
"source": "hipporag2_langchain_text",
|
||||
"query": "什么是数据研发运营一体化(DataOps)?",
|
||||
"pagerank_available": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"all_passages": [
|
||||
"将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||||
"数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||||
"随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||||
"加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||||
"“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||||
"“数据二十条”的提出",
|
||||
"健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展",
|
||||
"企业开展数据流通服务创造了良好的环境。",
|
||||
"## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||||
"# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向",
|
||||
"DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||||
"DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||||
"企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。",
|
||||
"数据研发管理环节包括需求管理、设计管理、数据开发和自助分析。",
|
||||
"中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
||||
"华为终端、浙江移动、中国农业银行、江苏移动等企业构建了跨职能团队、专职组织或设立了专职人员来促进业务部门与数据部门的紧密合作。",
|
||||
"形成‘先设计、后开发、先标准、后建模’的数据治理模式，中国工商银行实施了大数据质量门禁，包括大数据代码规范扫描、单元测试覆盖、UTTD。",
|
||||
"某大型互联网企业普及了自动化测试平台，包括集成自动化风险标记、自动化测试用例转监控等功能。",
|
||||
"DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
||||
"# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||||
"# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||||
"助力企业提升数据研发治理效率",
|
||||
"建设 DataOps 体系的企业团队",
|
||||
"构建自动化、标准化的数据测试交付流程，保障数据开发团队高效地进行开发和测试",
|
||||
"对数据平台工具提出技术要求，指导企业建设完善的DataOps数据研发工具链",
|
||||
"DataOps能力框架引领企业构建集开发、治理、运营于一体的自动化数据流水线",
|
||||
"发现 DataOps 能力短板，明确持续优化的方向，释放数据要素价值",
|
||||
"# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||||
"# 交付管理是 DataOps 实践的重要环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n* 数据交付质量是确保数据从采集、处理到应用服务的重要基础。建设 DataOps 体系的企业团队依托交付管理标准指引构建自动化、标准化的数据测试交付流程，保障数据开发团队高效地进行开发和测试，助力企业提升数据产品交付质量和效率。\\n\\n### 标准化交付流程\\n\\n建立标准化的测试流程规范和高效的协同机制，促进开发人员、测试人员以及质量管理人员之间的紧密合作，共同推进测试工作的顺利进行。\\n\\n\\n\\n### 多层次数据测试体系\\n\\n建立标准化的测试流程规范和高效的协同机制，促进开发人员、测试人员以及质量管理人员之间的紧密合作，共同推进测试工作的顺利进行。\\n\\n\\n\\n### 测试与开发环节耦合\\n\\n将数据测试环节与设计开发环节耦合，在开发阶段持续测试，有助于数据标准、质量规则的贯彻落实，有助于提升数据质量和开发效率。\\n\\n\\n\\n### 自动化发布流水线\\n\\n构建自动化数据发布流水线，实现自动化的数据管道构建、测试和部署，提升数据发布的可追溯性，有效提高数据计算资源利用率和交付效率。\\n\\n"
|
||||
],
|
||||
"passage_sources": [
|
||||
"原始查询-event-f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||||
"原始查询-event-774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||||
"原始查询-event-5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||||
"原始查询-event-cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||||
"原始查询-event-f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||||
"原始查询-event-90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||||
"原始查询-event-327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||||
"原始查询-event-e38d3e0e4674b563982bcd5cd1ec26a0b1ca3f132d337daa172449acae175c0d",
|
||||
"原始查询-event-d5ee55564eb846724ff58c21d820cd8a707a3aa64993c6fb3ceb062f52fddc05",
|
||||
"原始查询-event-1f50d1daccca477b7b1e644e4eb617d9316bb954774db3d5dd038e306e1a6e5a",
|
||||
"原始查询-text-da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||||
"原始查询-text-9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6",
|
||||
"原始查询-text-114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||||
"子查询2-event-fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||||
"子查询2-event-2f222f53bad572b56b485badbccb1f0a2d95887140618044aa4570a173f9cced",
|
||||
"子查询2-event-e13c374b2e0d28363535b948b82692adf29763d5a43df19b0b7ea4f4c15d016d",
|
||||
"子查询2-event-54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
||||
"子查询2-event-f28343612362bd4309f0461469c98665ea8242c1bfec8ebceb97bab7b4040d68",
|
||||
"子查询2-event-daccb4f23c08a4ef8394f257711df0715723916de3c3e8baebe68b0b8705a18c",
|
||||
"子查询2-event-38d6f7019df68656457904d0da88bce501f071a71b45fe6458eb1bdb13c1efc6",
|
||||
"子查询2-event-6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
||||
"子查询2-text-4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||||
"子查询2-text-b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||||
"子查询1-event-1b6b77e038badf416067aa96ebd483cd4418fa162b6be2cd85b43b0c3b9ff669",
|
||||
"子查询1-event-c524451db5a5555d65fb9eb0f16f6f5c9f2ed0a9996401a532b8ac506b74c81c",
|
||||
"子查询1-event-c2881d198b8b007e43fa7e7f3d57b03dc6093873ab09d9c7b42b2565b977588d",
|
||||
"子查询1-event-c1feac627a7cf0a4a3bd774d5e5d81f31a59a47a335e6e46b9682ab1c7983a44",
|
||||
"子查询1-event-aba765ebba60737c35e6ab187b4188a23a275ae9e6a3232f38dd84a4a58b4878",
|
||||
"子查询1-event-d766c6dab1d838148fb9e12957115668db50a591c225604b47295b3c2d2e9121",
|
||||
"子查询1-text-21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||||
"子查询1-text-252b3eaad96203bfc2382421de1aa16e3982d487c47143866b22cc180396047d"
|
||||
],
|
||||
"pagerank_data_available": true,
|
||||
"pagerank_summary": {},
|
||||
"concept_exploration_results": {},
|
||||
"exploration_round": 0,
|
||||
"debug_info": {
|
||||
"total_time": 37.624143838882446,
|
||||
"retrieval_calls": 1,
|
||||
"llm_calls": 4,
|
||||
"langsmith_project": "hipporag-retriever",
|
||||
"token_usage_summary": {
|
||||
"has_llm": true,
|
||||
"has_generator": true,
|
||||
"last_call": {
|
||||
"prompt_tokens": 4411,
|
||||
"completion_tokens": 663,
|
||||
"total_tokens": 5074
|
||||
},
|
||||
"total_usage": {
|
||||
"prompt_tokens": 9704,
|
||||
"completion_tokens": 876,
|
||||
"total_tokens": 10580,
|
||||
"call_count": 4
|
||||
},
|
||||
"model_name": "qwen2-7b-instruct",
|
||||
"has_last_usage": true,
|
||||
"has_total_usage": true
|
||||
},
|
||||
"complexity_analysis": {
|
||||
"is_complex": true,
|
||||
"complexity_level": "complex",
|
||||
"confidence": 0.95,
|
||||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。首先，需要解释数据研发运营一体化(DataOps)的概念，其次，需要理解数据开发的不同范式，最后，通过比较和分析确定DataOps在这些范式中的定位。这涉及到理论知识的综合运用和概念间的逻辑关联。"
|
||||
},
|
||||
"debug_mode_analysis": {
|
||||
"debug_mode": "0",
|
||||
"debug_override": {},
|
||||
"path_override_applied": false
|
||||
},
|
||||
"sufficiency_analysis": {
|
||||
"final_sufficiency": true,
|
||||
"sufficiency_check_details": {
|
||||
"is_sufficient": true,
|
||||
"confidence": 0.9,
|
||||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，如DataOps的概念、作用、实施案例和实践建议，这足以解释数据研发运营一体化(DataOps)是数据开发的一种范式。",
|
||||
"iteration": 0
|
||||
},
|
||||
"iteration_sufficiency_history": [],
|
||||
"sufficiency_progression": {
|
||||
"status": "no_sufficiency_checks"
|
||||
}
|
||||
},
|
||||
"routing_analysis": {
|
||||
"total_routing_decisions": 1,
|
||||
"sub_query_generation_count": 0,
|
||||
"parallel_retrieval_count": 0,
|
||||
"pagerank_collection_count": 0
|
||||
},
|
||||
"concept_exploration_analysis": {
|
||||
"exploration_enabled": false,
|
||||
"exploration_rounds": 0,
|
||||
"pagerank_nodes_analyzed": 0,
|
||||
"successful_branches_total": 0,
|
||||
"total_branches_attempted": 0
|
||||
}
|
||||
},
|
||||
"iteration_history": [
|
||||
{
|
||||
"iteration": 0,
|
||||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||||
"passages_count": 31,
|
||||
"action": "retrieval"
|
||||
},
|
||||
{
|
||||
"iteration": 0,
|
||||
"action": "sufficiency_check",
|
||||
"is_sufficient": true,
|
||||
"confidence": 0.9,
|
||||
"sub_queries_count": 0
|
||||
},
|
||||
{
|
||||
"iteration": 0,
|
||||
"action": "final_answer_generation",
|
||||
"answer_length": 1243
|
||||
}
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user