474 lines
60 KiB
JSON
474 lines
60 KiB
JSON
{
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"answer": "【检索结果汇总】\n\n查询问题：数据研发运营一体化（DataOps）是数据开发的哪种范式？\n\n检索到 22 个相关段落：\n\n【事件信息】\n\n事件1：将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。\n\n事件2：数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。\n\n事件3：随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。\n\n事件4：加强数据生态系统的建设，鼓励实现数据开放共享。\n\n事件5：随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。\n\n事件6：“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。\n\n事件7：充分利用AI和大模型技术优化数据策略。\n\n事件8：“数据二十条”的提出\n\n事件9：编写了一篇关于DataOps实践指南的文章\n\n事件10：大会发布DataOps实践案例集\n\n事件11：通用人工智能的发展\n\n事件12：智能化的血液给 DataOps\n\n事件13：企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。\n\n事件14：标准引领，建设 DataOps 体系\n\n事件15：集开发、治理、运营于一体的自动化数据流水线\n\n事件16：DataOps成为企业数字化转型快速释放数据生产力的最佳方案。\n\n\n\n【段落信息】\n\n段落1：## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。\n\n段落2：# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略\n\n段落3：# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题\n\n段落4：# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能\n\n段落5：# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具\n\n段落6：# 数据研发运营一体化 (Dataops) 能力成熟度模型\\n\\n\\n\\n## 数据驱动时代，企业面对快速激增的业务需求和复杂的数据处理流程，DataOps 通过构建高效协同机制，为企业解决数据需求与数据生产力不足之间的矛盾提供了全新的实践思路。\\n\\n### 业务需求\\n\\n\\n\\n#### 2022 年，中国信息通信研究院依托大数据技术标准推进委员会牵头成立了 DataOps 工作组，不断完善 DataOps 理念定义，并提出 DataOps 能力模型框架。\\n\\n#### DataOps 能力模型围绕数据开发流程形成 “4+3” 的架构，包括 4 个数据研发运营核心环节和 3 项核心保障职能。\\n\\n#### DataOps 能力框架通过三项核心保障促进企业打造跨域协同机制，通过四个数据研发运营核心环节引领企业构建集开发、治理、运营于一体的自动化数据流水线。\\n\\n## 数据研发运营一体化 (Dataops) 能力成熟度模型的发展\\n\\n### 2024 DataOps 发展大会\\n\\n- 中国信息通信研究院依托大数据技术标准推进委员会牵头研制 DataOps 系列标准，先后完成研发管理、系统工具、交付管理的标准编制，为企业研发运营一体化能力的建设提供实践思路。\\n\\n构建自动化、标准化的数据测试交付流程，助力企业提升数据产品交付质量和效率。\\n\\n对数据研发管理工作进行标准化，将数据治理工作融入数据研发过程，形成闭环。\\n\\n对数据平台工具提出技术要求，指导企业建设完善的 DataOps 数据研发工具链。\\n\\n自 DataOps 系列标准启动评估起，来自金融、通信运营商、互联网行业的多家企业参与标准评估，**研发管理方面**，6 家国有大型商业银行已有半数参与评估，运营商中国移动已通过 3 个项目评估。**系统工具方面**，网易（网易数帆）、抖音（火山引擎）、联想集团率先参与了系统工具的评测。\\n\\n| 通过 / 报名企业 | 研发管理 | 系统工具 | 交付管理（预报名） | 数据运维（预报名） |\\n\\n| :-------------- | :------- | :------- | :----------------- | :----------------- |\\n\\n| 中国农业银行 | 1 | | 1 | 1 |\\n\\n| 中国工商银行 | 1 | | | |\\n\\n| 交通银行（进行中） | 1 | | | |\\n\\n| 北京银行 | 1 | | | |\\n\\n| 浙江移动 | 2 | | | |\\n\\n| 江苏移动 | 1 | | | |\\n\\n| 中信建投证券 | 1 | | | |\\n\\n| 人保信息科技（进行中） | 1 | | | |\\n\\n| 网易数帆 | | | 1 | |\\n\\n| 火山引擎 | | | 1 | |\\n\\n| 联想 | | | 1 | |\n\n\n相关子查询：\n数据研发运营一体化（DataOps）是什么？、DataOps在数据开发中扮演哪种范式角色？\n\n检索统计：\n- 查询复杂度：{'is_complex': True, 'complexity_level': 'complex', 'confidence': 0.95, 'reason': '这是一个复杂查询，需要生成多方面的多个子查询来回答。首先，需要解释数据研发运营一体化（DataOps）的概念，包括其在数据开发领域的应用和价值；其次，需要定义数据开发的范式，并列举常见的几种范式；最后，对比分析数据研发运营一体化与这些范式之间的关系，指出它属于哪一种或是一种新的范式。'}\n- 是否复杂查询：True\n- 迭代次数：0\n- 信息充分性：True\n",
|
||
"query_complexity": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。首先，需要解释数据研发运营一体化（DataOps）的概念，包括其在数据开发领域的应用和价值；其次，需要定义数据开发的范式，并列举常见的几种范式；最后，对比分析数据研发运营一体化与这些范式之间的关系，指出它属于哪一种或是一种新的范式。"
|
||
},
|
||
"is_complex_query": true,
|
||
"retrieval_path": "complex_hipporag",
|
||
"iterations": 0,
|
||
"total_passages": 22,
|
||
"sub_queries": [
|
||
"数据研发运营一体化（DataOps）是什么？",
|
||
"DataOps在数据开发中扮演哪种范式角色？"
|
||
],
|
||
"decomposed_sub_queries": [
|
||
"数据研发运营一体化（DataOps）是什么？",
|
||
"DataOps在数据开发中扮演哪种范式角色？"
|
||
],
|
||
"initial_retrieval_details": {},
|
||
"sufficiency_check": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，特别是段落信息中的'DataOps是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。'",
|
||
"iteration": 0
|
||
},
|
||
"current_sub_queries": [],
|
||
"is_sufficient": true,
|
||
"all_documents": [
|
||
{
|
||
"page_content": "将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"metadata": {
|
||
"node_id": "f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"node_type": "event",
|
||
"ppr_score": 0.044878578233237404,
|
||
"edge_score": 1.9267148,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"metadata": {
|
||
"node_id": "774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00851736356528633,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"metadata": {
|
||
"node_id": "5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.006105431612090623,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"metadata": {
|
||
"node_id": "cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004807805256508123,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"metadata": {
|
||
"node_id": "f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004620862133836918,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"metadata": {
|
||
"node_id": "90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004589980920492968,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "充分利用AI和大模型技术优化数据策略。",
|
||
"metadata": {
|
||
"node_id": "8d94db6c8cd0cf40c82b98b1751dd5f3c4eca41eb3b6fe7533aa2fba808ee136",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0032863047182789093,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "“数据二十条”的提出",
|
||
"metadata": {
|
||
"node_id": "327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003282101667628374,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"metadata": {
|
||
"node_id": "da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"node_type": "text",
|
||
"ppr_score": 0.10922968932804322,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.43087663931212294,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"metadata": {
|
||
"node_id": "b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"node_type": "text",
|
||
"ppr_score": 0.018557891889344903,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.46737251132098295,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"metadata": {
|
||
"node_id": "21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"node_type": "text",
|
||
"ppr_score": 0.018052387668441486,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.466194981241,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "编写了一篇关于DataOps实践指南的文章",
|
||
"metadata": {
|
||
"node_id": "c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.011139923504670876,
|
||
"edge_score": 1.7836399,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "大会发布DataOps实践案例集",
|
||
"metadata": {
|
||
"node_id": "5b9c006ae92674849cce1341f011c4b311f8733b03b1581a2f74145f71ae7eca",
|
||
"node_type": "event",
|
||
"ppr_score": 0.007684527090044721,
|
||
"edge_score": 1.7716525,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "通用人工智能的发展",
|
||
"metadata": {
|
||
"node_id": "1c83e5476cbbe56a679fe512bf7d9e17c9229bbd78f3b0dc76b85dcfc476f68e",
|
||
"node_type": "event",
|
||
"ppr_score": 0.007269737155920568,
|
||
"edge_score": 1.7826123,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "智能化的血液给 DataOps",
|
||
"metadata": {
|
||
"node_id": "71475e9a330dc9509951f092f3a2af618463016eebaba195204f71d2ce1133a9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.007269737155920568,
|
||
"edge_score": 1.7826123,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。",
|
||
"metadata": {
|
||
"node_id": "2f222f53bad572b56b485badbccb1f0a2d95887140618044aa4570a173f9cced",
|
||
"node_type": "event",
|
||
"ppr_score": 0.006973101460619105,
|
||
"edge_score": 1.78219,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "标准引领，建设 DataOps 体系",
|
||
"metadata": {
|
||
"node_id": "adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0063983368014538895,
|
||
"edge_score": 1.822812,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "集开发、治理、运营于一体的自动化数据流水线",
|
||
"metadata": {
|
||
"node_id": "1f46cbdefe4f148723809ffe0260ab720e23fd6fe4ddcb2edd6ce67ba5baf612",
|
||
"node_type": "event",
|
||
"ppr_score": 0.005053969427121489,
|
||
"edge_score": 1.7951853,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
||
"metadata": {
|
||
"node_id": "0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0048628583617282995,
|
||
"edge_score": 1.7855432,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"metadata": {
|
||
"node_id": "4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"node_type": "text",
|
||
"ppr_score": 0.028218188514812757,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4630402294850939,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具",
|
||
"metadata": {
|
||
"node_id": "80e3b9fe847d2774e596b9add8567d0ca2100e688360734db7a08fab029ddaa7",
|
||
"node_type": "text",
|
||
"ppr_score": 0.022734578961521323,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.45403200805829214,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 数据研发运营一体化 (Dataops) 能力成熟度模型\\n\\n\\n\\n## 数据驱动时代，企业面对快速激增的业务需求和复杂的数据处理流程，DataOps 通过构建高效协同机制，为企业解决数据需求与数据生产力不足之间的矛盾提供了全新的实践思路。\\n\\n### 业务需求\\n\\n\\n\\n#### 2022 年，中国信息通信研究院依托大数据技术标准推进委员会牵头成立了 DataOps 工作组，不断完善 DataOps 理念定义，并提出 DataOps 能力模型框架。\\n\\n#### DataOps 能力模型围绕数据开发流程形成 “4+3” 的架构，包括 4 个数据研发运营核心环节和 3 项核心保障职能。\\n\\n#### DataOps 能力框架通过三项核心保障促进企业打造跨域协同机制，通过四个数据研发运营核心环节引领企业构建集开发、治理、运营于一体的自动化数据流水线。\\n\\n## 数据研发运营一体化 (Dataops) 能力成熟度模型的发展\\n\\n### 2024 DataOps 发展大会\\n\\n- 中国信息通信研究院依托大数据技术标准推进委员会牵头研制 DataOps 系列标准，先后完成研发管理、系统工具、交付管理的标准编制，为企业研发运营一体化能力的建设提供实践思路。\\n\\n构建自动化、标准化的数据测试交付流程，助力企业提升数据产品交付质量和效率。\\n\\n对数据研发管理工作进行标准化，将数据治理工作融入数据研发过程，形成闭环。\\n\\n对数据平台工具提出技术要求，指导企业建设完善的 DataOps 数据研发工具链。\\n\\n自 DataOps 系列标准启动评估起，来自金融、通信运营商、互联网行业的多家企业参与标准评估，**研发管理方面**，6 家国有大型商业银行已有半数参与评估，运营商中国移动已通过 3 个项目评估。**系统工具方面**，网易（网易数帆）、抖音（火山引擎）、联想集团率先参与了系统工具的评测。\\n\\n| 通过 / 报名企业 | 研发管理 | 系统工具 | 交付管理（预报名） | 数据运维（预报名） |\\n\\n| :-------------- | :------- | :------- | :----------------- | :----------------- |\\n\\n| 中国农业银行 | 1 | | 1 | 1 |\\n\\n| 中国工商银行 | 1 | | | |\\n\\n| 交通银行（进行中） | 1 | | | |\\n\\n| 北京银行 | 1 | | | |\\n\\n| 浙江移动 | 2 | | | |\\n\\n| 江苏移动 | 1 | | | |\\n\\n| 中信建投证券 | 1 | | | |\\n\\n| 人保信息科技（进行中） | 1 | | | |\\n\\n| 网易数帆 | | | 1 | |\\n\\n| 火山引擎 | | | 1 | |\\n\\n| 联想 | | | 1 | |",
|
||
"metadata": {
|
||
"node_id": "e435be790f9a02679277d32da3e4b676369c7802fdea0a3725c3cde05b8b058f",
|
||
"node_type": "text",
|
||
"ppr_score": 0.02240714809544724,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.4561271572146123,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps在数据开发中扮演哪种范式角色？",
|
||
"pagerank_available": true
|
||
}
|
||
}
|
||
],
|
||
"all_passages": [
|
||
"将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"充分利用AI和大模型技术优化数据策略。",
|
||
"“数据二十条”的提出",
|
||
"## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"编写了一篇关于DataOps实践指南的文章",
|
||
"大会发布DataOps实践案例集",
|
||
"通用人工智能的发展",
|
||
"智能化的血液给 DataOps",
|
||
"企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。",
|
||
"标准引领，建设 DataOps 体系",
|
||
"集开发、治理、运营于一体的自动化数据流水线",
|
||
"DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
||
"# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"# DataOps 未来展望\\n\\n经过 2、3 年的实践，国内 DataOps 体系逐步完善起来，然而 DataOps 仍然还在发展变化中，一方面通用人工智能的发展为 DataOps 注入了智能化的血液，另一方数据估值与资产化对 DataOps 的能力提出新的要求。\\n\\n## 1. 数据流程可观测\\n\\n* 全程精确追踪、记录、审计\\n\\n* 引入分布式追踪技术和实时监控系统\\n\\n* 实时监控和警报功能\\n\\n## 2. 数据工程智能化\\n\\n增强数据价值传递过程的智能化与自动化\\n\\n\\n\\n为人工智能提供高效、高质量且安全的数据支持\\n\\n## 3. 数据价值精准量化\\n\\n\\n\\n自动数据资源价值全生命周期管理识别、精细化管理高价值数据\\n\\n数据估值体系\\n\\n嵌入\\n\\n系统工具",
|
||
"# 数据研发运营一体化 (Dataops) 能力成熟度模型\\n\\n\\n\\n## 数据驱动时代，企业面对快速激增的业务需求和复杂的数据处理流程，DataOps 通过构建高效协同机制，为企业解决数据需求与数据生产力不足之间的矛盾提供了全新的实践思路。\\n\\n### 业务需求\\n\\n\\n\\n#### 2022 年，中国信息通信研究院依托大数据技术标准推进委员会牵头成立了 DataOps 工作组，不断完善 DataOps 理念定义，并提出 DataOps 能力模型框架。\\n\\n#### DataOps 能力模型围绕数据开发流程形成 “4+3” 的架构，包括 4 个数据研发运营核心环节和 3 项核心保障职能。\\n\\n#### DataOps 能力框架通过三项核心保障促进企业打造跨域协同机制，通过四个数据研发运营核心环节引领企业构建集开发、治理、运营于一体的自动化数据流水线。\\n\\n## 数据研发运营一体化 (Dataops) 能力成熟度模型的发展\\n\\n### 2024 DataOps 发展大会\\n\\n- 中国信息通信研究院依托大数据技术标准推进委员会牵头研制 DataOps 系列标准，先后完成研发管理、系统工具、交付管理的标准编制，为企业研发运营一体化能力的建设提供实践思路。\\n\\n构建自动化、标准化的数据测试交付流程，助力企业提升数据产品交付质量和效率。\\n\\n对数据研发管理工作进行标准化，将数据治理工作融入数据研发过程，形成闭环。\\n\\n对数据平台工具提出技术要求，指导企业建设完善的 DataOps 数据研发工具链。\\n\\n自 DataOps 系列标准启动评估起，来自金融、通信运营商、互联网行业的多家企业参与标准评估，**研发管理方面**，6 家国有大型商业银行已有半数参与评估，运营商中国移动已通过 3 个项目评估。**系统工具方面**，网易（网易数帆）、抖音（火山引擎）、联想集团率先参与了系统工具的评测。\\n\\n| 通过 / 报名企业 | 研发管理 | 系统工具 | 交付管理（预报名） | 数据运维（预报名） |\\n\\n| :-------------- | :------- | :------- | :----------------- | :----------------- |\\n\\n| 中国农业银行 | 1 | | 1 | 1 |\\n\\n| 中国工商银行 | 1 | | | |\\n\\n| 交通银行（进行中） | 1 | | | |\\n\\n| 北京银行 | 1 | | | |\\n\\n| 浙江移动 | 2 | | | |\\n\\n| 江苏移动 | 1 | | | |\\n\\n| 中信建投证券 | 1 | | | |\\n\\n| 人保信息科技（进行中） | 1 | | | |\\n\\n| 网易数帆 | | | 1 | |\\n\\n| 火山引擎 | | | 1 | |\\n\\n| 联想 | | | 1 | |"
|
||
],
|
||
"passage_sources": [
|
||
"子查询1-event-f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"子查询1-event-774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"子查询1-event-5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"子查询1-event-cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"子查询1-event-f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"子查询1-event-90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"子查询1-event-8d94db6c8cd0cf40c82b98b1751dd5f3c4eca41eb3b6fe7533aa2fba808ee136",
|
||
"子查询1-event-327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||
"子查询1-text-da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"子查询1-text-b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"子查询1-text-21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"子查询2-event-c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"子查询2-event-5b9c006ae92674849cce1341f011c4b311f8733b03b1581a2f74145f71ae7eca",
|
||
"子查询2-event-1c83e5476cbbe56a679fe512bf7d9e17c9229bbd78f3b0dc76b85dcfc476f68e",
|
||
"子查询2-event-71475e9a330dc9509951f092f3a2af618463016eebaba195204f71d2ce1133a9",
|
||
"子查询2-event-2f222f53bad572b56b485badbccb1f0a2d95887140618044aa4570a173f9cced",
|
||
"子查询2-event-adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"子查询2-event-1f46cbdefe4f148723809ffe0260ab720e23fd6fe4ddcb2edd6ce67ba5baf612",
|
||
"子查询2-event-0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
||
"子查询2-text-4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"子查询2-text-80e3b9fe847d2774e596b9add8567d0ca2100e688360734db7a08fab029ddaa7",
|
||
"子查询2-text-e435be790f9a02679277d32da3e4b676369c7802fdea0a3725c3cde05b8b058f"
|
||
],
|
||
"pagerank_data_available": true,
|
||
"pagerank_summary": {},
|
||
"concept_exploration_results": {},
|
||
"exploration_round": 0,
|
||
"debug_info": {
|
||
"total_time": 21.149810314178467,
|
||
"retrieval_calls": 1,
|
||
"llm_calls": 4,
|
||
"langsmith_project": "rag-api-service",
|
||
"token_usage_summary": {
|
||
"has_llm": true,
|
||
"has_generator": true,
|
||
"last_call": {
|
||
"prompt_tokens": 3740,
|
||
"completion_tokens": 94,
|
||
"total_tokens": 3834
|
||
},
|
||
"total_usage": {
|
||
"prompt_tokens": 4749,
|
||
"completion_tokens": 319,
|
||
"total_tokens": 5068,
|
||
"call_count": 3
|
||
},
|
||
"model_name": "qwen2-7b-instruct",
|
||
"has_last_usage": true,
|
||
"has_total_usage": true
|
||
},
|
||
"complexity_analysis": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的多个子查询来回答。首先，需要解释数据研发运营一体化（DataOps）的概念，包括其在数据开发领域的应用和价值；其次，需要定义数据开发的范式，并列举常见的几种范式；最后，对比分析数据研发运营一体化与这些范式之间的关系，指出它属于哪一种或是一种新的范式。"
|
||
},
|
||
"debug_mode_analysis": {
|
||
"debug_mode": "0",
|
||
"debug_override": {},
|
||
"path_override_applied": false
|
||
},
|
||
"sufficiency_analysis": {
|
||
"final_sufficiency": true,
|
||
"sufficiency_check_details": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，特别是段落信息中的'DataOps是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。'",
|
||
"iteration": 0
|
||
},
|
||
"iteration_sufficiency_history": [],
|
||
"sufficiency_progression": {
|
||
"status": "no_sufficiency_checks"
|
||
}
|
||
},
|
||
"routing_analysis": {
|
||
"total_routing_decisions": 1,
|
||
"sub_query_generation_count": 0,
|
||
"parallel_retrieval_count": 0,
|
||
"pagerank_collection_count": 0
|
||
},
|
||
"concept_exploration_analysis": {
|
||
"exploration_enabled": false,
|
||
"exploration_rounds": 0,
|
||
"pagerank_nodes_analyzed": 0,
|
||
"successful_branches_total": 0,
|
||
"total_branches_attempted": 0
|
||
}
|
||
},
|
||
"iteration_history": [
|
||
{
|
||
"iteration": 0,
|
||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||
"passages_count": 22,
|
||
"action": "retrieval"
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "sufficiency_check",
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"sub_queries_count": 0
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "final_answer_generation",
|
||
"answer_length": 6917
|
||
}
|
||
]
|
||
} |