1450 lines
107 KiB
JSON
1450 lines
107 KiB
JSON
{
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"answer": "【检索结果汇总】\n\n查询问题：数据研发运营一体化（DataOps）是数据开发的哪种范式？\n\n检索到 83 个相关段落：\n\n【事件信息】\n\n事件1：将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。\n\n事件2：数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。\n\n事件3：编写了一篇关于DataOps实践指南的文章\n\n事件4：实施数据治理策略\n\n事件5：提高开发效率和产品质量\n\n事件6：建立数据管道\n\n事件7：集成DevOps实践\n\n事件8：随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。\n\n事件9：加强数据生态系统的建设，鼓励实现数据开放共享。\n\n事件10：“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。\n\n事件11：随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。\n\n事件12：理解DataOps的基本概念\n\n事件13：增强业务洞察力和决策能力\n\n事件14：充分利用AI和大模型技术优化数据策略。\n\n事件15：“数据二十条”的提出\n\n事件16：健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。\n\n事件17：随着数据要素流通政策的不断完善，要素市场的健康有序发展\n\n事件18：企业开展数据流通服务创造了良好的环境。\n\n事件19：越来越多的企业利用自身数据积累优势和服务能力优势\n\n事件20：形成可流通交易的数据产品，提供针对性的数据产品与解决方案。\n\n事件21：形成可流通交易的数据产品\n\n事件22：完善数据产品全流程合规管理，充分实现数据赋能发展。\n\n事件23：构建集开发、治理、运营于一体的自动化数据流水线\n\n事件24：实现高质量数字化发展。\n\n事件25：充分利用AI和大模型技术\n\n事件26：以快速释放数据生产力。\n\n事件27：加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。\n\n事件28：企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。\n\n事件29：依托全流程自动化测试服务，自动触发测试任务，及时发现配置错误、批量中断、性能隐患等问题，确保应用数据加工的准确性与时效性。\n\n事件30：越来越多的企业利用自身数据积累优势和服务能力优势，深入调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产品与解决方案。\n\n事件31：要素市场的健康有序发展为企业开展数据流通服务创造了良好的环境。\n\n事件32：基于数据血缘辅助平台化应用自动生成大数据集成自动化测试案例，在环境冒烟、版本交付、补丁发版和投产演练等关键节点发挥重要作用，提升应用测试质效。\n\n事件33：构建数据生态系统，企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。\n\n事件34：DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\n\n事件35：推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略等，完善数据产品全流程合规管理，充分实现数据赋能发展。\n\n事件36：通过沙盒数据恢复、数据模拟等服务，辅助平台化应用快速构建带数测试环境。\n\n事件37：数据研发管理\n\n事件38：中国工商银行 DataOps 精心打磨大数据测试服务，为全行用户提供全方位赋能支撑。\n\n事件39：数据需求方主动通过自助分析平台进行数据探查\n\n事件40：系统工具\n\n事件41：决策机制模糊，导致资源浪费或投入不足\n\n事件42：中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。\n\n事件43：中国农业银行、中国工商银行、交通银行、北京银行、浙江移动、江苏移动、中信建投证券、人保信息科技、网易数帆、火山引擎、联想集团参与标准评估\n\n事件44：追求短期收益，市场竞争和业务压力促使企业更关注短期收益和业绩目标的实现，缺乏长远眼光和战略决心\n\n事件45：价值运营\n\n事件46：数据运维\n\n事件47：四个核心环节包括数据研发管理、数据交付管理、数据运维和价值运营。\n\n事件48：数据开发流水线包括数据的研发管理、交付管理、数据运维和价值运营。\n\n事件49：数据交付管理\n\n事件50：数据运维是指以全面立体的持续监控、发现、处理数据问题为目标，构建全链路可观测能力。\n\n事件51：组织管理是指以打造敏捷、协同的数据驱动型组织为目标，优化组织架构、明晰岗位职能。\n\n事件52：安全管控是指以保证个人隐私、数据安全为目标，将安全管控嵌入到数据流水线中，构建数据研发全生命周期的安全管理能力。\n\n事件53：华为终端、浙江移动、中国农业银行、江苏移动等企业构建了跨职能团队、专职组织或设立了专职人员来促进业务部门与数据部门的紧密合作。\n\n事件54：DataOps 能力模型围绕数据开发流水线，从业务需求出发，以创造业务价值为目标，形成“4+3”的能力框架。\n\n事件55：形成‘先设计、后开发、先标准、后建模’的数据治理模式，中国工商银行实施了大数据质量门禁，包括大数据代码规范扫描、单元测试覆盖、UTTD。\n\n事件56：业务导向，“组织、流程、技术”三位一体共同推进\n\n事件57：DataOps理念过热期，领头企业成功案例催化忽视了不同企业实施复杂性和差异性\n\n事件58：实现大数据环境故障自动侦测与报警，形成全自动监控机制。\n\n事件59：组织管理\n\n事件60：安全管控\n\n事件61：DataOps成为企业数字化转型快速释放数据生产力的最佳方案。\n\n事件62：返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]\n\n事件63：通用人工智能的发展为 DataOps 注入了智能化的血液\n\n事件64：DataOps作为一种新兴的数据管理方法，强调数据管理自动化。\n\n事件65：分析段落中的事件及其参与实体\n\n事件66：数据操作团队开始处理数据\n\n事件67：数据被清洗和整理完成\n\n事件68：数据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入。\n\n事件69：DataOps能力模型围绕数据开发流程形成了‘4+3’的架构\n\n事件70：《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存货类数据资产。\n\n事件71：数据分析技术不断发展，包括数据挖掘、预测分析、文本分析等。\n\n事件72：数据资源入表将进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。\n\n事件73：考虑自身需求、痛点和技术架构\n\n事件74：综合考量自身与领先企业的差异性\n\n事件75：分阶段、分步骤地推进\n\n事件76：数据资源入表有助于改善企业资产负债结构、经营利润等财务数据。\n\n事件77：决策机制模糊导致资源浪费或投入不足，企业高层参与度不足，业务部门缺乏主动性和创新性\n\n\n\n【段落信息】\n\n段落1：## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。\n\n段落2：# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略\n\n段落3：# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能\n\n段落4：# DataOps 实践指南 2.0\n\n段落5：DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。\n\n段落6：# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向\n\n\n相关子查询：\n数据研发运营一体化（DataOps）是什么？、DataOps 是数据开发的哪种范式？\n\n检索统计：\n- 查询复杂度：{'is_complex': True, 'complexity_level': 'complex', 'confidence': 0.95, 'reason': '这是一个复杂查询，需要生成多方面的个子查询来回答。用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体分类或范式，这可能涉及到对DataOps概念的理解、与传统数据开发方法的对比以及DataOps如何实现数据开发流程优化等方面的知识。这些问题通常需要从多个角度和层面进行深入分析，因此建议生成多个子查询来覆盖这些方面，以便全面解答用户的问题。'}\n- 是否复杂查询：True\n- 迭代次数：0\n- 信息充分性：True\n",
|
||
"query_complexity": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的个子查询来回答。用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体分类或范式，这可能涉及到对DataOps概念的理解、与传统数据开发方法的对比以及DataOps如何实现数据开发流程优化等方面的知识。这些问题通常需要从多个角度和层面进行深入分析，因此建议生成多个子查询来覆盖这些方面，以便全面解答用户的问题。"
|
||
},
|
||
"is_complex_query": true,
|
||
"retrieval_path": "complex_hipporag",
|
||
"iterations": 0,
|
||
"total_passages": 83,
|
||
"sub_queries": [
|
||
"数据研发运营一体化（DataOps）是什么？",
|
||
"DataOps 是数据开发的哪种范式？"
|
||
],
|
||
"decomposed_sub_queries": [
|
||
"数据研发运营一体化（DataOps）是什么？",
|
||
"DataOps 是数据开发的哪种范式？"
|
||
],
|
||
"initial_retrieval_details": {},
|
||
"sufficiency_check": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，包括DataOps的定义、它如何提高数据产品交付效率与质量、以及它是数据开发的一种新范式等。",
|
||
"iteration": 0
|
||
},
|
||
"current_sub_queries": [],
|
||
"is_sufficient": true,
|
||
"all_documents": [
|
||
{
|
||
"page_content": "将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"metadata": {
|
||
"node_id": "f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"node_type": "event",
|
||
"ppr_score": 0.016263151609129754,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"metadata": {
|
||
"node_id": "774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"node_type": "event",
|
||
"ppr_score": 0.016107989905573834,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "编写了一篇关于DataOps实践指南的文章",
|
||
"metadata": {
|
||
"node_id": "c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0043271065302685945,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "实施数据治理策略",
|
||
"metadata": {
|
||
"node_id": "0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004176719989461178,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提高开发效率和产品质量",
|
||
"metadata": {
|
||
"node_id": "b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004176719989461178,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "建立数据管道",
|
||
"metadata": {
|
||
"node_id": "849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004087713763495656,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "集成DevOps实践",
|
||
"metadata": {
|
||
"node_id": "fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004087713763495656,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"metadata": {
|
||
"node_id": "5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00402173638225951,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"metadata": {
|
||
"node_id": "cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003227303363745961,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"metadata": {
|
||
"node_id": "90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0031076352142059803,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"metadata": {
|
||
"node_id": "f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0030907106892491317,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "理解DataOps的基本概念",
|
||
"metadata": {
|
||
"node_id": "f8be707e2a3fdba6b30480a5054e77d3a0a4c60da19f4f05627ad6e9bdcbe6d3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0029606764318968436,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "增强业务洞察力和决策能力",
|
||
"metadata": {
|
||
"node_id": "07ecce237cbb5aa2b83d942cfb59629b14c440587eb0eb666a56ac4948579c6d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0029606764318968436,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 13,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "充分利用AI和大模型技术优化数据策略。",
|
||
"metadata": {
|
||
"node_id": "8d94db6c8cd0cf40c82b98b1751dd5f3c4eca41eb3b6fe7533aa2fba808ee136",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0022948156915278493,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 14,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "“数据二十条”的提出",
|
||
"metadata": {
|
||
"node_id": "327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 15,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"metadata": {
|
||
"node_id": "e38d3e0e4674b563982bcd5cd1ec26a0b1ca3f132d337daa172449acae175c0d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 16,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "随着数据要素流通政策的不断完善，要素市场的健康有序发展",
|
||
"metadata": {
|
||
"node_id": "d5ee55564eb846724ff58c21d820cd8a707a3aa64993c6fb3ceb062f52fddc05",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 17,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "企业开展数据流通服务创造了良好的环境。",
|
||
"metadata": {
|
||
"node_id": "1f50d1daccca477b7b1e644e4eb617d9316bb954774db3d5dd038e306e1a6e5a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 18,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "越来越多的企业利用自身数据积累优势和服务能力优势",
|
||
"metadata": {
|
||
"node_id": "6f77170a71aebf529613ccac3dd7252fc4911b4a1d0fb084dd5374a51121d2f1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 19,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "形成可流通交易的数据产品，提供针对性的数据产品与解决方案。",
|
||
"metadata": {
|
||
"node_id": "7ec588bfc0ede7713e7fa7950f18b2d4f33de7af72a6a28a2c70d526ba76f7c1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 20,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "形成可流通交易的数据产品",
|
||
"metadata": {
|
||
"node_id": "af756325c7eb8bcacb9cdcc0365ac39ae0defaf76c6b21381a71a748f7729da2",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 21,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "完善数据产品全流程合规管理，充分实现数据赋能发展。",
|
||
"metadata": {
|
||
"node_id": "873aad5027e0598151b41f59c9554eb262e37352d17d6d2a0d7c51ab5e755101",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 22,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "构建集开发、治理、运营于一体的自动化数据流水线",
|
||
"metadata": {
|
||
"node_id": "27c34ad3252e49acf2326f3352b022b520bdc7c53de967924622ce36f8753654",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 23,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "实现高质量数字化发展。",
|
||
"metadata": {
|
||
"node_id": "751e3c9cd4d45f7bcd7da61ea90c2299b7676729eb96aa464296dde09923b53e",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 24,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "充分利用AI和大模型技术",
|
||
"metadata": {
|
||
"node_id": "d7ece308c8546b4db4fd53e3eb69d19f22bd8ed01f15234e34a92408ffc74fc8",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 25,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "以快速释放数据生产力。",
|
||
"metadata": {
|
||
"node_id": "02a12f751e2f88b89aa9d468351e98a03a5c50abd7eab24d18c25fa9f6316fb9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.00228431600360651,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 26,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。",
|
||
"metadata": {
|
||
"node_id": "fec1910c1e94e500063d784f16c88b57cb043af239db772b688b37a8b4e570e8",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002133517041655576,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 27,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。",
|
||
"metadata": {
|
||
"node_id": "f2ad94f804ba3ebdb79cf59a9ed633d95afa78830328aff61ef0cfda85696e98",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0020014649182374506,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 28,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "依托全流程自动化测试服务，自动触发测试任务，及时发现配置错误、批量中断、性能隐患等问题，确保应用数据加工的准确性与时效性。",
|
||
"metadata": {
|
||
"node_id": "9628f4b1ec68bea6d4156dfa2b3fe2e6a8475853927708db77862e827200c543",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001998062873837481,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 29,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "越来越多的企业利用自身数据积累优势和服务能力优势，深入调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产品与解决方案。",
|
||
"metadata": {
|
||
"node_id": "e9a4394976771b4e2c181eda67788379fb3f9e28366078674f5b3463a253f128",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0019370887428234317,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 30,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "要素市场的健康有序发展为企业开展数据流通服务创造了良好的环境。",
|
||
"metadata": {
|
||
"node_id": "ccc3154a60a17be2026703ebac3b9ecd05dddcaa2e62a1dd0c8bf395c23100a1",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0017791356722201776,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 31,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "基于数据血缘辅助平台化应用自动生成大数据集成自动化测试案例，在环境冒烟、版本交付、补丁发版和投产演练等关键节点发挥重要作用，提升应用测试质效。",
|
||
"metadata": {
|
||
"node_id": "b8695338900c8d21b7bcff733481d6b3c05fbb3f4580ad33ec40b2700e1158dc",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0016059200106931042,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 32,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "构建数据生态系统，企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。",
|
||
"metadata": {
|
||
"node_id": "561ae869074b482687729f4c37ede266c3a4bc517992baf805321b785292b569",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0015915201610116403,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 33,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||
"metadata": {
|
||
"node_id": "fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0015268930346031629,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 34,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略等，完善数据产品全流程合规管理，充分实现数据赋能发展。",
|
||
"metadata": {
|
||
"node_id": "e6a5df13ae7df3421efb875dba2af75d32d4e5e6421a92cc8d996698ce15b945",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0014578228731121988,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 35,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "通过沙盒数据恢复、数据模拟等服务，辅助平台化应用快速构建带数测试环境。",
|
||
"metadata": {
|
||
"node_id": "d8b9381f74d01d2baee5776f782fbcb881257a26d2a43a79bdb02a81aff1853f",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001360493618740021,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 36,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据研发管理",
|
||
"metadata": {
|
||
"node_id": "d9972ebdea4e9d9d8a9ba8b2200ac3772dcbd4fee37be649d3a6b0433249b9ab",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0013524735376284724,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 37,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "中国工商银行 DataOps 精心打磨大数据测试服务，为全行用户提供全方位赋能支撑。",
|
||
"metadata": {
|
||
"node_id": "3cdd327d19e8912738212fb94992b711185abb92bb53dcdaf0fbd9d55553a3c3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0012918986588827195,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 38,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据需求方主动通过自助分析平台进行数据探查",
|
||
"metadata": {
|
||
"node_id": "cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0012560639564392433,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 39,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "系统工具",
|
||
"metadata": {
|
||
"node_id": "6ea702ad9c2b4973976b41aa5d1308762c6fe68e907e6450f76863f8457fdebd",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0012433298357242568,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 40,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "决策机制模糊，导致资源浪费或投入不足",
|
||
"metadata": {
|
||
"node_id": "5b3058aaf9c34a669d9cf0a213f77ca6ee52e28c15251ef9407249326fc4860e",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0012113714305231854,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 41,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
||
"metadata": {
|
||
"node_id": "54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011945427030540332,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 42,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "中国农业银行、中国工商银行、交通银行、北京银行、浙江移动、江苏移动、中信建投证券、人保信息科技、网易数帆、火山引擎、联想集团参与标准评估",
|
||
"metadata": {
|
||
"node_id": "d44a6c751a94a36b10da047f9f428679c0d4dff94187f01ad114b88ec541d5b6",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001178532341606351,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 43,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "追求短期收益，市场竞争和业务压力促使企业更关注短期收益和业绩目标的实现，缺乏长远眼光和战略决心",
|
||
"metadata": {
|
||
"node_id": "19443715cd9d689a8fac8681f93ed2bd546524c1d193ad7d9e93fd6723f4dc4a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011300900881039534,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 44,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "价值运营",
|
||
"metadata": {
|
||
"node_id": "5f8a25bcafd3750048a9b422603e9bdc263a540658336ea661cdbd56a2d506ef",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011252637109473878,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 45,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据运维",
|
||
"metadata": {
|
||
"node_id": "6922af4509f988ce1ada957221398173b60510f1747579b6455dc5602303fdf3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011202390652257808,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 46,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "四个核心环节包括数据研发管理、数据交付管理、数据运维和价值运营。",
|
||
"metadata": {
|
||
"node_id": "48449fefcf28310ab37a70d327afc9c5f810679750a3b22ae752a1ba169a2a49",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011152515418431674,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 47,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据开发流水线包括数据的研发管理、交付管理、数据运维和价值运营。",
|
||
"metadata": {
|
||
"node_id": "ae8da5d619b85f37af96a048fa5ffb0373a9573f26efdb2d130f1e0e45c6ee9d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001106359541159832,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 48,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据交付管理",
|
||
"metadata": {
|
||
"node_id": "8a8705dd108bcd8a3ba4b6bea5c08578ba3b5f2731f5c21c5365685fdb6aca0c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011025040898612899,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 49,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据运维是指以全面立体的持续监控、发现、处理数据问题为目标，构建全链路可观测能力。",
|
||
"metadata": {
|
||
"node_id": "a40c90867992dceeb45864dce818bf9eb1b8b4c0f555283aed9dbbf7e39b7ff6",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010834128994476778,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 50,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "组织管理是指以打造敏捷、协同的数据驱动型组织为目标，优化组织架构、明晰岗位职能。",
|
||
"metadata": {
|
||
"node_id": "e8e5164ea817062f43f78594f8022252f089d04425e6165e89cca9600aaf4776",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010583214524045195,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 51,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "安全管控是指以保证个人隐私、数据安全为目标，将安全管控嵌入到数据流水线中，构建数据研发全生命周期的安全管理能力。",
|
||
"metadata": {
|
||
"node_id": "50b027e9aa20ac15f385439b28126603da80ac3db4d20f63678adf8ca035a341",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010583214524045195,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 52,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "华为终端、浙江移动、中国农业银行、江苏移动等企业构建了跨职能团队、专职组织或设立了专职人员来促进业务部门与数据部门的紧密合作。",
|
||
"metadata": {
|
||
"node_id": "f28343612362bd4309f0461469c98665ea8242c1bfec8ebceb97bab7b4040d68",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010465799338632439,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 53,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps 能力模型围绕数据开发流水线，从业务需求出发，以创造业务价值为目标，形成“4+3”的能力框架。",
|
||
"metadata": {
|
||
"node_id": "6cd68d43ded1b16caf5905f9dfa2ef559d18036d3782f5db0b34e1025f044e2a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010281346954775553,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 54,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "形成‘先设计、后开发、先标准、后建模’的数据治理模式，中国工商银行实施了大数据质量门禁，包括大数据代码规范扫描、单元测试覆盖、UTTD。",
|
||
"metadata": {
|
||
"node_id": "daccb4f23c08a4ef8394f257711df0715723916de3c3e8baebe68b0b8705a18c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010262656681643658,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 55,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "业务导向，“组织、流程、技术”三位一体共同推进",
|
||
"metadata": {
|
||
"node_id": "f09360ffa66cc6ecaeb8980267b80a40bf8927c9d10f6a326adeebbe930aeed3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009936662709303296,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 56,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps理念过热期，领头企业成功案例催化忽视了不同企业实施复杂性和差异性",
|
||
"metadata": {
|
||
"node_id": "5f6b09a374936ca42095cced82ae41fb02e07865367e500cbe30ffc687851c55",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009936662709303296,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 57,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "实现大数据环境故障自动侦测与报警，形成全自动监控机制。",
|
||
"metadata": {
|
||
"node_id": "547ad8d10cd1cf6d3b01cb857419d44c9883116ac5ae3483266740c16dc39dbc",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009895090277851225,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 58,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "组织管理",
|
||
"metadata": {
|
||
"node_id": "dde28d3ac66cd93e91d5987cc8684c584ab4702976282ec345a018727eb49870",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009762952239842735,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 59,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"metadata": {
|
||
"node_id": "da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"node_type": "text",
|
||
"ppr_score": 0.0876069158159121,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6292069235769026,
|
||
"rank": 60,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"metadata": {
|
||
"node_id": "b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"node_type": "text",
|
||
"ppr_score": 0.022278738365358715,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6724801875540166,
|
||
"rank": 61,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"metadata": {
|
||
"node_id": "4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"node_type": "text",
|
||
"ppr_score": 0.022160402269873522,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6724685155923205,
|
||
"rank": 62,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "安全管控",
|
||
"metadata": {
|
||
"node_id": "62c9ece5d3b12dbfe7f8a5ada7ea75b090292360628c97d8d15e99f9e0b4a493",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009791023782081672,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 58,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践指南 2.0",
|
||
"metadata": {
|
||
"node_id": "d585f5cf554e678d92a1982fe4a61608783a1f497183303fcc73f850b1f1458f",
|
||
"node_type": "text",
|
||
"ppr_score": 0.022039720878320252,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6674301187934873,
|
||
"rank": 62,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "数据研发运营一体化（DataOps）是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
||
"metadata": {
|
||
"node_id": "0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002515251490557442,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]",
|
||
"metadata": {
|
||
"node_id": "894a0cd323b92326cbbccb930ff9128a22525c5f987593c94b591e52bd5a86d8",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0023341475881261254,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 13,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "通用人工智能的发展为 DataOps 注入了智能化的血液",
|
||
"metadata": {
|
||
"node_id": "c9742cba92598eed28ba36b049ac0e5f07c662764f5466218959605695b8a530",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002170389416941844,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 14,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps作为一种新兴的数据管理方法，强调数据管理自动化。",
|
||
"metadata": {
|
||
"node_id": "1578f029da85aa8bf25b11ce5f36f1ce67b9ae446cddd2266825a5881685226a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.002134685326646713,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 16,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "分析段落中的事件及其参与实体",
|
||
"metadata": {
|
||
"node_id": "eeb3a7041856f88641d5a7fc15027f502f0f73778ea4f6fadfd1b6b654b16929",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0020193362938733883,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 17,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据操作团队开始处理数据",
|
||
"metadata": {
|
||
"node_id": "5b4b528bae6ebe0198f75f4cc0a9c3f483e22504d7abddfeaa9493a340cd91f6",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0017585293824830817,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 33,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据被清洗和整理完成",
|
||
"metadata": {
|
||
"node_id": "04a62d04c3278092eaefca37a32202fcf52fc867467da82f4b49ef485604bbfb",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0017585293824830817,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 34,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入。",
|
||
"metadata": {
|
||
"node_id": "906b983ee258a3aaea1ec75ccd919654a2c047c3c87d0dd2b44782f34b86b544",
|
||
"node_type": "event",
|
||
"ppr_score": 0.001252850590237325,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 41,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
||
"metadata": {
|
||
"node_id": "6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011792997440998646,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 44,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存货类数据资产。",
|
||
"metadata": {
|
||
"node_id": "3c4decad0a4395c99e0d18a68ef47b38736c6f45cd561022ad7c4f317e850d65",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0011509019894438773,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 45,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据分析技术不断发展，包括数据挖掘、预测分析、文本分析等。",
|
||
"metadata": {
|
||
"node_id": "d206958c818bcbb6acc67cd59c8b3b442d2352d3c740fd6a3319f57a4dc81ced",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0010948537040230421,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 46,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据资源入表将进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"metadata": {
|
||
"node_id": "b996a1e3ed9d6a458d14abeabb2ed7c681b224fb12f7145db5aa888cdf7a693b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0009472864277462555,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 50,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "考虑自身需求、痛点和技术架构",
|
||
"metadata": {
|
||
"node_id": "c5dcdffabe60ef853fc1c692acc89ce078ca790dbe2fe7046aa8167d605aa859",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0008927734925224668,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 52,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "综合考量自身与领先企业的差异性",
|
||
"metadata": {
|
||
"node_id": "d0a67d95c1963e7b3e59a7fe011528cfc79f8ed9d80faa8ffed3d392c549d63e",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0008927734925224668,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 53,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "分阶段、分步骤地推进",
|
||
"metadata": {
|
||
"node_id": "4e71285f33ffec6870fcbce59696f90e930d44c7fe700dbfc288b65491423c5c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0008927734925224668,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 54,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "数据资源入表有助于改善企业资产负债结构、经营利润等财务数据。",
|
||
"metadata": {
|
||
"node_id": "5b51793636e15977f89077742d50831859992f4bd84cf239605db8d0c6f77dff",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0008660290129635568,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 56,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "决策机制模糊导致资源浪费或投入不足，企业高层参与度不足，业务部门缺乏主动性和创新性",
|
||
"metadata": {
|
||
"node_id": "ce865363adf968ce7afff21fbc15843538dbf00ff3499370bd44d799c3d33444",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0008633437522383409,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 57,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"metadata": {
|
||
"node_id": "114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||
"node_type": "text",
|
||
"ppr_score": 0.030614930375326362,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6508919408053666,
|
||
"rank": 61,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向",
|
||
"metadata": {
|
||
"node_id": "9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6",
|
||
"node_type": "text",
|
||
"ppr_score": 0.0238865808206175,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.6754436070838686,
|
||
"rank": 62,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps 是数据开发的哪种范式？",
|
||
"pagerank_available": true
|
||
}
|
||
}
|
||
],
|
||
"all_passages": [
|
||
"将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
||
"数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
||
"编写了一篇关于DataOps实践指南的文章",
|
||
"实施数据治理策略",
|
||
"提高开发效率和产品质量",
|
||
"建立数据管道",
|
||
"集成DevOps实践",
|
||
"随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
||
"加强数据生态系统的建设，鼓励实现数据开放共享。",
|
||
"“数据二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服务创造了良好的环境。",
|
||
"理解DataOps的基本概念",
|
||
"增强业务洞察力和决策能力",
|
||
"充分利用AI和大模型技术优化数据策略。",
|
||
"“数据二十条”的提出",
|
||
"健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和交易，有效推动数据资源的高效利用和流动。",
|
||
"随着数据要素流通政策的不断完善，要素市场的健康有序发展",
|
||
"企业开展数据流通服务创造了良好的环境。",
|
||
"越来越多的企业利用自身数据积累优势和服务能力优势",
|
||
"形成可流通交易的数据产品，提供针对性的数据产品与解决方案。",
|
||
"形成可流通交易的数据产品",
|
||
"完善数据产品全流程合规管理，充分实现数据赋能发展。",
|
||
"构建集开发、治理、运营于一体的自动化数据流水线",
|
||
"实现高质量数字化发展。",
|
||
"充分利用AI和大模型技术",
|
||
"以快速释放数据生产力。",
|
||
"加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。",
|
||
"企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。",
|
||
"依托全流程自动化测试服务，自动触发测试任务，及时发现配置错误、批量中断、性能隐患等问题，确保应用数据加工的准确性与时效性。",
|
||
"越来越多的企业利用自身数据积累优势和服务能力优势，深入调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产品与解决方案。",
|
||
"要素市场的健康有序发展为企业开展数据流通服务创造了良好的环境。",
|
||
"基于数据血缘辅助平台化应用自动生成大数据集成自动化测试案例，在环境冒烟、版本交付、补丁发版和投产演练等关键节点发挥重要作用，提升应用测试质效。",
|
||
"构建数据生态系统，企业能够更好地进行数据合作与共享，并参与生态系统的协同治理，推动数据的价值最大化。",
|
||
"DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。",
|
||
"推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略等，完善数据产品全流程合规管理，充分实现数据赋能发展。",
|
||
"通过沙盒数据恢复、数据模拟等服务，辅助平台化应用快速构建带数测试环境。",
|
||
"数据研发管理",
|
||
"中国工商银行 DataOps 精心打磨大数据测试服务，为全行用户提供全方位赋能支撑。",
|
||
"数据需求方主动通过自助分析平台进行数据探查",
|
||
"系统工具",
|
||
"决策机制模糊，导致资源浪费或投入不足",
|
||
"中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
||
"中国农业银行、中国工商银行、交通银行、北京银行、浙江移动、江苏移动、中信建投证券、人保信息科技、网易数帆、火山引擎、联想集团参与标准评估",
|
||
"追求短期收益，市场竞争和业务压力促使企业更关注短期收益和业绩目标的实现，缺乏长远眼光和战略决心",
|
||
"价值运营",
|
||
"数据运维",
|
||
"四个核心环节包括数据研发管理、数据交付管理、数据运维和价值运营。",
|
||
"数据开发流水线包括数据的研发管理、交付管理、数据运维和价值运营。",
|
||
"数据交付管理",
|
||
"数据运维是指以全面立体的持续监控、发现、处理数据问题为目标，构建全链路可观测能力。",
|
||
"组织管理是指以打造敏捷、协同的数据驱动型组织为目标，优化组织架构、明晰岗位职能。",
|
||
"安全管控是指以保证个人隐私、数据安全为目标，将安全管控嵌入到数据流水线中，构建数据研发全生命周期的安全管理能力。",
|
||
"华为终端、浙江移动、中国农业银行、江苏移动等企业构建了跨职能团队、专职组织或设立了专职人员来促进业务部门与数据部门的紧密合作。",
|
||
"DataOps 能力模型围绕数据开发流水线，从业务需求出发，以创造业务价值为目标，形成“4+3”的能力框架。",
|
||
"形成‘先设计、后开发、先标准、后建模’的数据治理模式，中国工商银行实施了大数据质量门禁，包括大数据代码规范扫描、单元测试覆盖、UTTD。",
|
||
"业务导向，“组织、流程、技术”三位一体共同推进",
|
||
"DataOps理念过热期，领头企业成功案例催化忽视了不同企业实施复杂性和差异性",
|
||
"实现大数据环境故障自动侦测与报警，形成全自动监控机制。",
|
||
"组织管理",
|
||
"## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
||
"# DataOps 能力框架——核心环节\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。\\n\\n### 数据研发管理\\n\\n#### 需求管理\\n\\n采集 → 分析 → 确认 → 实施 → 变更\\n\\n数据需求全流程管理\\n\\n#### 设计管理\\n\\n制度 + 技术\\n\\n管理\\n\\n模型设计\\n\\n加工设计\\n\\n标准设计\\n\\n质量设计\\n\\n安全设计\\n\\n#### 数据开发\\n\\n集成存储、实施、部署、维护数据解决方案\\n\\n数据处理、加工、管理、使用\\n\\n提升数据资源价值\\n\\n#### 自助分析\\n\\n自助式的数据二次处理\\n\\n### 数据交付管理\\n\\n#### 配置管理\\n\\n版本控制\\n\\n环境管理\\n\\n代码版本管理\\n\\n数据版本管理\\n\\n保证\\n\\n各阶段数据随时可用性、可验证性\\n\\n#### 测试管理\\n\\n自动化测试流水线\\n\\n管理\\n\\n单元测试\\n\\n集成测试\\n\\n提前发现问题处理问题\\n\\n保证\\n\\n#### 部署与发布管理\\n\\n自动化部署发布流水线\\n\\n聚焦\\n\\n工具的自动化和标准化\\n\\n保证\\n\\n加快数据部署效率降低人为操作风险\\n\\n### 数据运维\\n\\n#### 监控管理\\n\\n监控体系\\n\\n监控预警\\n\\n开发流水线运行情况质量情况\\n\\n#### 资源管理\\n\\n调度优化合理分\\n\\n数据资源\\n\\n计算资源\\n\\n存储资源\\n\\n优化\\n\\n运维成本\\n\\n#### 变更管理\\n\\n标准化、敏捷化的变更流程\\n\\n应对\\n\\n开发流水线各类变更场景\\n\\n#### 异常管理\\n\\n构建\\n\\n异常管理知识库\\n\\n自动化运维能力\\n\\n提升\\n\\n运维效率\\n\\n#### 持续优化\\n\\n调优\\n\\n流水线任务编排\\n\\n平台配置\\n\\n提升\\n\\n开发流水线性能\\n\\n### 价值运营\\n\\n#### 成本管理\\n\\n细化数据产品交付\\n\\n维护成本核算\\n\\n精细控制资源投入\\n\\n识别、减少浪费\\n\\n#### 持续变革\\n\\n打造反馈机制\\n\\n收集各环节堵点问题\\n\\n持续改进\\n\\n#### 量化驱动\\n\\n数据开发流水线\\n\\n评估\\n\\n交付效率\\n\\n需求响应速度\\n\\n优化\\n\\n工作流程资源分配策略",
|
||
"# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
||
"安全管控",
|
||
"# DataOps 实践指南 2.0",
|
||
"DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
||
"返回格式必须为以下JSON结构,内容需用简体中文表述: [ { \"Event\": \"\"描述事件的简单句子\"\", \"Entity\": [\"实体1\", \"实体2\", \"...\"] }... ]",
|
||
"通用人工智能的发展为 DataOps 注入了智能化的血液",
|
||
"DataOps作为一种新兴的数据管理方法，强调数据管理自动化。",
|
||
"分析段落中的事件及其参与实体",
|
||
"数据操作团队开始处理数据",
|
||
"数据被清洗和整理完成",
|
||
"数据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入。",
|
||
"DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
||
"《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存货类数据资产。",
|
||
"数据分析技术不断发展，包括数据挖掘、预测分析、文本分析等。",
|
||
"数据资源入表将进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"考虑自身需求、痛点和技术架构",
|
||
"综合考量自身与领先企业的差异性",
|
||
"分阶段、分步骤地推进",
|
||
"数据资源入表有助于改善企业资产负债结构、经营利润等财务数据。",
|
||
"决策机制模糊导致资源浪费或投入不足，企业高层参与度不足，业务部门缺乏主动性和创新性",
|
||
"DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"# DataOps 实践典型误区\\n\\nDataOps 作为一种新的数据开发范式正在越来越多的行业和企业中落地，然而，能力建设并非一朝一夕，其实施过程中亦面临重重困难。\\n\\n为帮助即将或正在建设 DataOps 体系的企业进行“避雷”，我们将当前产业在实践过程中走过的弯路和遇到的问题进行了提炼。\\n\\n## 误区 1：盲目跟风，没有“量体裁衣”\\n\\n* **DataOps 理念过热期**\\n\\n+ 领头企业成功案例催化\\n\\n+ 忽略不同企业实施复杂性和差异性\\n\\n## 误区 2：决策机制模糊，导致资源浪费或投入不足\\n\\n* **投入不足**\\n\\n* DataOps 被视为 IT/ 数据部门专项工作\\n\\n* 高层的参与度不足\\n\\n* 业务部门缺乏主动性和创新性\\n\\n* 企业缺少战略耐心\\n\\n* **浪费**\\n\\n* 在立项或采购阶段好大求全，导致项目实施周期增加、成本提高、实施复杂度提升，后续利用度低\\n\\n## 误区 3：过度依赖技术解决所有问题\\n\\n* **高估技术的影响力，忽略业技融合**\\n\\n+ 忽视企业流程、管理、协作和数据文化上的不足\\n\\n## 误区 4：追求短期收益\\n\\n* **市场竞争和业务压力，更关注短期收益和业绩目标的实现**\\n\\n+ 缺乏长远的眼光和战略决心，变革初期的数据质量、交付效率提升只是管中窥豹\\n\\n## 解决思路：急用先行，把握节奏\\n\\n* 考虑自身需求、痛点和技术架构\\n\\n* 综合考量自身与领先企业的差异性\\n\\n* 分阶段、分步骤地推进\\n\\n## 解决思路：定权责、常沟通、重反馈、建流程、勤宣贯\\n\\n* 明确 DataOps 建设目标，定义各部门和个人的责任和角色\\n\\n* 建立定期的沟通反馈机制\\n\\n* 构建规范和流程，减少决策混乱\\n\\n* 培养数据文化，提高员工对 DataOps 的认知和参与度\\n\\n## 解决思路：业务导向，“组织、流程、技术”三位一体共同推进\\n\\n* 围绕业务目标，借助组织变革建立跨部门的团队\\n\\n* 建立标准化的工作流\\n\\n* 选择合适的系统工具\\n\\n## 解决思路：长短结合，久久为功，控制预期，革新认知\\n\\n* 前期拉齐团队和领导层认知\\n\\n* 辅助以可见收益的短期项目，增强信心\\n\\n* 不断加深认知，厘清阶段重点，主动关注行业中的新方向"
|
||
],
|
||
"passage_sources": [
|
||
"原始查询-event-f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
||
"原始查询-event-774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
||
"原始查询-event-c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"原始查询-event-0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"原始查询-event-b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"原始查询-event-849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"原始查询-event-fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"原始查询-event-5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
||
"原始查询-event-cdc6337c8984c01a1379d9afa19eeb4ba81660be38053a846e0f250baf04ee62",
|
||
"原始查询-event-90d9024251e5a8cdeca241f0c6166214b4243126f3384975deec9474b31cf45a",
|
||
"原始查询-event-f8d46e99bb67396a63859ea3eafb0dd619b62f57c9337d2e223051e0d4f9a200",
|
||
"原始查询-event-f8be707e2a3fdba6b30480a5054e77d3a0a4c60da19f4f05627ad6e9bdcbe6d3",
|
||
"原始查询-event-07ecce237cbb5aa2b83d942cfb59629b14c440587eb0eb666a56ac4948579c6d",
|
||
"原始查询-event-8d94db6c8cd0cf40c82b98b1751dd5f3c4eca41eb3b6fe7533aa2fba808ee136",
|
||
"原始查询-event-327e8729397c50b72a02a2e0b4edbb84c4d8ef516d62def1987f0d2c5b0a13c7",
|
||
"原始查询-event-e38d3e0e4674b563982bcd5cd1ec26a0b1ca3f132d337daa172449acae175c0d",
|
||
"原始查询-event-d5ee55564eb846724ff58c21d820cd8a707a3aa64993c6fb3ceb062f52fddc05",
|
||
"原始查询-event-1f50d1daccca477b7b1e644e4eb617d9316bb954774db3d5dd038e306e1a6e5a",
|
||
"原始查询-event-6f77170a71aebf529613ccac3dd7252fc4911b4a1d0fb084dd5374a51121d2f1",
|
||
"原始查询-event-7ec588bfc0ede7713e7fa7950f18b2d4f33de7af72a6a28a2c70d526ba76f7c1",
|
||
"原始查询-event-af756325c7eb8bcacb9cdcc0365ac39ae0defaf76c6b21381a71a748f7729da2",
|
||
"原始查询-event-873aad5027e0598151b41f59c9554eb262e37352d17d6d2a0d7c51ab5e755101",
|
||
"原始查询-event-27c34ad3252e49acf2326f3352b022b520bdc7c53de967924622ce36f8753654",
|
||
"原始查询-event-751e3c9cd4d45f7bcd7da61ea90c2299b7676729eb96aa464296dde09923b53e",
|
||
"原始查询-event-d7ece308c8546b4db4fd53e3eb69d19f22bd8ed01f15234e34a92408ffc74fc8",
|
||
"原始查询-event-02a12f751e2f88b89aa9d468351e98a03a5c50abd7eab24d18c25fa9f6316fb9",
|
||
"原始查询-event-fec1910c1e94e500063d784f16c88b57cb043af239db772b688b37a8b4e570e8",
|
||
"原始查询-event-f2ad94f804ba3ebdb79cf59a9ed633d95afa78830328aff61ef0cfda85696e98",
|
||
"原始查询-event-9628f4b1ec68bea6d4156dfa2b3fe2e6a8475853927708db77862e827200c543",
|
||
"原始查询-event-e9a4394976771b4e2c181eda67788379fb3f9e28366078674f5b3463a253f128",
|
||
"原始查询-event-ccc3154a60a17be2026703ebac3b9ecd05dddcaa2e62a1dd0c8bf395c23100a1",
|
||
"原始查询-event-b8695338900c8d21b7bcff733481d6b3c05fbb3f4580ad33ec40b2700e1158dc",
|
||
"原始查询-event-561ae869074b482687729f4c37ede266c3a4bc517992baf805321b785292b569",
|
||
"原始查询-event-fa19992ada61ad05720dab20271cecae03b371638867632a55a9e60447d63a9b",
|
||
"原始查询-event-e6a5df13ae7df3421efb875dba2af75d32d4e5e6421a92cc8d996698ce15b945",
|
||
"原始查询-event-d8b9381f74d01d2baee5776f782fbcb881257a26d2a43a79bdb02a81aff1853f",
|
||
"原始查询-event-d9972ebdea4e9d9d8a9ba8b2200ac3772dcbd4fee37be649d3a6b0433249b9ab",
|
||
"原始查询-event-3cdd327d19e8912738212fb94992b711185abb92bb53dcdaf0fbd9d55553a3c3",
|
||
"原始查询-event-cdb84a3fa8076bee4776cf0f4055467733ffde54e63d02d3314cc68de48b6995",
|
||
"原始查询-event-6ea702ad9c2b4973976b41aa5d1308762c6fe68e907e6450f76863f8457fdebd",
|
||
"原始查询-event-5b3058aaf9c34a669d9cf0a213f77ca6ee52e28c15251ef9407249326fc4860e",
|
||
"原始查询-event-54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
||
"原始查询-event-d44a6c751a94a36b10da047f9f428679c0d4dff94187f01ad114b88ec541d5b6",
|
||
"原始查询-event-19443715cd9d689a8fac8681f93ed2bd546524c1d193ad7d9e93fd6723f4dc4a",
|
||
"原始查询-event-5f8a25bcafd3750048a9b422603e9bdc263a540658336ea661cdbd56a2d506ef",
|
||
"原始查询-event-6922af4509f988ce1ada957221398173b60510f1747579b6455dc5602303fdf3",
|
||
"原始查询-event-48449fefcf28310ab37a70d327afc9c5f810679750a3b22ae752a1ba169a2a49",
|
||
"原始查询-event-ae8da5d619b85f37af96a048fa5ffb0373a9573f26efdb2d130f1e0e45c6ee9d",
|
||
"原始查询-event-8a8705dd108bcd8a3ba4b6bea5c08578ba3b5f2731f5c21c5365685fdb6aca0c",
|
||
"原始查询-event-a40c90867992dceeb45864dce818bf9eb1b8b4c0f555283aed9dbbf7e39b7ff6",
|
||
"原始查询-event-e8e5164ea817062f43f78594f8022252f089d04425e6165e89cca9600aaf4776",
|
||
"原始查询-event-50b027e9aa20ac15f385439b28126603da80ac3db4d20f63678adf8ca035a341",
|
||
"原始查询-event-f28343612362bd4309f0461469c98665ea8242c1bfec8ebceb97bab7b4040d68",
|
||
"原始查询-event-6cd68d43ded1b16caf5905f9dfa2ef559d18036d3782f5db0b34e1025f044e2a",
|
||
"原始查询-event-daccb4f23c08a4ef8394f257711df0715723916de3c3e8baebe68b0b8705a18c",
|
||
"原始查询-event-f09360ffa66cc6ecaeb8980267b80a40bf8927c9d10f6a326adeebbe930aeed3",
|
||
"原始查询-event-5f6b09a374936ca42095cced82ae41fb02e07865367e500cbe30ffc687851c55",
|
||
"原始查询-event-547ad8d10cd1cf6d3b01cb857419d44c9883116ac5ae3483266740c16dc39dbc",
|
||
"原始查询-event-dde28d3ac66cd93e91d5987cc8684c584ab4702976282ec345a018727eb49870",
|
||
"原始查询-text-da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
||
"原始查询-text-b406044bae110b82a0e2675cbde336748e6f77bb6b6c43a3455c3fd3a3515acd",
|
||
"原始查询-text-4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
||
"子查询1-event-62c9ece5d3b12dbfe7f8a5ada7ea75b090292360628c97d8d15e99f9e0b4a493",
|
||
"子查询1-text-d585f5cf554e678d92a1982fe4a61608783a1f497183303fcc73f850b1f1458f",
|
||
"子查询2-event-0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
||
"子查询2-event-894a0cd323b92326cbbccb930ff9128a22525c5f987593c94b591e52bd5a86d8",
|
||
"子查询2-event-c9742cba92598eed28ba36b049ac0e5f07c662764f5466218959605695b8a530",
|
||
"子查询2-event-1578f029da85aa8bf25b11ce5f36f1ce67b9ae446cddd2266825a5881685226a",
|
||
"子查询2-event-eeb3a7041856f88641d5a7fc15027f502f0f73778ea4f6fadfd1b6b654b16929",
|
||
"子查询2-event-5b4b528bae6ebe0198f75f4cc0a9c3f483e22504d7abddfeaa9493a340cd91f6",
|
||
"子查询2-event-04a62d04c3278092eaefca37a32202fcf52fc867467da82f4b49ef485604bbfb",
|
||
"子查询2-event-906b983ee258a3aaea1ec75ccd919654a2c047c3c87d0dd2b44782f34b86b544",
|
||
"子查询2-event-6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
||
"子查询2-event-3c4decad0a4395c99e0d18a68ef47b38736c6f45cd561022ad7c4f317e850d65",
|
||
"子查询2-event-d206958c818bcbb6acc67cd59c8b3b442d2352d3c740fd6a3319f57a4dc81ced",
|
||
"子查询2-event-b996a1e3ed9d6a458d14abeabb2ed7c681b224fb12f7145db5aa888cdf7a693b",
|
||
"子查询2-event-c5dcdffabe60ef853fc1c692acc89ce078ca790dbe2fe7046aa8167d605aa859",
|
||
"子查询2-event-d0a67d95c1963e7b3e59a7fe011528cfc79f8ed9d80faa8ffed3d392c549d63e",
|
||
"子查询2-event-4e71285f33ffec6870fcbce59696f90e930d44c7fe700dbfc288b65491423c5c",
|
||
"子查询2-event-5b51793636e15977f89077742d50831859992f4bd84cf239605db8d0c6f77dff",
|
||
"子查询2-event-ce865363adf968ce7afff21fbc15843538dbf00ff3499370bd44d799c3d33444",
|
||
"子查询2-text-114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||
"子查询2-text-9c60e1d67a9be847f2b2e95f859a18bf9940b7854a020b276d921f9caa0bc7a6"
|
||
],
|
||
"pagerank_data_available": true,
|
||
"pagerank_summary": {},
|
||
"concept_exploration_results": {},
|
||
"exploration_round": 0,
|
||
"debug_info": {
|
||
"total_time": 15.329821586608887,
|
||
"retrieval_calls": 1,
|
||
"llm_calls": 4,
|
||
"langsmith_project": "rag-api-service",
|
||
"token_usage_summary": {
|
||
"has_llm": true,
|
||
"has_generator": true,
|
||
"last_call": {
|
||
"prompt_tokens": 4602,
|
||
"completion_tokens": 64,
|
||
"total_tokens": 4666
|
||
},
|
||
"total_usage": {
|
||
"prompt_tokens": 29183,
|
||
"completion_tokens": 1460,
|
||
"total_tokens": 30643,
|
||
"call_count": 18
|
||
},
|
||
"model_name": "qwen2-7b-instruct",
|
||
"has_last_usage": true,
|
||
"has_total_usage": true
|
||
},
|
||
"complexity_analysis": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，需要生成多方面的个子查询来回答。用户询问的是数据研发运营一体化（DataOps）在数据开发中的具体分类或范式，这可能涉及到对DataOps概念的理解、与传统数据开发方法的对比以及DataOps如何实现数据开发流程优化等方面的知识。这些问题通常需要从多个角度和层面进行深入分析，因此建议生成多个子查询来覆盖这些方面，以便全面解答用户的问题。"
|
||
},
|
||
"debug_mode_analysis": {
|
||
"debug_mode": "0",
|
||
"debug_override": {},
|
||
"path_override_applied": false
|
||
},
|
||
"sufficiency_analysis": {
|
||
"final_sufficiency": true,
|
||
"sufficiency_check_details": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，包括DataOps的定义、它如何提高数据产品交付效率与质量、以及它是数据开发的一种新范式等。",
|
||
"iteration": 0
|
||
},
|
||
"iteration_sufficiency_history": [],
|
||
"sufficiency_progression": {
|
||
"status": "no_sufficiency_checks"
|
||
}
|
||
},
|
||
"routing_analysis": {
|
||
"total_routing_decisions": 1,
|
||
"sub_query_generation_count": 0,
|
||
"parallel_retrieval_count": 0,
|
||
"pagerank_collection_count": 0
|
||
},
|
||
"concept_exploration_analysis": {
|
||
"exploration_enabled": false,
|
||
"exploration_rounds": 0,
|
||
"pagerank_nodes_analyzed": 0,
|
||
"successful_branches_total": 0,
|
||
"total_branches_attempted": 0
|
||
}
|
||
},
|
||
"iteration_history": [
|
||
{
|
||
"iteration": 0,
|
||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||
"passages_count": 83,
|
||
"action": "retrieval"
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "sufficiency_check",
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"sub_queries_count": 0
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "final_answer_generation",
|
||
"answer_length": 8165
|
||
}
|
||
]
|
||
} |