682 lines
59 KiB
JSON
682 lines
59 KiB
JSON
|
{
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"answer": "混沌工程和DataOps的概念及应用如下：\n\n混沌工程：\n混沌工程是一种方法论，它通过引入各种不确定性和故障来测试和改进系统的韧性和可靠性。这种方法鼓励开发、测试、运维团队合作，识别系统中的脆弱点，并在系统架构设计之初就考虑可能发生的故障场景。混沌工程的核心理念是“治未病”，通过在正常运作环境下模拟潜在的故障或异常情况，增强系统对不确定性的抵抗能力。它还帮助工程师提高响应能力，增强对故障的预防和解决能力。在实践中，混沌工程可以通过故障演练、游戏日（GameDay）等活动来提高团队间协作，强化对系统故障的处理能力。\n\nDataOps：\nDataOps 是一种新兴的数据管理方法，强调数据管理的自动化，旨在通过敏捷、精益等理念优化数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。DataOps 架构通常包括开发、",
|
|||
|
|
"query_complexity": {
|
|||
|
|
"is_complex": true,
|
|||
|
|
"complexity_level": "complex",
|
|||
|
|
"confidence": 0.95,
|
|||
|
|
"reason": "这是一个复杂查询，因为它包含了两个不同的概念：混沌工程和DataOps。这两个概念分别属于不同的领域（软件工程和数据操作管理），并且可能需要详细解释和背景信息来充分理解。因此，为了全面回答这个问题，可能需要生成并回答两个或更多个子查询，每个子查询专注于解释其中一个概念。"
|
|||
|
|
},
|
|||
|
|
"is_complex_query": true,
|
|||
|
|
"retrieval_path": "complex_hipporag",
|
|||
|
|
"iterations": 0,
|
|||
|
|
"total_passages": 35,
|
|||
|
|
"sub_queries": [
|
|||
|
|
"混沌工程的定义是什么？",
|
|||
|
|
"DataOps是什么？"
|
|||
|
|
],
|
|||
|
|
"decomposed_sub_queries": [
|
|||
|
|
"混沌工程的定义是什么？",
|
|||
|
|
"DataOps是什么？"
|
|||
|
|
],
|
|||
|
|
"initial_retrieval_details": {},
|
|||
|
|
"sufficiency_check": {
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，包括混沌工程的定义、实践案例、发展历程以及DataOps的概念、应用和价值。",
|
|||
|
|
"iteration": 0
|
|||
|
|
},
|
|||
|
|
"current_sub_queries": [],
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"all_documents": [
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程成为生产环节中不可或缺的一部分",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "bbafacb2fbab1c313ce9fcd99ac571007f3f91ecee85b607bb31b6d20cd2968d",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.04351747505858168,
|
|||
|
|
"edge_score": 1.7457153,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 1,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "整个研发运营体系",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "2eea011f02cbb2c630a9ceb88eff5d196905d5900753e10c89a98513ea53cbf6",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.04351747505858168,
|
|||
|
|
"edge_score": 1.7457153,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 2,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "运维团队利用混沌工程解决系统问题预测与应对",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "25ba0eefeb995a74ce9bed17d84d561f6f0597458a4721f3bbf63f041e2516b4",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.030610378089581128,
|
|||
|
|
"edge_score": 1.7743685,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 3,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "开发团队利用混沌工程从开发阶段考虑故障场景",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "4d96d92b372fd515ce7bb6b1ded75477a18f10d8e4151f80b5c442ec7552665d",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.027242158327561935,
|
|||
|
|
"edge_score": 1.7673812,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 4,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程实验自动化、智能化水平提升",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "78f1d6beb0d1500ef08b9b5ef032839c2eb7bcb907b0e4ce57b5f666eaef527f",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0028828706055380494,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 5,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "长期来看，使用者更关注被测目标的风险本身。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "55741738de0a05d7245ec70ab61264c783aa181cb08ef7eba684959a293c9654",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.002790289733710459,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 6,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "测试覆盖更全面的故障场景，运维明确故障表现及恢复策略，应急预案完备性。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "013976e7e9ab1be04ac922b4ef3f7ee49e0bf953949ce52f5276962fe0538f88",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0027871465781985068,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 7,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "IT部门中的架构、开发、测试、运维团队各自专注于特定领域的工作。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "d1565f1f0d0c7509a687054c9d7fd38793c0bf0c6b5e8ca54acf1b93a77a29d1",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0027663277241686303,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 8,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "IT部门将建设横向拉通团队。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "9a0312c1166e7a877586b33b88fcb709d6979e40853040a9a4a959ce08f9b883",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0025276194164757177,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 9,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程将成为生产环节中不可或缺的一部分。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "9a198f33c54ec83f6331632169a8ffa435871b11a190a7851c14ad745ee62f41",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.002499232097232705,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 10,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程管理逐步组织化。除了传统的烟囱型组织(有的团队只 关注应用、有的团队只关注中间件、有的团队只关注基础设施……）， IT 部门将建设横向拉通团队：负责稳定性标准的制定、混沌工程实施 规划、可用性结果的观测和验收，对稳定性达成的路径负责，对稳定 性结果负责。 混沌工程实施模式趋向集中化。混沌工程实施模式由分散式向集 中式转变，混沌工程发展初期主要是组织内单点团队自驱式地尝试或 正式采纳混沌工程，随着混沌工程价值认可度的提高，未来将成为生 产环节中不可或缺的一部分，融合入整个研发运营体系，并获得组织 的集中推进和管理，即实现在测试、预发、灰度的各环节，无缝集成 混沌工程系统，使混沌工程方法有机会参与到UT、冒烟测试、端到 端测试、性能测试、灰度发布的各个环节。 混沌工程实验将由手动、人工操作为主向自动化、智能化发展。 混沌工程实验的自动化和智能化水平将得到进一步提升，可体现 在混沌工程平台的编排、注入、结果分析等各环节。这包括异构架构的拓 扑、注入点的智能选择、场景和参数的智能设置、结果的智能分析、 风险库的智能建设等。短期来看，就是逐渐的增加自动化、减少人工 的参与，长期来看，是让使用者更关注被测目标的风险本身，而非工 具平台的使用。 附件：案例 # 一、华泰证券混沌工程实践案例 ## （一）背景介绍 应用系统在生产环境长期运行过程中,会受到各种不可预知的事 件的影响，例如配置参数修改、软件代码缺陷、负载流量增加、硬件 网络故障，异常数据引入等，有些业务场景会随着影响的引入而逐渐 失效。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "642245580fe314e42f194a64fa2561ff3672b4838567a4ac666124e949586827",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.05839024015714271,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0847494,
|
|||
|
|
"rank": 11,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。比如通过开展故障演练、 GameDay 等活动，将各个团队介入进来，根据历史发生过的或可能发 生的故障场景，对业务进行注入故障、故障排查、复盘，提升对故障 事件的应急处理能力，增强对系统抵御故障场景的信息，通过混沌工 程来加深各部门之间的沟通合作。 混沌工程提升了工程师的响应能力。工程师也是系统的一部分,混沌工程通过混沌实验为工程师构建了一个非确定性、非周期性的故障环境, 剥离工程师对初始条件的敏感依赖, 进而提升了工程师对故障防御的设计能力、故障事件的构建能力、故障问题的描述能力以及故障应对的组织协调能力。其实是通过混沌工程的能力, 让工程师更多认识故障及其对业务的影响, 从以前的 “被动响应” 到 “主动防御”。 混沌工程对于架构团队而言，最大的价值是在系统设计之初就将 可能发生的、尽量全的故障场景考虑进去，不至于在系统架构非常臃 肿时再想去提升稳定性，在一个业务复杂的系统中考虑稳定性设计是 异常难的，难分析、难改动、难优化。 混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "eaebc2c5bb1aed205038d18eeeee4dd33ab7318e1cbda9d54c2f8a9795e73d28",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.024324029235422043,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.08577338000000001,
|
|||
|
|
"rank": 12,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。混沌工程对于测试团队而言，可以通过混沌工程全面提升系统的 可靠性测试能力，更丰富的故障场景库，打破传统的“一对一”的、有什么特性就测什么用例的情况，可以更全的覆盖历史发生过的问题或可能发生的问题场景，帮助系统将问题拦截在上线前。 混沌工程对于运维团队而言, 是运维工程师的绝对利器, 困扰运维工程师最大的问题就是不知道系统什么时候会出现问题? 系统会出现哪些问题? 当前有没有自愈手段? 应急预案是否完备? 而混沌工程正好帮忙解决了这个问题, 通过对系统进行故障场景分析及历史问题分析, 用注入故障手段快速模拟故障的发生, 观察系统的反应、对业务的影响、以及当前的应急预案完备性, 最终帮助运维人员对系统建立起稳定性信心。 ### 3.混淆工程业务价值 通过混沌工程实验对现网事件进行复盘演练（治已病）或对系统 可靠性进行主动探索演练（治未病），以期降低已知缺陷的复发率、 提升潜在缺陷的拦截率、降低MTTR，因此可以通过如下维度衡量混 淀工程的业务价值： ### 1、已知缺陷复发率 混沌工程应用于现网事件时，就是要通过对事件进行根因梳理改 进、混沌实验验证，解决现存缺陷的同时保障不再重犯。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "21a18ce91b1e9504b6073e2982bd9941adb8e4618a13d9a4db018bb28c57c3d0",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.023483827653249342,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.085694685,
|
|||
|
|
"rank": 13,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "混沌工程的定义是什么？DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.028071942886262944,
|
|||
|
|
"edge_score": 1.8375752,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 1,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "DataOps作为一种新兴的数据管理方法，强调数据管理自动化。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "1578f029da85aa8bf25b11ce5f36f1ce67b9ae446cddd2266825a5881685226a",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.025197147300114266,
|
|||
|
|
"edge_score": 1.8136024,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 2,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.008816959916216565,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 3,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.004027256419762883,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 4,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "中国工商银行 DataOps 精心打磨大数据测试服务，为全行用户提供全方位赋能支撑。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "3cdd327d19e8912738212fb94992b711185abb92bb53dcdaf0fbd9d55553a3c3",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0036785841866877516,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 5,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "通用人工智能的发展为 DataOps 注入了智能化的血液",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "c9742cba92598eed28ba36b049ac0e5f07c662764f5466218959605695b8a530",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0036568701145364628,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 6,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0016240540969576036,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 7,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.001516482179357416,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 8,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0014767576707726772,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 9,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "数据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "906b983ee258a3aaea1ec75ccd919654a2c047c3c87d0dd2b44782f34b86b544",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0013669648762607825,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 10,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.0402634032218279,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.07769426000000001,
|
|||
|
|
"rank": 11,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.03833114404823235,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.08387384,
|
|||
|
|
"rank": 12,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.03340275793078182,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.08764843500000001,
|
|||
|
|
"rank": 13,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "DataOps是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "以混沌工程平台为基础，在组织内部借助混沌工程串联稳定性保障技术，构建稳定性保障生态。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "7fdb70cf1a3abc43b3e348ee043c0155e43d6df1993c93e8243124f9c8e424a0",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.02728521013975902,
|
|||
|
|
"edge_score": 1.8425026,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 1,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "在生产环境中运行混沌工程实验",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "eb64e97828b4b85d1fe216efccd636e1b621a1c6e2955eef6aad6516e33c639b",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.025303085068181422,
|
|||
|
|
"edge_score": 1.8235707,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 3,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程以进行实验的方式来对系统注入故障或其他的扰动",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "8a14d83ce8b04835fa8d1218cfaf88891b9efdc531c67eb1dcec60b730a30702",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.02319337456753153,
|
|||
|
|
"edge_score": 1.8400319,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 5,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程通过引入各种不确定性和故障来测试和改进系统",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "716b631cfc54dd6bb9eb129f91a74f95691624a323b7f5769cea6ea11810f492",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.02284858207267992,
|
|||
|
|
"edge_score": 1.8318961,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 6,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "前言撰写",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "ec3b4bff0184984b0518a016093fa923ccc5cd03aca0e118b37e30aa1cb0f633",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.0037428280763929286,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 7,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程与传统测试存在显著差异",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "d2675d7846a8a320b98a799d1be6420918ff5076a4c98e54584f5bbec775c2dd",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.002256230924841064,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 8,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程提供了一个统一的方法论，推动架构、开发、测试、运维团队之间的协作。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "c282aaa040bb69133b28d31287e98db2d4771330e308ca9766e6ad38ddacbf3c",
|
|||
|
|
"node_type": "event",
|
|||
|
|
"ppr_score": 0.002027526521859882,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.0,
|
|||
|
|
"rank": 10,
|
|||
|
|
"source": "hipporag2_langchain_event",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "| 差异性 | 混沌工程 | 传统测试 | 理念 | 对系统未知的信息进行探索 | 基于特定条件的验证 | 目标 | 提升系统的韧性和可靠性 | 验证代码逻辑的正确性 | 范围 | 技术架构、运维流程 | 代码 | 环境 | 离生产越近的地方进行实验越好 | 寻找软件缺陷要离生产越远越好 | 执行人员 | 任何关注系统韧性和可靠性的人员，如测试人员、运维人员、开发人员、项目经理等 | 测试人员 | 结果 | 特定的断言，测试会产生二元的结果，非真即假 | 系统架构不同，实验千变万化，结果不同 ### 3.混淆工程与故障演练：故障演练是混沌工程的具体 实践 故障演练是较为正式的，低频的一种演练活动，通过机房断电、 断网等手段模拟不可预期的自然灾害或重大故障，来测试系统的恢复 能力和故障转移能力。故障演练的整体计划性较强，演练前会先制定 整体的演练方案和应急方案；演练时，往往需要协调业务、IT 等多方 参与，并在每次演练时需要组织相关的会议，按照预先设置的应急方 案执行。灾备演练是最常见的一种故障演练的方式。 对比故障演练，混沌工程的组织方式更加灵活，可以按照组织架 构以租户的方式进行，是一种非正式的活动。混沌工程以进行实验的 方式来对系统注入故障或其他的扰动，由于其进行过程成本较低，涉 及相关方较少，因此可以高频进行。 故障演练是混沌工程的一种具体实践, 它是混沌工程中用于模拟和测试系统故障情况的手段之一。混沌工程更广泛地涵盖了通过引入各种不确定性和故障来测试和改进系统的方法和理念, 而故障演练则是其中的一种具体操作手段。 ## （二）混沌工程发展历程 混沌工程的起源可追溯到1970年，硬件工程师将设备暴露在各种有害条件下并观察设备，以确定它们继续运行的情况。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "731fddc36b520d361923cb5c3ecfa7dffdc396ef5ce67e35b1c3598744056a52",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.019151838126851138,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.08662618,
|
|||
|
|
"rank": 12,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"page_content": "混沌工程更广泛地涵盖了通过引入各种不确定性和故障来测试和改进系统的方法和理念, 而故障演练则是其中的一种具体操作手段。 ## （二）混沌工程发展历程 混沌工程的起源可追溯到1970年，硬件工程师将设备暴露在各种有害条件下并观察设备，以确定它们继续运行的情况。这些测试涉及短路引脚之间的连接、产生电磁干扰、中断电源，甚至用辐射轰击 电路等方法实施故障注入。目标是了解此类压力源如何影响设备的运行，确定设备在什么时候会出现故障，并重新设计硬件以使其更具弹性。随着时间的推移，软件故障注入逐步发展，软件工程师可以在他们的应用程序中模拟故障，测试错误和异常处理功能，修改源代码以注入模拟故障（称为编译时注入），并在活跃运行的系统上触发故障（称为运行时注入）。运行时故障注入在管理大型、复杂、分布式系统的公司中变得特别流行。 在 2008 年 8 月 Netflix 遭遇严重的数据库损坏事件, 从那时起 Netflix 决定向云端迁移, 为了能应对云端分布式系统故障, 在架构中贯彻冗余和柔性降级原则的同时, 在 2011 年通过 Chaos Monkey 工具定期“杀死”软件服务的随机实例, 可以测试冗余架构以验证服务器故障不会明显影响客户。随后 Netflix 公司推出了更多的工具、平台和解决方案, 用于在更大规模和跨多个团队中编排实施故障注入。这些工具为我们今天所知的混沌工程奠定了基础。 模式摸索阶段。2010 年 Netflix 提出混沌工程概念，并开发 Chaos Monkey 程序，其主要功能是随机对生产环境的虚拟机实例和容器进行终止操作，从而模拟系统基础设施异常情况，让工程师能够观察服务是否健壮、有弹性，能否容忍计划外的故障。",
|
|||
|
|
"metadata": {
|
|||
|
|
"node_id": "c7cd68334f44bbedbe19e9dac291514f61aff4e90858ef2901d8c3459fc94219",
|
|||
|
|
"node_type": "text",
|
|||
|
|
"ppr_score": 0.01862398902044688,
|
|||
|
|
"edge_score": 0.0,
|
|||
|
|
"passage_score": 0.08925519500000001,
|
|||
|
|
"rank": 13,
|
|||
|
|
"source": "hipporag2_langchain_text",
|
|||
|
|
"query": "混沌工程的定义是什么？",
|
|||
|
|
"pagerank_available": true
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
],
|
|||
|
|
"all_passages": [
|
|||
|
|
"混沌工程成为生产环节中不可或缺的一部分",
|
|||
|
|
"整个研发运营体系",
|
|||
|
|
"运维团队利用混沌工程解决系统问题预测与应对",
|
|||
|
|
"开发团队利用混沌工程从开发阶段考虑故障场景",
|
|||
|
|
"混沌工程实验自动化、智能化水平提升",
|
|||
|
|
"长期来看，使用者更关注被测目标的风险本身。",
|
|||
|
|
"测试覆盖更全面的故障场景，运维明确故障表现及恢复策略，应急预案完备性。",
|
|||
|
|
"IT部门中的架构、开发、测试、运维团队各自专注于特定领域的工作。",
|
|||
|
|
"IT部门将建设横向拉通团队。",
|
|||
|
|
"混沌工程将成为生产环节中不可或缺的一部分。",
|
|||
|
|
"混沌工程管理逐步组织化。除了传统的烟囱型组织(有的团队只 关注应用、有的团队只关注中间件、有的团队只关注基础设施……）， IT 部门将建设横向拉通团队：负责稳定性标准的制定、混沌工程实施 规划、可用性结果的观测和验收，对稳定性达成的路径负责，对稳定 性结果负责。 混沌工程实施模式趋向集中化。混沌工程实施模式由分散式向集 中式转变，混沌工程发展初期主要是组织内单点团队自驱式地尝试或 正式采纳混沌工程，随着混沌工程价值认可度的提高，未来将成为生 产环节中不可或缺的一部分，融合入整个研发运营体系，并获得组织 的集中推进和管理，即实现在测试、预发、灰度的各环节，无缝集成 混沌工程系统，使混沌工程方法有机会参与到UT、冒烟测试、端到 端测试、性能测试、灰度发布的各个环节。 混沌工程实验将由手动、人工操作为主向自动化、智能化发展。 混沌工程实验的自动化和智能化水平将得到进一步提升，可体现 在混沌工程平台的编排、注入、结果分析等各环节。这包括异构架构的拓 扑、注入点的智能选择、场景和参数的智能设置、结果的智能分析、 风险库的智能建设等。短期来看，就是逐渐的增加自动化、减少人工 的参与，长期来看，是让使用者更关注被测目标的风险本身，而非工 具平台的使用。 附件：案例 # 一、华泰证券混沌工程实践案例 ## （一）背景介绍 应用系统在生产环境长期运行过程中,会受到各种不可预知的事 件的影响，例如配置参数修改、软件代码缺陷、负载流量增加、硬件 网络故障，异常数据引入等，有些业务场景会随着影响的引入而逐渐 失效。",
|
|||
|
|
"混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。比如通过开展故障演练、 GameDay 等活动，将各个团队介入进来，根据历史发生过的或可能发 生的故障场景，对业务进行注入故障、故障排查、复盘，提升对故障 事件的应急处理能力，增强对系统抵御故障场景的信息，通过混沌工 程来加深各部门之间的沟通合作。 混沌工程提升了工程师的响应能力。工程师也是系统的一部分,混沌工程通过混沌实验为工程师构建了一个非确定性、非周期性的故障环境, 剥离工程师对初始条件的敏感依赖, 进而提升了工程师对故障防御的设计能力、故障事件的构建能力、故障问题的描述能力以及故障应对的组织协调能力。其实是通过混沌工程的能力, 让工程师更多认识故障及其对业务的影响, 从以前的 “被动响应” 到 “主动防御”。 混沌工程对于架构团队而言，最大的价值是在系统设计之初就将 可能发生的、尽量全的故障场景考虑进去，不至于在系统架构非常臃 肿时再想去提升稳定性，在一个业务复杂的系统中考虑稳定性设计是 异常难的，难分析、难改动、难优化。 混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。",
|
|||
|
|
"混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。混沌工程对于测试团队而言，可以通过混沌工程全面提升系统的 可靠性测试能力，更丰富的故障场景库，打破传统的“一对一”的、有什么特性就测什么用例的情况，可以更全的覆盖历史发生过的问题或可能发生的问题场景，帮助系统将问题拦截在上线前。 混沌工程对于运维团队而言, 是运维工程师的绝对利器, 困扰运维工程师最大的问题就是不知道系统什么时候会出现问题? 系统会出现哪些问题? 当前有没有自愈手段? 应急预案是否完备? 而混沌工程正好帮忙解决了这个问题, 通过对系统进行故障场景分析及历史问题分析, 用注入故障手段快速模拟故障的发生, 观察系统的反应、对业务的影响、以及当前的应急预案完备性, 最终帮助运维人员对系统建立起稳定性信心。 ### 3.混淆工程业务价值 通过混沌工程实验对现网事件进行复盘演练（治已病）或对系统 可靠性进行主动探索演练（治未病），以期降低已知缺陷的复发率、 提升潜在缺陷的拦截率、降低MTTR，因此可以通过如下维度衡量混 淀工程的业务价值： ### 1、已知缺陷复发率 混沌工程应用于现网事件时，就是要通过对事件进行根因梳理改 进、混沌实验验证，解决现存缺陷的同时保障不再重犯。",
|
|||
|
|
"数据研发运营一体化（DataOps）是数据开发的新范式，将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。",
|
|||
|
|
"DataOps作为一种新兴的数据管理方法，强调数据管理自动化。",
|
|||
|
|
"DataOps能力模型围绕数据开发流程形成了‘4+3’的架构",
|
|||
|
|
"DataOps成为企业数字化转型快速释放数据生产力的最佳方案。",
|
|||
|
|
"中国工商银行 DataOps 精心打磨大数据测试服务，为全行用户提供全方位赋能支撑。",
|
|||
|
|
"通用人工智能的发展为 DataOps 注入了智能化的血液",
|
|||
|
|
"随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务开发效率是关键。",
|
|||
|
|
"将敏捷、精益等理念融入数据开发过程，打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线。",
|
|||
|
|
"中国工商银行实施了 DataOps 敏捷数据生产与创新体系，研发效率提高了 50%，测试数据准备效率提高了 10 倍。",
|
|||
|
|
"数据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入。",
|
|||
|
|
"## （三）参与数据要素市场，获取数据竞争优势 加强数据生态系统的建设，鼓励实现数据开放共享。数据生态系统是一个以数 据为核心，由各种数据参与方（企业、组织、个人等）构成的复杂网络，涵盖数据的 生产、流通、利用等环节。通过构建数据生态系统，企业能够更好地进行数据合作与 共享，并参与生态系统的协同治理，推动数据的价值最大化。 加大数据内外部推广，丰富数据生态体系，积极参与数据要素市场建设。“数据 二十条”的提出旨在健全数据产权制度，建立数据流通交易制度，鼓励数据的共享和 交易，有效推动数据资源的高效利用和流动，为数字经济的发展创造良好的环境。随 着数据要素流通政策的不断完善，要素市场的健康有序发展，为企业开展数据流通服 务创造了良好的环境，越来越多的企业利用自身数据积累优势和服务能力优势，深入 调研数据需求方的核心业务痛点，形成可流通交易的数据产品，提供针对性的数据产 品与解决方案，推进形成各类数据产品的权责范围、供求关系、使用场景、定价策略 等，完善数据产品全流程合规管理，充分实现数据赋能发展。 ## （四）加深新型技术使用，提高数据运营效率 随着数据需求种类日益丰富，服务交付时效性重要性逐渐凸显，提升数据服务 开发效率是关键。数据研发运营一体化（DataOps）是数据开发的新范式，将敏 捷、精益等理念融入数据开发过程，通过对数据相关人员、工具和流程的重新组织， 打破协作壁垒，构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据 产品交付效率与质量，实现高质量数字化发展。DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。",
|
|||
|
|
"DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
|||
|
|
"# DataOps 实践初探\\n\\n越来越多的企业开始意识到数据作为核心资产的价值，着力于通过 DataOps 改善数据开发流程，提升数据质量，加速数据流动，并促进数据在产品开发和消费端的高效利用。通过工作组的广泛调研，**将头部企业典型的实践与发展趋势**总结如下，希望为行业提供可取的建设思路。\\n\\n## 01 敏捷数据开发取得稳健成效 先行企业特征各异\\n\\n| 头部企业从 2020 年开始 DataOps 实践： | 先行企业的切入模式 |\\n\\n| :------------------------------------ | :------------------ |\\n\\n| - 中国工商银行：DataOps 敏捷数据生产与创新体系，研发效率 +50%，测试数据准备效率 +10 倍 | 战略驱动 |\\n\\n| - 浙江移动：敏捷数据产品，1.7 亿多源异构地址数据的统一建模 | 需求驱动 |\\n\\n| | 技术驱动 |\\n\\n## 03 组织变革促进协同机制构建 业数合作更加紧密\\n\\n### 技术变革与组织变革双向互馈\\n\\n新的挑战和机会\\n\\n高效利用数据资产和新技术的前提条件\\n\\n#### 技术变革\\n\\n#### 组织变革\\n\\n| 业务部门与数据部门结合更为紧密 | 跨职能团队 | 专职组织 | 专职人员 |\\n\\n| :------------------------------- | :--------- | :------- | :------- |\\n\\n| 华为终端：终端业务数据开发与治理联合工作组 | | | |\\n\\n| 浙江移动：跨域数据一致性治理工作小组 | | | |\\n\\n| 中国农业银行：DataOps 专职团队 | | | |\\n\\n| 江苏移动：数据质量专员 | | | |\\n\\n## 02 文化渗透促进数据深度应用 数据价值逐步释放\\n\\n- 建立良好的**企业数据文化**是向数据驱动型企业迈进的重要一步。\\n\\n### 培训\\n\\n#### 非数据技术人员\\n\\n#### 数据技术人员\\n\\n加强对**数据生产端的敏捷开发、自动化工具等方法和理念的宣贯**。\\n\\n加强对**数据消费端借助可视化工具进行自查询和数据理念的宣贯**。\\n\\n## 04 数据研发治理流程初步搭建 质量管控初见成效\\n\\n### 数据治理前置初见成效：\\n\\n- 形成“先设计、后开发、先标准、后建模”的模式\\n\\n- 中国工商银行 - 大数据质量门禁：大数据代码规范扫描，单元测试覆盖，UTTD\\n\\n### 数据自动化测试进一步普及：\\n\\n- 某大型互联网 - 自动化测试平台：集成自动化风险标记、自动化测试用例转监控等功能",
|
|||
|
|
"以混沌工程平台为基础，在组织内部借助混沌工程串联稳定性保障技术，构建稳定性保障生态。",
|
|||
|
|
"在生产环境中运行混沌工程实验",
|
|||
|
|
"混沌工程以进行实验的方式来对系统注入故障或其他的扰动",
|
|||
|
|
"混沌工程通过引入各种不确定性和故障来测试和改进系统",
|
|||
|
|
"前言撰写",
|
|||
|
|
"混沌工程与传统测试存在显著差异",
|
|||
|
|
"混沌工程提供了一个统一的方法论，推动架构、开发、测试、运维团队之间的协作。",
|
|||
|
|
"| 差异性 | 混沌工程 | 传统测试 | 理念 | 对系统未知的信息进行探索 | 基于特定条件的验证 | 目标 | 提升系统的韧性和可靠性 | 验证代码逻辑的正确性 | 范围 | 技术架构、运维流程 | 代码 | 环境 | 离生产越近的地方进行实验越好 | 寻找软件缺陷要离生产越远越好 | 执行人员 | 任何关注系统韧性和可靠性的人员，如测试人员、运维人员、开发人员、项目经理等 | 测试人员 | 结果 | 特定的断言，测试会产生二元的结果，非真即假 | 系统架构不同，实验千变万化，结果不同 ### 3.混淆工程与故障演练：故障演练是混沌工程的具体 实践 故障演练是较为正式的，低频的一种演练活动，通过机房断电、 断网等手段模拟不可预期的自然灾害或重大故障，来测试系统的恢复 能力和故障转移能力。故障演练的整体计划性较强，演练前会先制定 整体的演练方案和应急方案；演练时，往往需要协调业务、IT 等多方 参与，并在每次演练时需要组织相关的会议，按照预先设置的应急方 案执行。灾备演练是最常见的一种故障演练的方式。 对比故障演练，混沌工程的组织方式更加灵活，可以按照组织架 构以租户的方式进行，是一种非正式的活动。混沌工程以进行实验的 方式来对系统注入故障或其他的扰动，由于其进行过程成本较低，涉 及相关方较少，因此可以高频进行。 故障演练是混沌工程的一种具体实践, 它是混沌工程中用于模拟和测试系统故障情况的手段之一。混沌工程更广泛地涵盖了通过引入各种不确定性和故障来测试和改进系统的方法和理念, 而故障演练则是其中的一种具体操作手段。 ## （二）混沌工程发展历程 混沌工程的起源可追溯到1970年，硬件工程师将设备暴露在各种有害条件下并观察设备，以确定它们继续运行的情况。",
|
|||
|
|
"混沌工程更广泛地涵盖了通过引入各种不确定性和故障来测试和改进系统的方法和理念, 而故障演练则是其中的一种具体操作手段。 ## （二）混沌工程发展历程 混沌工程的起源可追溯到1970年，硬件工程师将设备暴露在各种有害条件下并观察设备，以确定它们继续运行的情况。这些测试涉及短路引脚之间的连接、产生电磁干扰、中断电源，甚至用辐射轰击 电路等方法实施故障注入。目标是了解此类压力源如何影响设备的运行，确定设备在什么时候会出现故障，并重新设计硬件以使其更具弹性。随着时间的推移，软件故障注入逐步发展，软件工程师可以在他们的应用程序中模拟故障，测试错误和异常处理功能，修改源代码以注入模拟故障（称为编译时注入），并在活跃运行的系统上触发故障（称为运行时注入）。运行时故障注入在管理大型、复杂、分布式系统的公司中变得特别流行。 在 2008 年 8 月 Netflix 遭遇严重的数据库损坏事件, 从那时起 Netflix 决定向云端迁移, 为了能应对云端分布式系统故障, 在架构中贯彻冗余和柔性降级原则的同时, 在 2011 年通过 Chaos Monkey 工具定期“杀死”软件服务的随机实例, 可以测试冗余架构以验证服务器故障不会明显影响客户。随后 Netflix 公司推出了更多的工具、平台和解决方案, 用于在更大规模和跨多个团队中编排实施故障注入。这些工具为我们今天所知的混沌工程奠定了基础。 模式摸索阶段。2010 年 Netflix 提出混沌工程概念，并开发 Chaos Monkey 程序，其主要功能是随机对生产环境的虚拟机实例和容器进行终止操作，从而模拟系统基础设施异常情况，让工程师能够观察服务是否健壮、有弹性，能否容忍计划外的故障。"
|
|||
|
|
],
|
|||
|
|
"passage_sources": [
|
|||
|
|
"原始查询-event-bbafacb2fbab1c313ce9fcd99ac571007f3f91ecee85b607bb31b6d20cd2968d",
|
|||
|
|
"原始查询-event-2eea011f02cbb2c630a9ceb88eff5d196905d5900753e10c89a98513ea53cbf6",
|
|||
|
|
"原始查询-event-25ba0eefeb995a74ce9bed17d84d561f6f0597458a4721f3bbf63f041e2516b4",
|
|||
|
|
"原始查询-event-4d96d92b372fd515ce7bb6b1ded75477a18f10d8e4151f80b5c442ec7552665d",
|
|||
|
|
"原始查询-event-78f1d6beb0d1500ef08b9b5ef032839c2eb7bcb907b0e4ce57b5f666eaef527f",
|
|||
|
|
"原始查询-event-55741738de0a05d7245ec70ab61264c783aa181cb08ef7eba684959a293c9654",
|
|||
|
|
"原始查询-event-013976e7e9ab1be04ac922b4ef3f7ee49e0bf953949ce52f5276962fe0538f88",
|
|||
|
|
"原始查询-event-d1565f1f0d0c7509a687054c9d7fd38793c0bf0c6b5e8ca54acf1b93a77a29d1",
|
|||
|
|
"原始查询-event-9a0312c1166e7a877586b33b88fcb709d6979e40853040a9a4a959ce08f9b883",
|
|||
|
|
"原始查询-event-9a198f33c54ec83f6331632169a8ffa435871b11a190a7851c14ad745ee62f41",
|
|||
|
|
"原始查询-text-642245580fe314e42f194a64fa2561ff3672b4838567a4ac666124e949586827",
|
|||
|
|
"原始查询-text-eaebc2c5bb1aed205038d18eeeee4dd33ab7318e1cbda9d54c2f8a9795e73d28",
|
|||
|
|
"原始查询-text-21a18ce91b1e9504b6073e2982bd9941adb8e4618a13d9a4db018bb28c57c3d0",
|
|||
|
|
"子查询2-event-774a6133f9a25821d10ebab0d1745ac30d14a4016da4d3548b102f265e633a22",
|
|||
|
|
"子查询2-event-1578f029da85aa8bf25b11ce5f36f1ce67b9ae446cddd2266825a5881685226a",
|
|||
|
|
"子查询2-event-6fb21443024d2f95c26d6a0a300a5599a1c9804f500f70fec83d3cb60afdc87a",
|
|||
|
|
"子查询2-event-0b602ca1699621754c4663ee33fbd14c65e56f98f892a180bf49d5c5d4bb45c3",
|
|||
|
|
"子查询2-event-3cdd327d19e8912738212fb94992b711185abb92bb53dcdaf0fbd9d55553a3c3",
|
|||
|
|
"子查询2-event-c9742cba92598eed28ba36b049ac0e5f07c662764f5466218959605695b8a530",
|
|||
|
|
"子查询2-event-5be46591a0a7ccd7266c2f0961280fd5df89d16e316f123585ebe001f09c5fe1",
|
|||
|
|
"子查询2-event-f81ab568ce6cfce72175a1087db911f899752c622460211efdc350d6c3167149",
|
|||
|
|
"子查询2-event-54df2597aae99ae4abc5dd69827c1fa33076286420621cd0ec9c2e5cff1bc682",
|
|||
|
|
"子查询2-event-906b983ee258a3aaea1ec75ccd919654a2c047c3c87d0dd2b44782f34b86b544",
|
|||
|
|
"子查询2-text-da7aaabf868de83a9fc286404d784e30982b7ba7a5e56c5c1707922e5e39dcf1",
|
|||
|
|
"子查询2-text-114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
|||
|
|
"子查询2-text-4e3dfec2ed3a3eaee6d31861e83cd54d8ba47840cd36f43162c719fabe2ef048",
|
|||
|
|
"子查询1-event-7fdb70cf1a3abc43b3e348ee043c0155e43d6df1993c93e8243124f9c8e424a0",
|
|||
|
|
"子查询1-event-eb64e97828b4b85d1fe216efccd636e1b621a1c6e2955eef6aad6516e33c639b",
|
|||
|
|
"子查询1-event-8a14d83ce8b04835fa8d1218cfaf88891b9efdc531c67eb1dcec60b730a30702",
|
|||
|
|
"子查询1-event-716b631cfc54dd6bb9eb129f91a74f95691624a323b7f5769cea6ea11810f492",
|
|||
|
|
"子查询1-event-ec3b4bff0184984b0518a016093fa923ccc5cd03aca0e118b37e30aa1cb0f633",
|
|||
|
|
"子查询1-event-d2675d7846a8a320b98a799d1be6420918ff5076a4c98e54584f5bbec775c2dd",
|
|||
|
|
"子查询1-event-c282aaa040bb69133b28d31287e98db2d4771330e308ca9766e6ad38ddacbf3c",
|
|||
|
|
"子查询1-text-731fddc36b520d361923cb5c3ecfa7dffdc396ef5ce67e35b1c3598744056a52",
|
|||
|
|
"子查询1-text-c7cd68334f44bbedbe19e9dac291514f61aff4e90858ef2901d8c3459fc94219"
|
|||
|
|
],
|
|||
|
|
"pagerank_data_available": true,
|
|||
|
|
"pagerank_summary": {},
|
|||
|
|
"concept_exploration_results": {},
|
|||
|
|
"exploration_round": 0,
|
|||
|
|
"debug_info": {
|
|||
|
|
"total_time": 23.27735161781311,
|
|||
|
|
"retrieval_calls": 1,
|
|||
|
|
"llm_calls": 4,
|
|||
|
|
"langsmith_project": "api-20250912_004059",
|
|||
|
|
"token_usage_summary": {
|
|||
|
|
"has_llm": true,
|
|||
|
|
"has_generator": true,
|
|||
|
|
"last_call": {
|
|||
|
|
"prompt_tokens": 4218,
|
|||
|
|
"completion_tokens": 200,
|
|||
|
|
"total_tokens": 4418
|
|||
|
|
},
|
|||
|
|
"total_usage": {
|
|||
|
|
"prompt_tokens": 9513,
|
|||
|
|
"completion_tokens": 385,
|
|||
|
|
"total_tokens": 9898,
|
|||
|
|
"call_count": 4
|
|||
|
|
},
|
|||
|
|
"model_name": "qwen2-7b-instruct",
|
|||
|
|
"has_last_usage": true,
|
|||
|
|
"has_total_usage": true
|
|||
|
|
},
|
|||
|
|
"complexity_analysis": {
|
|||
|
|
"is_complex": true,
|
|||
|
|
"complexity_level": "complex",
|
|||
|
|
"confidence": 0.95,
|
|||
|
|
"reason": "这是一个复杂查询，因为它包含了两个不同的概念：混沌工程和DataOps。这两个概念分别属于不同的领域（软件工程和数据操作管理），并且可能需要详细解释和背景信息来充分理解。因此，为了全面回答这个问题，可能需要生成并回答两个或更多个子查询，每个子查询专注于解释其中一个概念。"
|
|||
|
|
},
|
|||
|
|
"debug_mode_analysis": {
|
|||
|
|
"debug_mode": "0",
|
|||
|
|
"debug_override": {},
|
|||
|
|
"path_override_applied": false
|
|||
|
|
},
|
|||
|
|
"sufficiency_analysis": {
|
|||
|
|
"final_sufficiency": true,
|
|||
|
|
"sufficiency_check_details": {
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"reason": "事件信息和段落信息包含了回答查询所需的关键内容，包括混沌工程的定义、实践案例、发展历程以及DataOps的概念、应用和价值。",
|
|||
|
|
"iteration": 0
|
|||
|
|
},
|
|||
|
|
"iteration_sufficiency_history": [],
|
|||
|
|
"sufficiency_progression": {
|
|||
|
|
"status": "no_sufficiency_checks"
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"routing_analysis": {
|
|||
|
|
"total_routing_decisions": 1,
|
|||
|
|
"sub_query_generation_count": 0,
|
|||
|
|
"parallel_retrieval_count": 0,
|
|||
|
|
"pagerank_collection_count": 0
|
|||
|
|
},
|
|||
|
|
"concept_exploration_analysis": {
|
|||
|
|
"exploration_enabled": false,
|
|||
|
|
"exploration_rounds": 0,
|
|||
|
|
"pagerank_nodes_analyzed": 0,
|
|||
|
|
"successful_branches_total": 0,
|
|||
|
|
"total_branches_attempted": 0
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"iteration_history": [
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"query": "并行检索: 原始查询 + 2 个子查询",
|
|||
|
|
"passages_count": 35,
|
|||
|
|
"action": "retrieval"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"action": "sufficiency_check",
|
|||
|
|
"is_sufficient": true,
|
|||
|
|
"confidence": 0.9,
|
|||
|
|
"sub_queries_count": 0
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"iteration": 0,
|
|||
|
|
"action": "final_answer_generation",
|
|||
|
|
"answer_length": 374
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
}
|