602 lines
61 KiB
JSON
602 lines
61 KiB
JSON
{
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"answer": "【检索结果汇总】\n\n查询问题：混沌工程的定义是什么？DataOps是什么？\n\n检索到 30 个相关段落：\n\n【事件信息】\n\n事件1：DataOps 实践快速发展\n\n事件2：编写了一篇关于DataOps实践指南的文章\n\n事件3：DataOps作为一种新兴的数据管理方法\n\n事件4：企业数字化转型快速释放数据生产力的最佳方案\n\n事件5：标准引领，建设 DataOps 体系\n\n事件6：实施数据治理策略\n\n事件7：提高开发效率和产品质量\n\n事件8：建立数据管道\n\n事件9：集成DevOps实践\n\n事件10：《DataOps 实践指南 1.0》发布\n\n事件11：混沌工程成为生产环节中不可或缺的一部分\n\n事件12：整个研发运营体系\n\n事件13：混沌工程提供了一个统一的方法论，推动架构、开发、测试、运维团队之间的协作。\n\n事件14：运维团队利用混沌工程解决系统问题预测与应对\n\n事件15：混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。\n\n事件16：将混沌工程活动内建到现有流程\n\n事件17：以混沌工程平台为基础，在组织内部借助混沌工程串联稳定性保障技术，构建稳定性保障生态。\n\n事件18：开发团队利用混沌工程从开发阶段考虑故障场景\n\n事件19：在生产环境中运行混沌工程实验\n\n事件20：混沌工程针对系统未知信息进行探索\n\n事件21：以混沌工程为抓手推动整个稳定性保障体系能力提升\n\n事件22：首先完善系统的设计后再开展混沌工程的实现\n\n事件23：通过混沌工程让工程师更多认识故障及其对业务的影响。\n\n\n\n【段落信息】\n\n段落1：DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。\n\n段落2：# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题\n\n段落3：# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望\n\n段落4：混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。比如通过开展故障演练、 GameDay 等活动，将各个团队介入进来，根据历史发生过的或可能发 生的故障场景，对业务进行注入故障、故障排查、复盘，提升对故障 事件的应急处理能力，增强对系统抵御故障场景的信息，通过混沌工 程来加深各部门之间的沟通合作。 混沌工程提升了工程师的响应能力。工程师也是系统的一部分,混沌工程通过混沌实验为工程师构建了一个非确定性、非周期性的故障环境, 剥离工程师对初始条件的敏感依赖, 进而提升了工程师对故障防御的设计能力、故障事件的构建能力、故障问题的描述能力以及故障应对的组织协调能力。其实是通过混沌工程的能力, 让工程师更多认识故障及其对业务的影响, 从以前的 “被动响应” 到 “主动防御”。 混沌工程对于架构团队而言，最大的价值是在系统设计之初就将 可能发生的、尽量全的故障场景考虑进去，不至于在系统架构非常臃 肿时再想去提升稳定性，在一个业务复杂的系统中考虑稳定性设计是 异常难的，难分析、难改动、难优化。 混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。\n\n段落5：混沌工程管理逐步组织化。除了传统的烟囱型组织(有的团队只 关注应用、有的团队只关注中间件、有的团队只关注基础设施……）， IT 部门将建设横向拉通团队：负责稳定性标准的制定、混沌工程实施 规划、可用性结果的观测和验收，对稳定性达成的路径负责，对稳定 性结果负责。 混沌工程实施模式趋向集中化。混沌工程实施模式由分散式向集 中式转变，混沌工程发展初期主要是组织内单点团队自驱式地尝试或 正式采纳混沌工程，随着混沌工程价值认可度的提高，未来将成为生 产环节中不可或缺的一部分，融合入整个研发运营体系，并获得组织 的集中推进和管理，即实现在测试、预发、灰度的各环节，无缝集成 混沌工程系统，使混沌工程方法有机会参与到UT、冒烟测试、端到 端测试、性能测试、灰度发布的各个环节。 混沌工程实验将由手动、人工操作为主向自动化、智能化发展。 混沌工程实验的自动化和智能化水平将得到进一步提升，可体现 在混沌工程平台的编排、注入、结果分析等各环节。这包括异构架构的拓 扑、注入点的智能选择、场景和参数的智能设置、结果的智能分析、 风险库的智能建设等。短期来看，就是逐渐的增加自动化、减少人工 的参与，长期来看，是让使用者更关注被测目标的风险本身，而非工 具平台的使用。 附件：案例 # 一、华泰证券混沌工程实践案例 ## （一）背景介绍 应用系统在生产环境长期运行过程中,会受到各种不可预知的事 件的影响，例如配置参数修改、软件代码缺陷、负载流量增加、硬件 网络故障，异常数据引入等，有些业务场景会随着影响的引入而逐渐 失效。\n\n段落6：要将实验后果最小化并加以控制，会使用到根因分析算法（包含时间、注入IP、调用链等），同时，混沌工程可作为一种主动制造故障的方式，还可以验证与提升根因分析算法的准确率与召回率。 ### 2.混沌工程组织价值 通常企业的 IT 部门中架构、开发、测试、运维团队都是各司其 职，完成指定的相关领域工作。架构团队从各种不同架构角度设计审 视核心系统，包括组件、技术选型等，也会关注少部分的系统稳定性 相关能力；而开发主要是则一般是单纯按照技术文档实现相应功能， 一般很少主动关注所开发组件的稳定性，除非需要开发相关特性或有 成熟的能力；测试团队以功能测试和性能测试为主，可靠性测试还是 以系统中的可靠性特性做有针对性的测试，不会进行故障场景的深挖； 运维团队往往是对系统稳定性了解最清楚的，因为他们遇到的软硬件 问题是最多的，他们最大的问题就是不知道系统中都会存在哪些故障？ 如何快速处理？只能堆人力解决问题，是最不高效的一种方式。 我们需要将业务系统的稳定性问题分解出来，各个团队需要认识 到各种故障场景对业务的影响是什么？是否有监控恢复手段？应急 预案是否完备？那么就需要有改变。 混沌工程改变了企业 IT 团队的思考方式，促使各团队在设计、 开发、测试等过程中增加了对故障的考虑：在架构设计的时候考虑一 类故障的监控、恢复、业务的 HA；开发过程中审视出现故障时故障 的快速跟踪定位；测试需要覆盖的故障场景更加全面；运维清楚在出 现某种故障时业务的表现是什么，应该如何进行恢复，应急预案是否 完备。 混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。\n\n段落7：以混沌工程为抓手推动整个稳定性保障体系 能力提升。 # 三、混沌工程技术应用 ## （一）混沌工程开展基础 团队拥抱失败的文化基础。实施混沌工程，坚实的文化基础与技 术基础设施一样重要。首先需要领导团队承认系统固有的复杂性，而不 是一味要求工程师“不能也不该出现失误”此外，需要主动性和创 造性的企业文化，来促进工程师更主动的探索与发现潜在的、未知的 风险。如果每个人都忙于他们的日常工作而无暇做其他事情，混沌工 程很可能失败。理想情况下，混沌工程会揭示目标系统未知的一些故 障方面，混沌工程因此需要协作、持续的进行，并且具有挑战性。 系统具备一定的韧性。如果目标系统的应用系统和基础设施不具备一定的高可用、弹性和自愈设计，存在明显的单点故障，那么此时进行混沌工程的价值有限, 应首先完善系统的设计后再开展混沌工程的实现。 明确的业务目标。混沌工程实验在每次开展前，一是需要明确本 次实验针对哪个业务系统（即实验目标）；二是明确哪些外部因素是 本次实验的变量；三是需要明确实验的步骤；四是能够说明本次实验 能对业务系统带来哪些收益并得到业务系统负责人的认可。 目标系统的可观测性基础。混沌工程是一种基于实验的实践，因此需要能够监测控制组和实验组之间的差异。如果没有适当的工具来检测任何差异，例如服务降级，那么就无法了解实验产生的影响。目标系统应该具备基本的日志记录和监控能力让维护者了解实验是否对目标系统产生了影响。\n\n\n相关子查询：\n混沌工程的定义是什么？、DataOps是什么？\n\n检索统计：\n- 查询复杂度：{'is_complex': True, 'complexity_level': 'complex', 'confidence': 0.95, 'reason': '这是一个复杂查询，因为它包含了两个不同的主题：混沌工程的定义和DataOps的定义。这两个主题分别属于不同的领域（系统工程与数据操作管理），并且可能都需要深入的解释和背景知识来提供全面的回答。因此，为了准确地回答这个问题，可能需要生成针对每个主题的多个子查询来收集相关信息并整合成最终的答案。'}\n- 是否复杂查询：True\n- 迭代次数：0\n- 信息充分性：True\n",
|
||
"query_complexity": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，因为它包含了两个不同的主题：混沌工程的定义和DataOps的定义。这两个主题分别属于不同的领域（系统工程与数据操作管理），并且可能都需要深入的解释和背景知识来提供全面的回答。因此，为了准确地回答这个问题，可能需要生成针对每个主题的多个子查询来收集相关信息并整合成最终的答案。"
|
||
},
|
||
"is_complex_query": true,
|
||
"retrieval_path": "complex_hipporag",
|
||
"iterations": 0,
|
||
"total_passages": 30,
|
||
"sub_queries": [
|
||
"混沌工程的定义是什么？",
|
||
"DataOps是什么？"
|
||
],
|
||
"decomposed_sub_queries": [
|
||
"混沌工程的定义是什么？",
|
||
"DataOps是什么？"
|
||
],
|
||
"initial_retrieval_details": {},
|
||
"sufficiency_check": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容...",
|
||
"iteration": 0
|
||
},
|
||
"current_sub_queries": [],
|
||
"is_sufficient": true,
|
||
"all_documents": [
|
||
{
|
||
"page_content": "DataOps 实践快速发展",
|
||
"metadata": {
|
||
"node_id": "20707ee6c13b5870e58f4eb4853f2bd6ddc6b0dff31966717b5f434d0a6dcc20",
|
||
"node_type": "event",
|
||
"ppr_score": 0.009222440172502636,
|
||
"edge_score": 1.8092465,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "编写了一篇关于DataOps实践指南的文章",
|
||
"metadata": {
|
||
"node_id": "c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"node_type": "event",
|
||
"ppr_score": 0.008714233309485286,
|
||
"edge_score": 1.7966007,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps作为一种新兴的数据管理方法",
|
||
"metadata": {
|
||
"node_id": "680b2a6330d156d3853a42fa00e510355f92a08a8a568b3adf5d556f8913fa8a",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004772188275489659,
|
||
"edge_score": 1.8095305,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "企业数字化转型快速释放数据生产力的最佳方案",
|
||
"metadata": {
|
||
"node_id": "d691625bd46a5a8840368fcc0f2456ee067bedde79a397596cf3cd225cacb0fc",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004772188275489659,
|
||
"edge_score": 1.8095305,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "标准引领，建设 DataOps 体系",
|
||
"metadata": {
|
||
"node_id": "adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004112749607637755,
|
||
"edge_score": 1.7975943,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "实施数据治理策略",
|
||
"metadata": {
|
||
"node_id": "0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004050966065757632,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "提高开发效率和产品质量",
|
||
"metadata": {
|
||
"node_id": "b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004050966065757632,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "建立数据管道",
|
||
"metadata": {
|
||
"node_id": "849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004013985995013163,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "集成DevOps实践",
|
||
"metadata": {
|
||
"node_id": "fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004013985995013163,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "《DataOps 实践指南 1.0》发布",
|
||
"metadata": {
|
||
"node_id": "1399b28642963b0ae525bae264742aabd43a3f9bcb85d98c0ca6566a1c1ba26d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0037804007610538278,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"metadata": {
|
||
"node_id": "114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||
"node_type": "text",
|
||
"ppr_score": 0.025526262615140446,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.08387384,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"metadata": {
|
||
"node_id": "21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"node_type": "text",
|
||
"ppr_score": 0.01920283895852907,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.08648537,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望",
|
||
"metadata": {
|
||
"node_id": "e34af0743f1a73824cdd542d786b9b39af367c001f1cd738d2160bfa9bc54e60",
|
||
"node_type": "text",
|
||
"ppr_score": 0.016318236162850688,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.08682720000000001,
|
||
"rank": 13,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程成为生产环节中不可或缺的一部分",
|
||
"metadata": {
|
||
"node_id": "bbafacb2fbab1c313ce9fcd99ac571007f3f91ecee85b607bb31b6d20cd2968d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0052935127484395215,
|
||
"edge_score": 1.7457153,
|
||
"passage_score": 0.0,
|
||
"rank": 1,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "整个研发运营体系",
|
||
"metadata": {
|
||
"node_id": "2eea011f02cbb2c630a9ceb88eff5d196905d5900753e10c89a98513ea53cbf6",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0052935127484395215,
|
||
"edge_score": 1.7457153,
|
||
"passage_score": 0.0,
|
||
"rank": 2,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程提供了一个统一的方法论，推动架构、开发、测试、运维团队之间的协作。",
|
||
"metadata": {
|
||
"node_id": "c282aaa040bb69133b28d31287e98db2d4771330e308ca9766e6ad38ddacbf3c",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004567903766394045,
|
||
"edge_score": 1.740411,
|
||
"passage_score": 0.0,
|
||
"rank": 3,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "运维团队利用混沌工程解决系统问题预测与应对",
|
||
"metadata": {
|
||
"node_id": "25ba0eefeb995a74ce9bed17d84d561f6f0597458a4721f3bbf63f041e2516b4",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004460277487038249,
|
||
"edge_score": 1.7743685,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。",
|
||
"metadata": {
|
||
"node_id": "e4f5a4635bbe3383dddfb90d125158e78ccb8e1c30bd390c7e17b6ee574fa28d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004426059152642818,
|
||
"edge_score": 1.7408557,
|
||
"passage_score": 0.0,
|
||
"rank": 5,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "将混沌工程活动内建到现有流程",
|
||
"metadata": {
|
||
"node_id": "8a187f19d1b4d17e1ace47081dba5a272e954caea20040906f9ccabd8a3f671d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0038058199298080598,
|
||
"edge_score": 1.742083,
|
||
"passage_score": 0.0,
|
||
"rank": 6,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "以混沌工程平台为基础，在组织内部借助混沌工程串联稳定性保障技术，构建稳定性保障生态。",
|
||
"metadata": {
|
||
"node_id": "7fdb70cf1a3abc43b3e348ee043c0155e43d6df1993c93e8243124f9c8e424a0",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003637416032362811,
|
||
"edge_score": 1.7569364,
|
||
"passage_score": 0.0,
|
||
"rank": 7,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "开发团队利用混沌工程从开发阶段考虑故障场景",
|
||
"metadata": {
|
||
"node_id": "4d96d92b372fd515ce7bb6b1ded75477a18f10d8e4151f80b5c442ec7552665d",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0033808786624329964,
|
||
"edge_score": 1.7673812,
|
||
"passage_score": 0.0,
|
||
"rank": 8,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "在生产环境中运行混沌工程实验",
|
||
"metadata": {
|
||
"node_id": "eb64e97828b4b85d1fe216efccd636e1b621a1c6e2955eef6aad6516e33c639b",
|
||
"node_type": "event",
|
||
"ppr_score": 0.0032640786491590582,
|
||
"edge_score": 1.7427278,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程针对系统未知信息进行探索",
|
||
"metadata": {
|
||
"node_id": "7bfbe657437c9eaaef47e2f0d1f35cb3efb4ef186c7692826a40ed2fac8f4062",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003260655883080359,
|
||
"edge_score": 1.745333,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。比如通过开展故障演练、 GameDay 等活动，将各个团队介入进来，根据历史发生过的或可能发 生的故障场景，对业务进行注入故障、故障排查、复盘，提升对故障 事件的应急处理能力，增强对系统抵御故障场景的信息，通过混沌工 程来加深各部门之间的沟通合作。 混沌工程提升了工程师的响应能力。工程师也是系统的一部分,混沌工程通过混沌实验为工程师构建了一个非确定性、非周期性的故障环境, 剥离工程师对初始条件的敏感依赖, 进而提升了工程师对故障防御的设计能力、故障事件的构建能力、故障问题的描述能力以及故障应对的组织协调能力。其实是通过混沌工程的能力, 让工程师更多认识故障及其对业务的影响, 从以前的 “被动响应” 到 “主动防御”。 混沌工程对于架构团队而言，最大的价值是在系统设计之初就将 可能发生的、尽量全的故障场景考虑进去，不至于在系统架构非常臃 肿时再想去提升稳定性，在一个业务复杂的系统中考虑稳定性设计是 异常难的，难分析、难改动、难优化。 混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。",
|
||
"metadata": {
|
||
"node_id": "eaebc2c5bb1aed205038d18eeeee4dd33ab7318e1cbda9d54c2f8a9795e73d28",
|
||
"node_type": "text",
|
||
"ppr_score": 0.01561203102606639,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.08577338000000001,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "混沌工程管理逐步组织化。除了传统的烟囱型组织(有的团队只 关注应用、有的团队只关注中间件、有的团队只关注基础设施……）， IT 部门将建设横向拉通团队：负责稳定性标准的制定、混沌工程实施 规划、可用性结果的观测和验收，对稳定性达成的路径负责，对稳定 性结果负责。 混沌工程实施模式趋向集中化。混沌工程实施模式由分散式向集 中式转变，混沌工程发展初期主要是组织内单点团队自驱式地尝试或 正式采纳混沌工程，随着混沌工程价值认可度的提高，未来将成为生 产环节中不可或缺的一部分，融合入整个研发运营体系，并获得组织 的集中推进和管理，即实现在测试、预发、灰度的各环节，无缝集成 混沌工程系统，使混沌工程方法有机会参与到UT、冒烟测试、端到 端测试、性能测试、灰度发布的各个环节。 混沌工程实验将由手动、人工操作为主向自动化、智能化发展。 混沌工程实验的自动化和智能化水平将得到进一步提升，可体现 在混沌工程平台的编排、注入、结果分析等各环节。这包括异构架构的拓 扑、注入点的智能选择、场景和参数的智能设置、结果的智能分析、 风险库的智能建设等。短期来看，就是逐渐的增加自动化、减少人工 的参与，长期来看，是让使用者更关注被测目标的风险本身，而非工 具平台的使用。 附件：案例 # 一、华泰证券混沌工程实践案例 ## （一）背景介绍 应用系统在生产环境长期运行过程中,会受到各种不可预知的事 件的影响，例如配置参数修改、软件代码缺陷、负载流量增加、硬件 网络故障，异常数据引入等，有些业务场景会随着影响的引入而逐渐 失效。",
|
||
"metadata": {
|
||
"node_id": "642245580fe314e42f194a64fa2561ff3672b4838567a4ac666124e949586827",
|
||
"node_type": "text",
|
||
"ppr_score": 0.01490520327523821,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.0847494,
|
||
"rank": 12,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "要将实验后果最小化并加以控制，会使用到根因分析算法（包含时间、注入IP、调用链等），同时，混沌工程可作为一种主动制造故障的方式，还可以验证与提升根因分析算法的准确率与召回率。 ### 2.混沌工程组织价值 通常企业的 IT 部门中架构、开发、测试、运维团队都是各司其 职，完成指定的相关领域工作。架构团队从各种不同架构角度设计审 视核心系统，包括组件、技术选型等，也会关注少部分的系统稳定性 相关能力；而开发主要是则一般是单纯按照技术文档实现相应功能， 一般很少主动关注所开发组件的稳定性，除非需要开发相关特性或有 成熟的能力；测试团队以功能测试和性能测试为主，可靠性测试还是 以系统中的可靠性特性做有针对性的测试，不会进行故障场景的深挖； 运维团队往往是对系统稳定性了解最清楚的，因为他们遇到的软硬件 问题是最多的，他们最大的问题就是不知道系统中都会存在哪些故障？ 如何快速处理？只能堆人力解决问题，是最不高效的一种方式。 我们需要将业务系统的稳定性问题分解出来，各个团队需要认识 到各种故障场景对业务的影响是什么？是否有监控恢复手段？应急 预案是否完备？那么就需要有改变。 混沌工程改变了企业 IT 团队的思考方式，促使各团队在设计、 开发、测试等过程中增加了对故障的考虑：在架构设计的时候考虑一 类故障的监控、恢复、业务的 HA；开发过程中审视出现故障时故障 的快速跟踪定位；测试需要覆盖的故障场景更加全面；运维清楚在出 现某种故障时业务的表现是什么，应该如何进行恢复，应急预案是否 完备。 混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。",
|
||
"metadata": {
|
||
"node_id": "e0030c5183f95b1b207ff609e1c7f2a9c8486bf190eae5d9937f5324b9ed0584",
|
||
"node_type": "text",
|
||
"ppr_score": 0.012508215988289639,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.085636,
|
||
"rank": 13,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "混沌工程的定义是什么？DataOps是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "以混沌工程为抓手推动整个稳定性保障体系能力提升",
|
||
"metadata": {
|
||
"node_id": "ba5ec6dbd7a3654f819352cc961766a12b47c77df3d351d10d1a3aebd3e1d483",
|
||
"node_type": "event",
|
||
"ppr_score": 0.004385269272986831,
|
||
"edge_score": 1.8124917,
|
||
"passage_score": 0.0,
|
||
"rank": 4,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "首先完善系统的设计后再开展混沌工程的实现",
|
||
"metadata": {
|
||
"node_id": "92d78aa097eb511ca0f15e515012d51fdd537f52d2682933bff6c53a139f4c8f",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003720271719257062,
|
||
"edge_score": 1.8431389,
|
||
"passage_score": 0.0,
|
||
"rank": 9,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "通过混沌工程让工程师更多认识故障及其对业务的影响。",
|
||
"metadata": {
|
||
"node_id": "3e3c398d512804ee046260a9079f11c8eb5b5114d2f80f8628559eaed8b5034f",
|
||
"node_type": "event",
|
||
"ppr_score": 0.003700219412119685,
|
||
"edge_score": 1.8145068,
|
||
"passage_score": 0.0,
|
||
"rank": 10,
|
||
"source": "hipporag2_langchain_event",
|
||
"query": "混沌工程的定义是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
},
|
||
{
|
||
"page_content": "以混沌工程为抓手推动整个稳定性保障体系 能力提升。 # 三、混沌工程技术应用 ## （一）混沌工程开展基础 团队拥抱失败的文化基础。实施混沌工程，坚实的文化基础与技 术基础设施一样重要。首先需要领导团队承认系统固有的复杂性，而不 是一味要求工程师“不能也不该出现失误”此外，需要主动性和创 造性的企业文化，来促进工程师更主动的探索与发现潜在的、未知的 风险。如果每个人都忙于他们的日常工作而无暇做其他事情，混沌工 程很可能失败。理想情况下，混沌工程会揭示目标系统未知的一些故 障方面，混沌工程因此需要协作、持续的进行，并且具有挑战性。 系统具备一定的韧性。如果目标系统的应用系统和基础设施不具备一定的高可用、弹性和自愈设计，存在明显的单点故障，那么此时进行混沌工程的价值有限, 应首先完善系统的设计后再开展混沌工程的实现。 明确的业务目标。混沌工程实验在每次开展前，一是需要明确本 次实验针对哪个业务系统（即实验目标）；二是明确哪些外部因素是 本次实验的变量；三是需要明确实验的步骤；四是能够说明本次实验 能对业务系统带来哪些收益并得到业务系统负责人的认可。 目标系统的可观测性基础。混沌工程是一种基于实验的实践，因此需要能够监测控制组和实验组之间的差异。如果没有适当的工具来检测任何差异，例如服务降级，那么就无法了解实验产生的影响。目标系统应该具备基本的日志记录和监控能力让维护者了解实验是否对目标系统产生了影响。",
|
||
"metadata": {
|
||
"node_id": "eaabafd56e1ad979fc78f6aedce2330e9a7897435612ec4190c1964208e49e0b",
|
||
"node_type": "text",
|
||
"ppr_score": 0.012979843042714321,
|
||
"edge_score": 0.0,
|
||
"passage_score": 0.08712907,
|
||
"rank": 11,
|
||
"source": "hipporag2_langchain_text",
|
||
"query": "混沌工程的定义是什么？",
|
||
"pagerank_available": true
|
||
}
|
||
}
|
||
],
|
||
"all_passages": [
|
||
"DataOps 实践快速发展",
|
||
"编写了一篇关于DataOps实践指南的文章",
|
||
"DataOps作为一种新兴的数据管理方法",
|
||
"企业数字化转型快速释放数据生产力的最佳方案",
|
||
"标准引领，建设 DataOps 体系",
|
||
"实施数据治理策略",
|
||
"提高开发效率和产品质量",
|
||
"建立数据管道",
|
||
"集成DevOps实践",
|
||
"《DataOps 实践指南 1.0》发布",
|
||
"DataOps作为一种新兴的数据管理 方法，强调数据管理自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简 化了数据交付的周期，提升数据成产者与数据消费者的协同效率，成为企业数字化转 型快速释放数据生产力的最佳方案。 充分利用AI和大模型技术优化数据策略。AI技术可以通过机器学习和深度学习算 法，自动化地处理和分析大规模的数据，发现数据中的隐藏模式和趋势，为企业提供 更准确、实时的决策支持。数据分析技术也将不断发展，包括数据挖掘、预测分析、 文本分析等，通过对数据的深入分析，帮助企业更好地理解和利用数据。 ## （五）以数据入表为抓手，探索数据核算机制 2023年8月，财政部正式发文《企业数据资源相关会计处理暂行规定》（下称 “暂行规定”），标志着我国数据资源入表正式落地，探索数据资源入表的基础制度和 会计制度，对于释放数据要素价值、推动市场建设、优化资源配置具有重要意义。数 据资源入表是指将企业数据资源在财务报表层面真实反应其价值和成本投入，向企业 董事会、管理层和投资方充分披露公司对于数据的重视程度和数据带来的实际价值。 《暂行规定》根据企业使用数据目的的不同，区分为无形资产类数据资产和存 货类数据资产，并分别要求企业参照《企业会计准则第6号——无形资产》和《企业 会计准则第1号——存货》进行处理，同时也要求企业按照规定强制和自愿披露相关 数据资源信息。在《暂行规定》的指导要求下，企业过往在数据建设领域的部分投资 费用可以得到资本化处理，进而改善企业资产负债结构、经营利润等财务数据，同 时，也会进一步激发、促进企业加速完善数据管理体系的建设意愿与进程。",
|
||
"# DataOps 能力框架——实践保障\\n\\n## 2024DataOPS发展大会\\n\\n智驱新程·数驱万务\\n\\n为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。\\n\\n### 系统工具\\n\\n#### 数据需求管理\\n\\n| 手段 | 构建数据需求全生命周期的管理能力 |\\n\\n| :--- | :--------------------------------- |\\n\\n| 目标 | 支持流程的设计和共享 |\\n\\n| 进一步要求 | 数据需求方主动通过自助分析平台进行数据探查 |\\n\\n#### 数据研发治理一体化\\n\\n| 原则 | 先设计、后开发、先标准、后建模 |\\n\\n| :--- | :------------------------------- |\\n\\n| 手段 | 设计管理、开发管理、数据应用 |\\n\\n| 目的 | 规范即设计，设计即开发，开发即治理 |\\n\\n#### 数据自动化交付部署\\n\\n\\n\\n#### 数据一体化运维\\n\\n| 对象 | 数据研发全链路的监测、运维监控、运维告警、运维操作 |\\n\\n| :--- | :---------------------------------------------------- |\\n\\n| 手段 | 可视化方式 |\\n\\n| 目的 | 实时展现研发效能、数据质量 |\\n\\n### 组织管理\\n\\n#### 组织架构\\n\\n合理配置\\n\\n{ | 数据技术架构 |\\n\\n| 数据人员架构 |\\n\\n#### 岗位角色\\n\\n| | 设置相应的岗位角色 |\\n\\n| :--- | :------------------ |\\n\\n| | 明确晋升路线与考核方式 |\\n\\n#### 协作协同\\n\\n依托\\n\\n| 敏捷方法 |\\n\\n| :-------- |\\n\\n| 关注团队、工具间的协同问题持续进行优化 |\\n\\n解决\\n\\n### 安全管控\\n\\n#### 安全风险策略\\n\\n加强\\n\\n{ | 数据研发全生命周期 |\\n\\n| 风险识别 |\\n\\n| 风险预测 |\\n\\n#### 风险管理\\n\\n外部法律法规\\n\\n+ 监管要求\\n\\n+ 企业内部安全需求\\n\\n健全\\n\\n风险管理策略\\n\\n#### 安全测试\\n\\n数据研发过程的各环节进行安全测试\\n\\n保证\\n\\n提前发现问题处理问题",
|
||
"# 《DataOps 实践指南 1.0》回顾\\n\\n## 2023\\n\\n《DataOps 实践指南 1.0》\\n\\nDataOps 实践快速发展\\n\\n## 2024\\n\\n《DataOps 实践指南 2.0》\\n\\n---\\n\\n> 定位：总结各行业最佳实践，提炼核心理论框架，推动 DataOps 理念的广泛应用，加速数据驱动型企业的能力建设。\\n\\n### 核心内容\\n\\n* DataOps 理念的演进历程和发展现状\\n\\n* DataOps 概念内涵\\n\\n* DataOps 价值作用\\n\\n* DataOps 能力框架简要介绍\\n\\n* DataOps 发展展望\\n\\n### 核心内容\\n\\n* DataOps 概念与价值内涵\\n\\n* DataOps 能力框架要求详细解读\\n\\n* DataOps 实践路径和核心要点\\n\\n* DataOps 实践难点和应对策略\\n\\n* DataOps 发展展望",
|
||
"混沌工程成为生产环节中不可或缺的一部分",
|
||
"整个研发运营体系",
|
||
"混沌工程提供了一个统一的方法论，推动架构、开发、测试、运维团队之间的协作。",
|
||
"运维团队利用混沌工程解决系统问题预测与应对",
|
||
"混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。",
|
||
"将混沌工程活动内建到现有流程",
|
||
"以混沌工程平台为基础，在组织内部借助混沌工程串联稳定性保障技术，构建稳定性保障生态。",
|
||
"开发团队利用混沌工程从开发阶段考虑故障场景",
|
||
"在生产环境中运行混沌工程实验",
|
||
"混沌工程针对系统未知信息进行探索",
|
||
"混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。比如通过开展故障演练、 GameDay 等活动，将各个团队介入进来，根据历史发生过的或可能发 生的故障场景，对业务进行注入故障、故障排查、复盘，提升对故障 事件的应急处理能力，增强对系统抵御故障场景的信息，通过混沌工 程来加深各部门之间的沟通合作。 混沌工程提升了工程师的响应能力。工程师也是系统的一部分,混沌工程通过混沌实验为工程师构建了一个非确定性、非周期性的故障环境, 剥离工程师对初始条件的敏感依赖, 进而提升了工程师对故障防御的设计能力、故障事件的构建能力、故障问题的描述能力以及故障应对的组织协调能力。其实是通过混沌工程的能力, 让工程师更多认识故障及其对业务的影响, 从以前的 “被动响应” 到 “主动防御”。 混沌工程对于架构团队而言，最大的价值是在系统设计之初就将 可能发生的、尽量全的故障场景考虑进去，不至于在系统架构非常臃 肿时再想去提升稳定性，在一个业务复杂的系统中考虑稳定性设计是 异常难的，难分析、难改动、难优化。 混沌工程对于开发团队而言，可以通过混沌工程能力从开发之初 或开发时就可以将由于开发或引入的组件导致的故障场景考虑进去， 从故障场景分析如何增强问题的快速定位、防护、跟踪等能力。",
|
||
"混沌工程管理逐步组织化。除了传统的烟囱型组织(有的团队只 关注应用、有的团队只关注中间件、有的团队只关注基础设施……）， IT 部门将建设横向拉通团队：负责稳定性标准的制定、混沌工程实施 规划、可用性结果的观测和验收，对稳定性达成的路径负责，对稳定 性结果负责。 混沌工程实施模式趋向集中化。混沌工程实施模式由分散式向集 中式转变，混沌工程发展初期主要是组织内单点团队自驱式地尝试或 正式采纳混沌工程，随着混沌工程价值认可度的提高，未来将成为生 产环节中不可或缺的一部分，融合入整个研发运营体系，并获得组织 的集中推进和管理，即实现在测试、预发、灰度的各环节，无缝集成 混沌工程系统，使混沌工程方法有机会参与到UT、冒烟测试、端到 端测试、性能测试、灰度发布的各个环节。 混沌工程实验将由手动、人工操作为主向自动化、智能化发展。 混沌工程实验的自动化和智能化水平将得到进一步提升，可体现 在混沌工程平台的编排、注入、结果分析等各环节。这包括异构架构的拓 扑、注入点的智能选择、场景和参数的智能设置、结果的智能分析、 风险库的智能建设等。短期来看，就是逐渐的增加自动化、减少人工 的参与，长期来看，是让使用者更关注被测目标的风险本身，而非工 具平台的使用。 附件：案例 # 一、华泰证券混沌工程实践案例 ## （一）背景介绍 应用系统在生产环境长期运行过程中,会受到各种不可预知的事 件的影响，例如配置参数修改、软件代码缺陷、负载流量增加、硬件 网络故障，异常数据引入等，有些业务场景会随着影响的引入而逐渐 失效。",
|
||
"要将实验后果最小化并加以控制，会使用到根因分析算法（包含时间、注入IP、调用链等），同时，混沌工程可作为一种主动制造故障的方式，还可以验证与提升根因分析算法的准确率与召回率。 ### 2.混沌工程组织价值 通常企业的 IT 部门中架构、开发、测试、运维团队都是各司其 职，完成指定的相关领域工作。架构团队从各种不同架构角度设计审 视核心系统，包括组件、技术选型等，也会关注少部分的系统稳定性 相关能力；而开发主要是则一般是单纯按照技术文档实现相应功能， 一般很少主动关注所开发组件的稳定性，除非需要开发相关特性或有 成熟的能力；测试团队以功能测试和性能测试为主，可靠性测试还是 以系统中的可靠性特性做有针对性的测试，不会进行故障场景的深挖； 运维团队往往是对系统稳定性了解最清楚的，因为他们遇到的软硬件 问题是最多的，他们最大的问题就是不知道系统中都会存在哪些故障？ 如何快速处理？只能堆人力解决问题，是最不高效的一种方式。 我们需要将业务系统的稳定性问题分解出来，各个团队需要认识 到各种故障场景对业务的影响是什么？是否有监控恢复手段？应急 预案是否完备？那么就需要有改变。 混沌工程改变了企业 IT 团队的思考方式，促使各团队在设计、 开发、测试等过程中增加了对故障的考虑：在架构设计的时候考虑一 类故障的监控、恢复、业务的 HA；开发过程中审视出现故障时故障 的快速跟踪定位；测试需要覆盖的故障场景更加全面；运维清楚在出 现某种故障时业务的表现是什么，应该如何进行恢复，应急预案是否 完备。 混沌工程提供了同一个认知体系内的方法论，将架构、开发、测 试、运维等团队之间工作推动盘活起来。",
|
||
"以混沌工程为抓手推动整个稳定性保障体系能力提升",
|
||
"首先完善系统的设计后再开展混沌工程的实现",
|
||
"通过混沌工程让工程师更多认识故障及其对业务的影响。",
|
||
"以混沌工程为抓手推动整个稳定性保障体系 能力提升。 # 三、混沌工程技术应用 ## （一）混沌工程开展基础 团队拥抱失败的文化基础。实施混沌工程，坚实的文化基础与技 术基础设施一样重要。首先需要领导团队承认系统固有的复杂性，而不 是一味要求工程师“不能也不该出现失误”此外，需要主动性和创 造性的企业文化，来促进工程师更主动的探索与发现潜在的、未知的 风险。如果每个人都忙于他们的日常工作而无暇做其他事情，混沌工 程很可能失败。理想情况下，混沌工程会揭示目标系统未知的一些故 障方面，混沌工程因此需要协作、持续的进行，并且具有挑战性。 系统具备一定的韧性。如果目标系统的应用系统和基础设施不具备一定的高可用、弹性和自愈设计，存在明显的单点故障，那么此时进行混沌工程的价值有限, 应首先完善系统的设计后再开展混沌工程的实现。 明确的业务目标。混沌工程实验在每次开展前，一是需要明确本 次实验针对哪个业务系统（即实验目标）；二是明确哪些外部因素是 本次实验的变量；三是需要明确实验的步骤；四是能够说明本次实验 能对业务系统带来哪些收益并得到业务系统负责人的认可。 目标系统的可观测性基础。混沌工程是一种基于实验的实践，因此需要能够监测控制组和实验组之间的差异。如果没有适当的工具来检测任何差异，例如服务降级，那么就无法了解实验产生的影响。目标系统应该具备基本的日志记录和监控能力让维护者了解实验是否对目标系统产生了影响。"
|
||
],
|
||
"passage_sources": [
|
||
"子查询2-event-20707ee6c13b5870e58f4eb4853f2bd6ddc6b0dff31966717b5f434d0a6dcc20",
|
||
"子查询2-event-c2db1984e1da816b055b75fa3cc6c40f8c2d7094fc237c3db4ea6b00f7faf4b7",
|
||
"子查询2-event-680b2a6330d156d3853a42fa00e510355f92a08a8a568b3adf5d556f8913fa8a",
|
||
"子查询2-event-d691625bd46a5a8840368fcc0f2456ee067bedde79a397596cf3cd225cacb0fc",
|
||
"子查询2-event-adb5a19d4a48b43fa7b2e7f76331d30736f624cd5df909e3aad6683390c175f9",
|
||
"子查询2-event-0f4eb7cf5f30d4738a7385127c011103981bc088ec749f8af1ed0b6c15144c44",
|
||
"子查询2-event-b08abe3367a833819cdadc8902d43927e0dc1b8a28c6729d5fa9913641ba27a5",
|
||
"子查询2-event-849a3d4c2d25164af0bce9c9cbdbfd592254d7fc9af293f4be1484277c81ac76",
|
||
"子查询2-event-fcc78de5daaa3405a2c6e340aee37d2a90e80892ad8326c4ab92aff1c0e6047b",
|
||
"子查询2-event-1399b28642963b0ae525bae264742aabd43a3f9bcb85d98c0ca6566a1c1ba26d",
|
||
"子查询2-text-114fe591e33e8bff142be610475d8035339e334932dc35fd2e89ff078d10fe52",
|
||
"子查询2-text-21cecc0bf37f351e693eaf71192ada4887caa03f90c22fe314b582966d6ccc79",
|
||
"子查询2-text-e34af0743f1a73824cdd542d786b9b39af367c001f1cd738d2160bfa9bc54e60",
|
||
"原始查询-event-bbafacb2fbab1c313ce9fcd99ac571007f3f91ecee85b607bb31b6d20cd2968d",
|
||
"原始查询-event-2eea011f02cbb2c630a9ceb88eff5d196905d5900753e10c89a98513ea53cbf6",
|
||
"原始查询-event-c282aaa040bb69133b28d31287e98db2d4771330e308ca9766e6ad38ddacbf3c",
|
||
"原始查询-event-25ba0eefeb995a74ce9bed17d84d561f6f0597458a4721f3bbf63f041e2516b4",
|
||
"原始查询-event-e4f5a4635bbe3383dddfb90d125158e78ccb8e1c30bd390c7e17b6ee574fa28d",
|
||
"原始查询-event-8a187f19d1b4d17e1ace47081dba5a272e954caea20040906f9ccabd8a3f671d",
|
||
"原始查询-event-7fdb70cf1a3abc43b3e348ee043c0155e43d6df1993c93e8243124f9c8e424a0",
|
||
"原始查询-event-4d96d92b372fd515ce7bb6b1ded75477a18f10d8e4151f80b5c442ec7552665d",
|
||
"原始查询-event-eb64e97828b4b85d1fe216efccd636e1b621a1c6e2955eef6aad6516e33c639b",
|
||
"原始查询-event-7bfbe657437c9eaaef47e2f0d1f35cb3efb4ef186c7692826a40ed2fac8f4062",
|
||
"原始查询-text-eaebc2c5bb1aed205038d18eeeee4dd33ab7318e1cbda9d54c2f8a9795e73d28",
|
||
"原始查询-text-642245580fe314e42f194a64fa2561ff3672b4838567a4ac666124e949586827",
|
||
"原始查询-text-e0030c5183f95b1b207ff609e1c7f2a9c8486bf190eae5d9937f5324b9ed0584",
|
||
"子查询1-event-ba5ec6dbd7a3654f819352cc961766a12b47c77df3d351d10d1a3aebd3e1d483",
|
||
"子查询1-event-92d78aa097eb511ca0f15e515012d51fdd537f52d2682933bff6c53a139f4c8f",
|
||
"子查询1-event-3e3c398d512804ee046260a9079f11c8eb5b5114d2f80f8628559eaed8b5034f",
|
||
"子查询1-text-eaabafd56e1ad979fc78f6aedce2330e9a7897435612ec4190c1964208e49e0b"
|
||
],
|
||
"pagerank_data_available": true,
|
||
"pagerank_summary": {},
|
||
"concept_exploration_results": {},
|
||
"exploration_round": 0,
|
||
"debug_info": {
|
||
"total_time": 19.137582778930664,
|
||
"retrieval_calls": 1,
|
||
"llm_calls": 4,
|
||
"langsmith_project": "rag-api-service",
|
||
"token_usage_summary": {
|
||
"has_llm": true,
|
||
"has_generator": true,
|
||
"last_call": {
|
||
"prompt_tokens": 3347,
|
||
"completion_tokens": 37,
|
||
"total_tokens": 3384
|
||
},
|
||
"total_usage": {
|
||
"prompt_tokens": 4344,
|
||
"completion_tokens": 171,
|
||
"total_tokens": 4515,
|
||
"call_count": 3
|
||
},
|
||
"model_name": "qwen2-7b-instruct",
|
||
"has_last_usage": true,
|
||
"has_total_usage": true
|
||
},
|
||
"complexity_analysis": {
|
||
"is_complex": true,
|
||
"complexity_level": "complex",
|
||
"confidence": 0.95,
|
||
"reason": "这是一个复杂查询，因为它包含了两个不同的主题：混沌工程的定义和DataOps的定义。这两个主题分别属于不同的领域（系统工程与数据操作管理），并且可能都需要深入的解释和背景知识来提供全面的回答。因此，为了准确地回答这个问题，可能需要生成针对每个主题的多个子查询来收集相关信息并整合成最终的答案。"
|
||
},
|
||
"debug_mode_analysis": {
|
||
"debug_mode": "0",
|
||
"debug_override": {},
|
||
"path_override_applied": false
|
||
},
|
||
"sufficiency_analysis": {
|
||
"final_sufficiency": true,
|
||
"sufficiency_check_details": {
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"reason": "事件信息和段落信息包含了回答查询所需的关键内容...",
|
||
"iteration": 0
|
||
},
|
||
"iteration_sufficiency_history": [],
|
||
"sufficiency_progression": {
|
||
"status": "no_sufficiency_checks"
|
||
}
|
||
},
|
||
"routing_analysis": {
|
||
"total_routing_decisions": 1,
|
||
"sub_query_generation_count": 0,
|
||
"parallel_retrieval_count": 0,
|
||
"pagerank_collection_count": 0
|
||
},
|
||
"concept_exploration_analysis": {
|
||
"exploration_enabled": false,
|
||
"exploration_rounds": 0,
|
||
"pagerank_nodes_analyzed": 0,
|
||
"successful_branches_total": 0,
|
||
"total_branches_attempted": 0
|
||
}
|
||
},
|
||
"iteration_history": [
|
||
{
|
||
"iteration": 0,
|
||
"query": "并行检索: 原始查询 + 2 个子查询",
|
||
"passages_count": 30,
|
||
"action": "retrieval"
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "sufficiency_check",
|
||
"is_sufficient": true,
|
||
"confidence": 0.9,
|
||
"sub_queries_count": 0
|
||
},
|
||
{
|
||
"iteration": 0,
|
||
"action": "final_answer_generation",
|
||
"answer_length": 5773
|
||
}
|
||
]
|
||
} |