12# DevOps 实践的一些笔记 (WIP)

 

# DevOps

1. [DevOps](#devops)
   1. [Infrastructure as code (LaC) 思想, 你是怎么理解的?](#infrastructure-as-code-lac-思想-你是怎么理解的)
   2. [资产管理 / 配置管理他们分别是? 区别是?](#资产管理--配置管理他们分别是-区别是)
   3. [持续集成 / 持续交付他们是? 区别是?](#持续集成--持续交付他们是-区别是)
   4. [蓝绿发布是? 他的优缺点?](#蓝绿发布是-他的优缺点)
   5. [pipeline 是什么, 他有什么优势?](#pipeline-是什么-他有什么优势)
   6. [shift-left 你是怎么理解的?](#shift-left-你是怎么理解的)
   7. [Jenkins 相关](#jenkins-相关)
      1. [什么是持续集成?](#什么是持续集成)
      2. [为什么研发团队需要开发与测试的持续集成?](#为什么研发团队需要开发与测试的持续集成)
      3. [持续集成的成功因素有哪些?](#持续集成的成功因素有哪些)
      4. [如何在 Jenkins 中创建备份和复制文件?](#如何在-jenkins-中创建备份和复制文件)
      5. [如何将 Jenkins 从一台服务器迁移或者复制到另一台服务器?](#如何将-jenkins-从一台服务器迁移或者复制到另一台服务器)
      6. [配置 Jenkins 的 job](#配置-jenkins-的-job)
      7. [列举 Jenkins 中一些有用的插件](#列举-jenkins-中一些有用的插件)
      8. [如何保证 Jenkins 的安全?](#如何保证-jenkins-的安全)

## Infrastructure as code (LaC) 思想, 你是怎么理解的?

- 用来解决运行环境问题的一套幂等工具集, 一个 LaC 模型每次使用都会生成同样的环境, 用于持续交付.

## 资产管理 / 配置管理他们分别是? 区别是?

- 资产管理是软件, 系统和服务的组合, 用于维护和控制运营资产及设备. 其目的是优化资产在整个生命周期的质量和利用率, 提高生产正常运行时间并降低运营成本. 资产管理涉及工作管理, 资产维护, 规划和调度, 供应链管理以及环境, 健康和安全 (EHS) 举措.
- 配置管理是一种确保公司所有软件和硬件资产在任何时候都是已知并被跟踪的原则, 也就是说这些资产的任何变更都是已知且被跟踪的. 可以将配置管理看作是技术资产的一个随时更新的库存清单, 一个单一的事实来源.

## 持续集成 / 持续交付他们是? 区别是?

- 持续集成是代码完成并提交到系统时发生的自动生成和测试的过程. 代码提交之后, 它就执行提供验证的自动化流程, 然后仅将已测试和已验证的代码提交到通常称为主分支, 干线或主干的主源代码中. 持续集成将此过程自动化, 显著提高了效率. 在将任何代码与主分支合并之前, 及早确认出所有 bug.
- 持续交付是 DevOps 中的基本实践, 可确保快速, 可靠地交付软件. 尽管该过程与 DevOps 的总体概念类似, 但持续交付是一个框架, 在这里, 代码的每个组件在完成时都经过测试, 验证和提交, 从而能够随时交付软件. 持续集成是一个过程, 是持续交付的组成部分.

## 蓝绿发布是? 他的优缺点?

- 蓝绿部署是一种应用发布模式, 类似灰度更新, 将用户流量从先前版本的应用或微服务逐渐转移到几乎相同的新版本中 (两者均保持在生产环境中运行). 旧版本可以称为蓝色环境, 而新版本则可称为绿色环境. 一旦生产流量从蓝色完全转移到绿色, 蓝色就可以在回滚或退出生产的情况下保持待机, 也可以更新成为下次更新的模板.
- 并非所有环境都具有相同的正常运行时间要求或正确执行 CI/CD 流程所需的资源.

## pipeline 是什么, 他有什么优势?

- CI/CD 流程的自动化和监控的实现.

## shift-left 你是怎么理解的?

- 一种测试手段, 即在项目生命周期的早期阶段就进行测试工作, 在开发流程的早期发现并修复错误, 而不是在发布后的测试期间再发现错误.

## Jenkins 相关

### 什么是持续集成?

以持续集成的最小定义即是一种研发实践, 开发人员提交代码后, 通过 Jenkins 自动审查变动并构建, 自动化测试环境进行测试验证, 没问题的更新直接发布到线上环境.

### 为什么研发团队需要开发与测试的持续集成?

自动化效率更高, 机器审查精度也高, 极大的减少了研发到上线的周期.

### 持续集成的成功因素有哪些?

- 自动维护代码仓库.
- 自动化构建 & 快速构建.
- 构建自我审查.
- 确保修改全部提交至基线
- 生产环境镜像环境中及时测试.
- 快速访问成果.
- 自动部署.

### 如何在 Jenkins 中创建备份和复制文件?

直接备份或复制 JENKINS_HOME 目录.

### 如何将 Jenkins 从一台服务器迁移或者复制到另一台服务器?

直接从旧服务器复制 jobs 目录到新服务器/

### 配置 Jenkins 的 job

- 在 Jenkins 主页创建 job: 选择 `New Job, Build a free-style software project`, 并设置配置:
- 可选的 SCM (例如源代码所在的 CVS 或 Subversion).
- 用于控制 Jenkins 何时执行构建的触发器.
- 构建用于执行实际工作的构建的脚本.
- 构建信息收集方式, 例如归档制品, 记录 java doc 和测试结果.
- 配置构建结果的通知配置 (电邮, IMS, 更新问题跟踪器等).

### 列举 Jenkins 中一些有用的插件

- Maven 2 project
- Amazon EC2
- HTML publisher
- Copy artifact
- Join
- Green Balls

### 如何保证 Jenkins 的安全?

- 确保 `global security` 配置项已经打开.
- 确保用适当的插件将 Jenkins 与企业员工目录进行集成.
- 确保启用项目矩阵的权限访问设置.
- 通过自定义版本控制的脚本来自动化 Jenkins 中设置权限 / 特权的过程.
- 限制对 Jenkins 数据 / 文件夹的物理访问.
- 定期对其进行安全审核.


评论

发表评论

此博客中的热门博文

17# Apache Spark 的学习笔记 (WIP)

 目录 Spark Spark 中 job, stage, Task 分别是什么 什么是 RDD reduceByKey 和 groupByKey 的区别 RDD 的创建方式 RDD 的依赖关系 为什么要划分依赖关系 RDD 的缓存持久化机制 Spark 调优 修改序列化机制压缩数据量 根据作业环境, 提交任务时调整 spark-submit.sh 参数 提高并行度 RDD 的重用和持久化 适当广播多次使用的变量 避免产生 Shuffle 可以减少网络 IO 和分区间传输消耗 使用 map-side 预先聚合 Shuffle 使用高性能算子 SparkStreaming 在消费 Kafka 时下线, 如何保证重启后继续消费 Spark 累加器 Spark 的工作机制 Spark 模块都有哪些 DStream 和 DStreamGraph 的区别 Spark Spark 是基于内存计算, MapReduce 基于磁盘运算, 所以速度更快. Spark 拥有高效的调度算法, 基于 DAG 形成一系列有向无环图. Spark 通过 RDD 算子来运算, 具有转换与动作两种操作, 可以把运算结果缓存在内存, 再计算出来. Spark 还拥有容错机制 Linage 算子, 可以把失败的任务重新执行. Spark 中 job, stage, Task 分别是什么 job 是提交给 Spark 的任务, 会被拆分为多组 Task, 每一次数据的 Shuffle 都会产生一个 stage; 每次 action 都会产生一个 job. stage 是 job 执行需要的阶段. 划分 stage 使每一个 stage 只有窄依赖, 可以实现流计算, 同时每一个 Task 对应一个分区, 增加了 Task 的并行运行量. Task 是 stage 的任务执行单元, 通常和 RDD 的 Partition 数量相同, 只是处理一个 Partition 上的数据; 每个 Task 都是一个 JVM 实例, JVM 的开启与销毁会降低系统运行效率; Task 是任务的最小单位, 最终运行在 Executor 中. 什么是 RDD RDD 就是弹性分布式数据集 Resilient Distributed Datasets, Spark 的数据抽象概念, 是一种不可变分布式对象集合; 每个 RDD
阅读全文

20# Apache Kafka 的学习笔记

 Kafka 相当厉害啊. 目录 Kafka Kafka 怎么进行数据备份 Consumer 在 Leader 还是 Follower 中拿去数据 Kafka ISR 机制 Kafka 数据不丢失不重复 Kafka 如何实现幂等性 Kafka 为什么速度快 - 页缓存技术 kafka 数据格式都是什么 Kafka 如何清理过期数据 kafka 的   Broker, partition, segment   都是啥 kafka 一条 Message 中包含哪些信息 Kafka 蓄水池机制 Kafka Kafka 怎么进行数据备份 备份是 0.8 版本后的功能. 一个备份数量为 n 的集群允许 n-1 个节点失效. 有一个节点作为 Leader 节点, 负责保存其他备份节点的列表, 并维持备份间状态同步. Consumer 在 Leader 还是 Follower 中拿去数据 读写操作都来自 Leader, Follower 只负责数据备份和心跳检测 Leader 存活状态, 并及时顶替. Kafka ISR 机制 Kafka 为了保持数据一致性而设计了 ISR 机制. 数据可靠主要是依赖于 Broker 中的 in-sync Replica 副本同步队列机制, 主要逻辑是制造冗余, 数据互备. Leader 会维护一个与其保持同步的 Replica 集合, 然后保证这组集合至少有一个存活, 并且消息 Commit 成功. Partition Leader 保持同步的 Partition Follower 集合, 当 ISR 中的 Partition Follower 完成数据的同步之后给 Leader 发送 ack. 如果 Partition Follower 长时间 (Replica.lag.time.max.ms) 未向 Leader 同步数据, 则该 Partition Follower 将被踢出 ISR. Partition Leader 发生故障之后, 就会从 ISR 中选举新的 Partition Leader. 当 ISR 中所有 Replica 都向 Leader 发送 ACK 时, Leader 执行 Commit. Kafka 数据不丢失不重复 首先, Kafka 并不能完全的保证不丢失不重复. 0.11 版本前, Kafka 有两次消息传递:
阅读全文

1# 失败的赛博空间匿名技术的思考

  就如同第0篇博客一样, 第一篇博客依然是看了别人的文章后心血来潮. 本文主要内容为讨论, 探究在21世纪第二个十年后, 完全或无限接近匿名访问互联网的理论, 原理与方法, 本篇仅探讨可能性与可行性, 具体技术实现内容则为后续更新补丁, 或将以目录的形式贴出. # 结果: 根本不行.
阅读全文