1# 失败的赛博空间匿名技术的思考 获取链接 Facebook X Pinterest 电子邮件 其他应用 三月 19, 2021 就如同第0篇博客一样, 第一篇博客依然是看了别人的文章后心血来潮.本文主要内容为讨论, 探究在21世纪第二个十年后, 完全或无限接近匿名访问互联网的理论, 原理与方法, 本篇仅探讨可能性与可行性, 具体技术实现内容则为后续更新补丁, 或将以目录的形式贴出.# 结果:根本不行. 获取链接 Facebook X Pinterest 电子邮件 其他应用 评论 Unknown2021年5月1日 04:11好耶回复删除回复回复添加评论加载更多... 发表评论
18# Apache Flume 的学习笔记 (WIP) 七月 14, 2022 目录 [ Flume ]( #flume ) 1. [ Flume Pipeline 用什么方式储存 ]( #flume-pipeline-用什么方式储存 ) 2. [ Flume 突然下线怎么办 重启后是重新输入 Flume 么 ]( #flume-突然下线怎么办-重启后是重新输入-flume-么 ) 3. [ 如何设置 Flume 偏移量 ]( #如何设置-flume-偏移量 ) 4. [ 为什么不用 flume 直接接 hbase 呢 ]( #为什么不用-flume-直接接-hbase-呢 ) ## Flume 1 ### Flume Pipeline 用什么方式储存 内存或文件 ### Flume 突然下线怎么办 重启后是重新输入 Flume 么 设置成文件储存 ### 如何设置 Flume 偏移量 ### 为什么不用 flume 直接接 hbase 呢 阅读全文
20# Apache Kafka 的学习笔记 七月 14, 2022 Kafka 相当厉害啊. 目录 Kafka Kafka 怎么进行数据备份 Consumer 在 Leader 还是 Follower 中拿去数据 Kafka ISR 机制 Kafka 数据不丢失不重复 Kafka 如何实现幂等性 Kafka 为什么速度快 - 页缓存技术 kafka 数据格式都是什么 Kafka 如何清理过期数据 kafka 的 Broker, partition, segment 都是啥 kafka 一条 Message 中包含哪些信息 Kafka 蓄水池机制 Kafka Kafka 怎么进行数据备份 备份是 0.8 版本后的功能. 一个备份数量为 n 的集群允许 n-1 个节点失效. 有一个节点作为 Leader 节点, 负责保存其他备份节点的列表, 并维持备份间状态同步. Consumer 在 Leader 还是 Follower 中拿去数据 读写操作都来自 Leader, Follower 只负责数据备份和心跳检测 Leader 存活状态, 并及时顶替. Kafka ISR 机制 Kafka 为了保持数据一致性而设计了 ISR 机制. 数据可靠主要是依赖于 Broker 中的 in-sync Replica 副本同步队列机制, 主要逻辑是制造冗余, 数据互备. Leader 会维护一个与其保持同步的 Replica 集合, 然后保证这组集合至少有一个存活, 并且消息 Commit 成功. Partition Leader 保持同步的 Partition Follower 集合, 当 ISR 中的 Partition Follower 完成数据的同步之后给 Leader 发送 ack. 如果 Partition Follower 长时间 (Replica.lag.time.max.ms) 未向 Leader 同步数据, 则该 Partition Follower 将被踢出 ISR. Partition Leader 发生故障之后, 就会从 ISR 中选举新的 Partition Leader. 当 ISR 中所有 Replica 都向 Leader 发送 ACK 时, Leader 执行 Commit. Kafka 数据不丢失不重复 首先, Kafka 并不能完全的保证不丢失不重复. 0.11 版本前, K... 阅读全文
好耶
回复删除