Blog
Blog copied to clipboard
nonacosa
写文章的地方（迁移到 Notion-Site）
此次操作，主要目的还是为了了解 ES 的新数据结构，为了 2.x 迁移到 7.x 做准备。 为了方便能用 Docker 我都会用 Docker ### 准备环境 首先创建 docker 网络，保证通信，这里不采用 host 模式 ```bash docker network create elastic ``` 拉取 es7.4 以及 kibana 镜像并启动 ```bash...
 ## 前言：拥抱新版本 要保证 ElasticSearch 的版本的升级，ElasticSearch 的每一次升级在特定场景下基本都有 10% - 30% 的性能提升，升级 ElasticSearch 的版本是代价很小的提升性能和编码体验的方式，如果不能保证小的稳定版本的更新，那起码要保证大版本的更新，尽量不要和官方差了一个多大版本还不升级，我就正在经历这样的事情，跨三个大版本升级实在是非常痛苦！ ## 查询优化 ### SSD ssd 好处不用说了，但是可能不是我们能决定的，这个知道就行。 ### 合适的内存 ElasticSearch 是一个非常非常吃内存的搜索引擎，搜索过程中的 sort（排序）、agg（聚合），分词过程中的 fieldadd、倒排索引等等，一直在消耗着内存，一定要有足够的 JVM HEAP 在维持这种平衡。 官方明确表示：64G 内存的机器是比较理想的，JVM...
### 1、搭建 mq - 下载最新镜像 ```bash docker pull rocketmqinc/rocketmq ``` - 启动 - rocketmq-4.4.0 没错，不用差异，我的last版本是4.4.2 也要指定 4.4.0，是个bug ```bash docker run -d -p 9876:9876 -v {RmHome}/data/namesrv/logs:/root/logs -v {RmHome}/data/namesrv/store:/root/store --name rmqnamesrv -e...
## weak table 先了解下 weak table 的概念，这是我之前忽略的地方。 [Programming in Lua : 17](https://www.lua.org/pil/17.html) 和大多数语言一样，Lua执行自动内存管理。程序仅创建对象（表，函数等）；没有删除对象的功能。Lua使用垃圾回收自动删除成为垃圾的对象 垃圾收集器只能收集可以确定的垃圾。它不知道您认为垃圾是什么 就像 JVM 也不知道，只会依赖 GC root 可达性分析，或者是标记清楚算法等 - All you have to do is to insert each...
 ## ArrayList与LinkedList的实现和区别 都是 List 的实现，一个数组实现一个链表实现，直奔源码，先看类： ``` public class LinkedList extends AbstractSequentialList implements List, Deque, Cloneable, Serializable {...} ``` ``` public class ArrayList extends AbstractList implements List, RandomAccess, Cloneable, Serializable...
 CAP 理论是一个被说烂了也听烂了的话题，但是还是选择花点时间做整理，做些横向拓展，加点自己的感受，认认真真讨论一下。 之前看[阮一峰老师写的文章](https://www.ruanyifeng.com/blog/2018/07/cap.html)不错，我之前觉得总有点难懂，现在我觉得是有点问题 > 我觉得阮老师说的 Availability 理解不对，分布式和具体「哪台」没什么关系。Partition tolerance 的解释也没让我豁然开朗。 ## CAP 简介 1998 年，有个哥们提出了分布式系统的三个指标： CAP (Consistency、Availablity 、Partition-tolerance ) 其中： ### Consistency - 一致性 这哥们说，分布式系统所有数据备份，在「同一时刻」，必须是「同样的」。   比如图床服务：后台是三台机器 A、B、C 做支撑，上传一张图片，通过网关最终可能是...
 本来不想看的，好几个热门问题列表都有，索性仔细看看。 ## LRU 算法 LRU(Least Recently Used) 最近最少使用，是一种缓存淘汰算法，即最近最少使用, 哪个最近不怎么用了就淘汰掉，根据数据的历史访问记录来进行淘汰数据的。其核心思想是如果数据最近被访问过，那么将来访问的几率也更高。 那么相对的，不得不提的还有其他两个 - LRU (least recently used）) 最近最久未使用 👌 - FIFO（first in first out）先进先出 - LFU（least frequently used）最近最少使用 > 以上都是 「淘汰」策略...
 年底了，今天站在一个 leader 的角度去看下面几个问题，和大家交流分享下软技能，如果你只是一线开发人员，千人千面，虽然不一定准确，但希望也可以做个参考： - 为什么我干的活比别人多？ - 我的付出会获得回报吗？ - 开会真的有意义吗？ - 分组的好处在哪里？有缺点吗？ ## 站会 ### 规则 两个月前，由于某个项目需要快速迭代，成立了两个小组专门处理，先放两张两张站会规则「电子版找不到了我拍了张打印版」：   看起来还是很清晰的，大家凑合看吧，正如我上文所说，我们这套「站会小组」已经试用了两个多月了，优缺点各有下面给大家介绍一下。 ### 小组分配 与以往的开发模式不同，以往只可能是： - 1、与产品碰需求，预估时间，确认纯开发时间 - 2、N 个前端人员 + N...
 ## 代码提交规范 && 升级调整 本系列想跟大家分享一下我近一年的管理经验，分享一下我们团队的一年走来的优化之路「非技术」，让大家少踩坑，以及如何协作，管理者容易遇到的问题，以及技术上，工作上，如何与同事沟通、跨部门如何沟通有效率、如何分组、站会有没有用？ 等等，一年到头，想和大家交流一下经验。 ## 背景 ### 项目早期 项目早期，我们是有 master 被保护分支，以及 dev 测试分支的，我们的提交流程是：所有人往 dev 合并代码，进行测试封版，测试通过直接把 dev 合并到 master 进行升级。随之而来发现了问题： ### 项目中期 我们不能保证 dev 上的代码全部测试通过，因为没有充足的测试时间，而且不断有新的提交涌入，dev 直接合并到 master 肯定是不够稳妥的，这样的...
## 背景  前一阵子负责公司分布式文件技术选型、搭建集群、数据迁移等相关杂七杂八的工作，技术选型上一篇已经讲过了，这里重点聊聊集群和迁移。 ## 搭建集群 > 集群是三台套路云机器，8C-16G-5M * 3 搭建 `Minio` 的负载均衡集群，官方推荐无外乎两种方式： Docker Swarm 与 Kubernetes (K8S「K-S共8个字母因此得名」) 两种方式，K8S 不是我负责，所以我先使用 Swarm 来搭建集群先保证测试通过即可。 集群搭建方式也很简单，直接看官网的例子： https://docs.min.io/docs/deploy-minio-on-docker-swarm 稍微用过一点 docker 的人看一下就可以，稍微注意一点：记住集群的 Leader 的编号、后面迁移也会用到。 ##...