0%

certbot ACMEv2升级以及版本更新后出错

先是收到邮件域名快过期了

到服务器上手动更新提示:

1
2
3
4
Cert is due for renewal, auto-renewing...
Plugins selected: Authenticator nginx, Installer nginx
Starting new HTTPS connection (1): acme-v01.api.letsencrypt.org
Attempting to renew cert (xxx.com) from /etc/letsencrypt/renewal/console.account.shomop.com.conf produced an unexpected error: urn:acme:error:serverInternal :: The server experienced an internal error :: ACMEv1 Brownout in Progress. ACMEv1 will fully turn off on June 1, 2021. Check https://letsencrypt.status.io/ for more details.. Skipping.

大概意思是Let’s Encrypt证书将分阶段完全禁用ACMEv1客户端的获取方式

首先尝试更新cerbot

1
yum update certbot

完成后尝试更新

1
2
3
4
[root@iZbp13ysimf3dh7v85dg2fZ ~]# certbot renew
An unexpected error occurred:
ImportError: cannot import name constants
Please see the logfile '/tmp/tmpRetp74/log' for more details.
阅读全文 »

生产者消息分区机制

为什么分区

其实分区的作用就是提供负载均衡的能力,或者说对数据进行分区的主要原因,就是为了实现系统的高伸缩性(Scalability)。不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且,我们还可以通过添加新的节点机器来增加整体系统的吞吐量。

分区策略
  • 轮询策略

    也称 Round-robin 策略,即顺序分配。比如一个主题下有 3 个分区,那么第一条消息被发送到分区 0,第二条被发送到分区 1,第三条被发送到分区 2,以此类推。当生产第 4 条消息时又会重新开始,即将其分配到分区 0,就像下面这张图展示的那样。

    img

阅读全文 »

Kafka集群的参数配置,应该是使用过程中最重要的,有些配置的重要性并未体现在官方文档中,并且从实际表现看,很多参数对系统的影响要比从文档上看更加明显.

Broker端参数

  • log.dirs : 肥肠重要的参数, 指定了 Broker 需要使用的若干个文件目录路径

    在线上生产环境中一定要为log.dirs配置多个路径,具体格式是一个 CSV 格式,也就是用逗号分隔的多个路径,比如/data/kafka-logs1,/home/kafka-logs,/home/kafka-logs这样。如果有条件的话你最好保证这些目录挂载到不同的物理磁盘上。这样做有两个好处:

    • 提升读写性能:比起单块磁盘,多块物理磁盘同时读写数据有更高的吞吐量。
    • 能够实现故障转移:即 Failover。这是 Kafka 1.1 版本新引入的强大功能。要知道在以前,只要 Kafka Broker 使用的任何一块磁盘挂掉了,整个 Broker 进程都会关闭。但是自 1.1 开始,这种情况被修正了,坏掉的磁盘上的数据会自动地转移到其他正常的磁盘上,而且 Broker 还能正常工作。
阅读全文 »

kafka 简介

Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够将消息从一个端点传递到另一个端点,较之传统的消息中 间件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容 错的特性,非常适合大规模消息处理应用程序。

kafka系统架构图

WX20200811-112552@2x

阅读全文 »

今天是元宵节,蓝染和sellery在家自己做元宵吃,蓝染问sellery:老婆,你最喜欢吃什么馅的元宵啊?

sellery说:我最喜欢吃草莓,你呢?

蓝染说:我最喜欢吃榴莲,要不咱们用草莓加上榴莲再加三瓶醋做一份元宵吧?

sellery一听:这个创意好!那咱们就开始吧。

于是蓝染开始钻木取火,sellery开始用少林功夫揉面……

没多一会,蓝染和sellery就合伙做出了正方形的元宵,美味极了……

可是吃完元宵之后,一个横在蓝染和sellery之间多年的问题出现了!

谁洗碗!!!

阅读全文 »

那年夏天,大雪纷飞。

sellery还是一名青涩的高中生,在学校里她受众多男生的追捧,然而她的眼里只有她的同桌蓝染。

蓝染是学校里出了名的恶霸,他常常把同学堵在厕所索要保护费,还支持微信支付宝转账。

无数同学都恐惧他,见着他都要绕着他做公转,也就是以蓝染为中心,沿一定轨道所作的循环运动,但是只有sellery觉得蓝染好man哦~

一天放学,sellery又见到蓝染哥哥在收保护费,她摸了摸自己口袋里仅剩的十块五毛钱,终于鼓起了80立方厘米的勇气去找蓝染。

阅读全文 »

启动es默认使用1G内存

后台压力大才发现的 只用了1G内存!

启动参数加 --Xms4g —Xmx4g

logstash-jdbc 增量同步mysql

因为原记录会被不断更新,一开始选择使用updateTime字段作为更新依据

在小批量数据下的测试和使用都没有发现问题

后台有次遇到大量数据需要被更新的情况,发现有几批数据迟迟没有被更新,之后的数据都被更新过了

阅读全文 »

为什么需要https

http协议下,信息是明文传输,不提供加密,传输被拦截时,可直接读懂其中的信息,存在安全隐患.
而https就是为了解决这一缺陷,再http基础上加入了ssl协议,依靠证书来验证服务器身份,并未与浏览器之间的通讯加密.
现在都网站基本上都是用了https加密

阅读全文 »