CentOS 7 rpm依赖导致的疑难故障案例
前些日子遇到一个故障案例,现象是云主机上的机器网络丢失,通过命令无法正常启动网卡,导致各项业务中断,OPS反馈机器只能通过云控制台输入口令进入系统。故障的影响还是比较大的,和OPS一起解决故障并恢复业务后,回家用虚拟机模拟环境来找找根本原因。
前些日子遇到一个故障案例,现象是云主机上的机器网络丢失,通过命令无法正常启动网卡,导致各项业务中断,OPS反馈机器只能通过云控制台输入口令进入系统。故障的影响还是比较大的,和OPS一起解决故障并恢复业务后,回家用虚拟机模拟环境来找找根本原因。
遇到数据同步的需求,需要将PostgreSQL的表变更同步给其他业务系统。查找资料后了解到CDC(Change Data Capture,变化数据捕获)技术,CDC的思想是发出数据库上执行的所有插入、更新、删除和模式更改的changelog。Debezium是一个开源的,为捕获数据变更(CDC)提供低延迟的数据流平台,通过Apache Kafka连接部署。
随着Web应用攻击手段变得复杂,安全标准越来越高,有的场景/客户会要求应用系统自身具备防护能力,那么使用最广泛的方案可能就是利用开源WAF ModSecurity,配合Nginx有效的增强Web安全性。
Pi-hole是一款开源且免费的DNS沉洞服务器(DNS sinkhole),能够在不安装任何客户端侧软件的前提下为设备提供网络内容屏蔽服务,非常轻量易用。
一般使用kafka时会通过SASL做客户端认证,比如Kerberos SASL GSSAPI,只需要管理员授权即可,认证后流量侧的表现仍是明文的,考虑到数据安全问题,想避免中间设备通过流量还原的方式获取数据,需要对kafka服务开启SSL实现通信加密,实际现在都是TLS了,但是配置文件中仍然使用SSL。
最近业余时间一直在对比两个Python kafka客户端,想知道有什么具体区别,在选择kafka-python和confluent-kafka-python时有哪些依据。
通过Kafka消费数据,此前是使用kafka-python库,但是观察到性能上不去,想用Confluent Kafka Python替换,看是否有提升的可能性。
要写个支持TLS的客户端、服务端socket程序,那么先看如何用OpenSSL生成证书。
在Logstash中使用Syslog接收数据到Redis时遇到了一些性能问题,调整pipeline的参数后有一定的提升但并不理想,咨询铭毅天下老师后,老师提供了几个优化点,还有几篇性能调优的文章。其中一篇官方文档Tuning and Profiling Logstash Performance提到了在调整Logstash时,可能需要调整堆大小,可以使用VisualVM工具来分析。那么,来学学VisualVM怎么玩😃
快两个月没写笔记了,工作中遇到了日志采集处理的问题,就回来学习、测试下通过Syslog采集日志。