软件技术学习笔记

在分布式系统中，我们一般把日志集中收集到EFK或ELK中。默认情况下，Elasticsearch（ES）收集到的是一行一行日志文本，但是，这样的日志不方便业务检索，也没有充分发威ES的检索能力。

为了方便业务检索，我们做结构化日志，输出的内容均为JSON格式，经过Filebeat的简单处理，扔给ES存储与建立索引。查看日志时，可以对特定的业务字段做过滤，比如: user.id: 123。 日志输出格式如下，一条日志一行JSON：

落地分布式微服务架构时，遥测信息收集是一个重要的环节。如果没有日志收集、指标收集、分布式追踪、应用性能管理，将导致问题定位效率低下、无法自动弹性伸缩、无法自动预警等，最终可能导致微服务架构落地失败。

在K8s中，我们可以使用Elastic Stack完成这些事情。Elasticsearch完成数据存储与搜索；Kibana提供可视化的用户界面；Beats完成数据采集；APM完成分布式追踪、应用性能管理。

在K8s集成Istio之后，虽然Jaeger可以追踪到Mesh边界，但仍需在代码中转发x-request-id与x-b3-...等头部信息，也没有比Elastic APM优美。同时，我们大部分时候只关注应用边界的性能，很少关注Mesh边界的性能。因此，在单独K8s或K8s + Istio集群中，Elastic Stack满足了我们的APM需求。