1 背景
服務調用層級很多，如何快速定位故障，處理異常。
某個用戶報響應很慢，怎么排查？
某筆業務交易出現異常，怎么分析？
怎么防止推諉扯皮，互相甩鍋？
2 理論依據--Google Dapper
http://bigbully.github.io/Dapper-translation/
方案基本思路是在服務調用的請求、響應中加入跟蹤ID--traceid，traceid用于唯一標識一次鏈路調用。怎么實現的呢？邏輯很簡單，參與者實現在httpheader中加入traceid信息，通過httpheader傳輸，如果存在則沿用發起者的traceid，否則新建。
標識服務調用上下游關系，通過代表自身節點id的--spanid，代表父節點的parentid。從而將整個鏈路串聯起來。
可集合的信息包括：traceid，spanid，url，httpcode，exception等，用戶還可以自定義字段。
對于調用端來說：發出請求的時間戳，收到信息的時間戳；
對于服務端來說：收到請求的時間戳、處理完響應時間戳。
貼一張鏈路跟蹤處理流程圖：
3 實現方案
現成的方案：pinpoint、zipkin、阿里鷹眼、大眾CAT
各個方案的優缺點：
pinpoint 字節碼注入，對代碼完全無侵入，在部署的時候java -jar pinpoint。缺點是生態不大好，個性化較弱，只支持java
zipkin：代碼侵入較低，侵入到：配置文件、攔截器。生態好，多語言客戶端，個性化較強
阿里鷹眼：牛逼但閉源，高級功能較多，沒啥好講的。人傻錢多速來買
cat：侵入性最強，不建議使用。
綜上所述，選zipkin。
官方github：https://github.com/openzipkin/zipkin
3.1 架構圖
reporter：zipkin客戶端，沒有實現reporter的應用當然推不了鏈路監控數據了。
transport：http 、kafka，生產環境用kafka，異步解耦高性能
collector：zipkin-server后臺任務，接收處理鏈路監控數據
storage：內存、Cassandra、ES、mysql，推薦用ES
api&ui：ui查詢分析工具
可用于生產環境的架構: brave + kafka + zipkin server +es
理由 為何不選spring cloud sleuth,有點厭惡過渡封裝，出了問題難以排查，對于生產環境并不是足夠穩定。brave足夠簡單直接，個性化定制能力很強。
為何不用http來傳輸span跟蹤信息？做監控，應當盡量不影響正常的業務代碼運行，監控代碼不要與業務代碼耦合在一起，為什么呢？保證可讀性，將來遷移改造很便利，保證業務代碼是獨立純粹的，同理不能與常見的日志，異常，參數檢驗等耦合。
kafka的有點，異步高并發高性能解耦。
為何選es，而不是MySQL或者cassandra.日志采集量大，一天上億條輕輕松松，一定要具備大容量，便于做日志聚合分析，es絕對首選。而且我們的技術棧也是采用了elk搭建日志體系。便于與業務日志聚合。
4 zipkin客戶端：Brave
數據推送方式：HTTP KAFKA scribe
TraceContext中有以下一些屬性
traceIdHigh - 唯一標識trace的16字節id，即128-bit
traceId - 唯一標識trace的8字節id
parentId - 父級Span的spanId
spanId - 在某個trace中唯一標識span的8字節id
shared - 如果為true，則表明需要從其他tracer上共享span信息
extra - 在某個trace中相關的額外數據集
4 與springboot集成
詳細代碼參考：https://github.com/wuzuquan/microservice
4.1引入jar包
<dependency>
<groupId>io.zipkin.brave</groupId>
<artifactId>brave-context-slf4j</artifactId>
<version>4.9.1</version>
<exclusions>
<exclusion>
<artifactId>zipkin</artifactId>
<groupId>io.zipkin.java</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>io.zipkin.reporter2</groupId>
<artifactId>zipkin-sender-kafka11</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>io.zipkin.brave</groupId>
<artifactId>brave-instrumentation-okhttp3</artifactId>
<version>4.9.1</version>
</dependency>
<dependency>
<groupId>io.zipkin.brave</groupId>
<artifactId>brave-instrumentation-spring-webmvc</artifactId>
<version>4.9.1</version>
</dependency>
4.2初始化zipkin 客戶端配置
初始化一個kafkasender，對httptracing做一些個性化配置
@Autowired
private ZipkinProperties zipkinProperties;
@Bean
KafkaSender sender() {
Map<String, String> pro = new HashMap<>();
pro.put("acks", "1");
// pro.put("linger.ms","50");
pro.put("retries", "1");
// pro.put("compression.type","gzip");
// pro.put("producer.type","async");
return KafkaSender.newBuilder().overrides(pro)
.bootstrapServers(zipkinProperties.getKafkaHosts())
.topic(zipkinProperties.getTopic())
.encoding(Encoding.PROTO3)
.build();
}
@Bean
AsyncReporter<Span> spanReporter() {
return AsyncReporter.builder(sender())
.closeTimeout(500, TimeUnit.MILLISECONDS)
.messageMaxBytes(200000)
.queuedMaxSpans(500)
.build();
}
@Bean
Tracing tracing() {
return Tracing.newBuilder()
.localServiceName(zipkinProperties.getServiceName())
.sampler(Sampler.ALWAYS_SAMPLE)
.propagationFactory(ExtraFieldPropagation.newFactory(B3Propagation.FACTORY, "user-name"))
.currentTraceContext(MDCCurrentTraceContext.create()) // puts trace IDs into logs
.spanReporter(spanReporter()).build();
}
@Bean
HttpTracing httpTracing(Tracing tracing) {
return HttpTracing.newBuilder(tracing)
.clientParser(new HttpClientParser() {
@Override
protected <Req> String spanName(HttpAdapter<Req, ?> adapter, Req req) {
return adapter.url(req).toString();
}
@Override
public <Req> void request(HttpAdapter<Req, ?> adapter, Req req, SpanCustomizer customizer) {
customizer.name(spanName(adapter, req)); // default span name
customizer.tag("url", adapter.url(req)); // the whole url, not just the path
super.request(adapter, req, customizer);
}
})
.serverParser(new HttpServerParser() {
@Override
protected <Req> String spanName(HttpAdapter<Req, ?> adapter, Req req) {
return adapter.url(req).toString();
}
@Override
public <Req> void request(HttpAdapter<Req, ?> adapter, Req req, SpanCustomizer customizer) {
customizer.name(spanName(adapter, req)); // default span name
customizer.tag("url", adapter.url(req)); // the whole url, not just the path
super.request(adapter, req, customizer);
}
})
.build();
}
初始化完后在webconfig中配置tracing攔截器，當別人來調我的服務時，此時是server的角色，記錄 server receive 、server send信息
在resttemplate中配置tracing攔截器，去調別人的http服務的時候，此時是client角色，記錄client send、client receive信息
4.3在webconfig中配置攔截器
@Override
public void addInterceptors(InterceptorRegistry registry) {
registry.addInterceptor(serverZipkinInterceptor)
.excludePathPatterns("/metrics/**")
.excludePathPatterns("/v2/api-docs","/configuration/**","/swagger-resources/**");
registry.addInterceptor(new PrometheusMetricsInterceptor()).addPathPatterns("/**");
}
4.4 在resttemplate中配置
resttemplate可用httpclient、okhttp、netty初始化，我們選用的是okhttp。
看看okhttp怎么初始化的吧
@Bean
public OkHttpClient okHttpClient() {
//注意：使用http2.0協議，只有明確知道服務端支持H2C協議的時候才能使用。添加H2C支持，
OkHttpClient.Builder builder = new OkHttpClient.Builder()
.protocols(Collections.singletonList(Protocol.H2_PRIOR_KNOWLEDGE));
Dispatcher dispatcher=new Dispatcher(
httpTracing.tracing().currentTraceContext()
.executorService(new Dispatcher().executorService())
);
//設置連接池大小
dispatcher.setMaxRequests(1000);
dispatcher.setMaxRequestsPerHost(200);
ConnectionPool pool = new ConnectionPool(20, 30, TimeUnit.MINUTES);
builder.connectTimeout(250, TimeUnit.MILLISECONDS)
.readTimeout(10, TimeUnit.SECONDS)
.writeTimeout(10, TimeUnit.SECONDS)
.connectionPool(pool)
.dispatcher(dispatcher)
//鏈路監控埋點
.addNetworkInterceptor(TracingInterceptor.create(httpTracing))
//.addInterceptor(new OkHttpInterceptor())
.retryOnConnectionFailure(false);
return builder.build();
}
RestTemplate restTemplate= new RestTemplate(OkHttp3Factory());
4.5 數據處理過程
并不是每來一個span數據就往kafka推，這樣效率必然是最差的。
批量優化處理嘛，內存建一個span隊列，當堆積的量達到設定的最大值，一次性往kafka推span數組。
zipkinserver監聽kafka“zipkin”這個topic。收到span數組后，進行拆分，索引，校驗等操作，再調ES的restful接口寫入ES。
zipkinserver提供的查詢分析工具就可以去ES取數據，進行鏈路監控分析了。
5 融合ELK日志體系
單單只有zipkin的數據還是不夠的，zipkin的作用是將一個完整的調用鏈路串聯起來。但缺乏詳細的業務日志信息，怎么搞？
每個brave tracing會把traceid spanid等信息插入 MDC，實現了標準日志接口的日志工具既可以從MDC中讀取traceid，在log.info中將traceid一并寫入，從而將鏈路與每個服務的業務日志關聯起來。
我要記錄DB\MQ\NOSQL的日志能支持嗎？對不起我不支持，把zipkin定位于一個純粹的串聯鏈路工具，不與業務代碼耦合。
log.info會支持就好。
我們記錄的結構化log數據格式：
LogEntity logEntity=new LogEntity();
logEntity.setTraceId(MDC.get("traceId"));
logEntity.setSpanId(MDC.get("spanId"));
logEntity.setIP(ip);
logEntity.setAppName(getAppname());
logEntity.setLevel(event.getLevel().levelStr);
logEntity.setLogger(event.getLoggerName());
logEntity.setLocation(event.getCallerData()[0].toString());
logEntity.setTimestamp(LocalDateTime.now());
logEntity.setMessage(event.getFormattedMessage());
代碼詳解core模塊下的logback+kafka相關配置與數據結構
