1、使用 Redis 有哪些好處?
(1) 速度快,因為數據存在內存中,類似于HashMap,HashMap的優勢就是查找和操作的時間復雜度都是O(1)
(2) 支持豐富數據類型,支持string,list,set,sorted set,hash
(3) 支持事務,操作都是原子性,所謂的原子性就是對數據的更改要么全部執行,要么全部不執行
(4) 豐富的特性:可用于緩存,消息,按key設置過期時間,過期后將會自動刪除
2、redis 相比 memcached 有哪些優勢?
(1) memcached所有的值均是簡單的字符串,redis作為其替代者,支持更為豐富的數據類型
(2) redis的速度比memcached快很多
(3) redis可以持久化其數據
3、redis 常見性能問題和解決方案:
(1) Master最好不要做任何持久化工作,如RDB內存快照和AOF日志文件
(2) 如果數據比較重要,某個Slave開啟AOF備份數據,策略設置為每秒同步一次
(3) 為了主從復制的速度和連接的穩定性,Master和Slave最好在同一個局域網內
(4) 盡量避免在壓力很大的主庫上增加從庫
(5) 主從復制不要用圖狀結構,用單向鏈表結構更為穩定,即:Master <- Slave1 <- Slave2 <- Slave3…
這樣的結構方便解決單點故障問題,實現Slave對Master的替換。如果Master掛了,可以立刻啟用Slave1做Master,其他不變。
4、MySQL 里有2000w數據,redis中只存20w的數據,如何保證redis中的數據都是熱點數據
相關知識:redis 內存數據集大小上升到一定大小的時候,就會施行數據淘汰策略。redis 提供 6種數據淘汰策略:
voltile-lru:從已設置過期時間的數據集(server.db[i].expires)中挑選最近最少使用的數據淘汰
volatile-ttl:從已設置過期時間的數據集(server.db[i].expires)中挑選將要過期的數據淘汰
volatile-random:從已設置過期時間的數據集(server.db[i].expires)中任意選擇數據淘汰
allkeys-lru:從數據集(server.db[i].dict)中挑選最近最少使用的數據淘汰
allkeys-random:從數據集(server.db[i].dict)中任意選擇數據淘汰
no-enviction(驅逐):禁止驅逐數據
5、Memcache 與 Redis 的區別都有哪些?
1)、存儲方式
Memecache把數據全部存在內存之中,斷電后會掛掉,數據不能超過內存大小。
Redis有部份存在硬盤上,這樣能保證數據的持久性。
2)、數據支持類型
Memcache對數據類型支持相對簡單。
Redis有復雜的數據類型。
3)、使用底層模型不同
它們之間底層實現方式 以及與客戶端之間通信的應用協議不一樣。
Redis直接自己構建了VM 機制 ,因為一般的系統調用系統函數的話,會浪費一定的時間去移動和請求。
4)、value大小
redis最大可以達到1GB,而memcache只有1MB
6、redis 最適合的場景
Redis最適合所有數據in-momory的場景,雖然Redis也提供持久化功能,但實際更多的是一個disk-backed的功能,跟傳統意義上的持久化有比較大的差別,那么可能大家就會有疑問,似乎Redis更像一個加強版的Memcached,那么何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別,大多數都會得到以下觀點:
1. Redis不僅僅支持簡單的k/v類型的數據,同時還提供list,set,zset,hash等數據結構的存儲。
2. Redis支持數據的備份,即master-slave模式的數據備份。
3. Redis支持數據的持久化,可以將內存中的數據保持在磁盤中,重啟的時候可以再次加載進行使用。
(1)會話緩存(Session Cache)
最常用的一種使用Redis的情景是會話緩存(session cache)。用Redis緩存會話比其他存儲(如Memcached)的優勢在于:Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時,如果用戶的購物車信息全部丟失,大部分人都會不高興的,現在,他們還會這樣嗎?
幸運的是,隨著 Redis 這些年的改進,很容易找到怎么恰當的使用Redis來緩存會話的文檔。甚至廣為人知的商業平臺Magento也提供Redis的插件。
(2)全頁緩存(FPC)
除基本的會話token之外,Redis還提供很簡便的FPC平臺。回到一致性問題,即使重啟了Redis實例,因為有磁盤的持久化,用戶也不會看到頁面加載速度的下降,這是一個極大改進,類似PHP本地FPC。
再次以Magento為例,Magento提供一個插件來使用Redis作為全頁緩存后端。
此外,對WordPress的用戶來說,Pantheon有一個非常好的插件 wp-redis,這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。
(3)隊列
Reids在內存存儲引擎領域的一大優點是提供 list 和 set 操作,這使得Redis能作為一個很好的消息隊列平臺來使用。Redis作為隊列使用的操作,就類似于本地程序語言(如Python)對 list 的 push/pop 操作。
如果你快速的在Google中搜索“Redis queues”,你馬上就能找到大量的開源項目,這些項目的目的就是利用Redis創建非常好的后端工具,以滿足各種隊列需求。例如,Celery有一個后臺就是使用Redis作為broker,你可以從這里去查看。
(4)排行榜/計數器
Redis在內存中對數字進行遞增或遞減的操作實現的非常好。集合(Set)和有序集合(Sorted Set)也使得我們在執行這些操作的時候變的非常簡單,Redis只是正好提供了這兩種數據結構。所以,我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為“user_scores”,我們只需要像下面一樣執行即可:
當然,這是假定你是根據你用戶的分數做遞增的排序。如果你想返回用戶及用戶的分數,你需要這樣執行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子,用Ruby實現的,它的排行榜就是使用Redis來存儲數據的,你可以在這里看到。
(5)發布/訂閱
最后(但肯定不是最不重要的)是Redis的發布/訂閱功能。發布/訂閱的使用場景確實非常多。我已看見人們在社交網絡連接中使用,還可作為基于發布/訂閱的腳本觸發器,甚至用Redis的發布/訂閱功能來建立聊天系統!(不,這是真的,你可以去核實)。
Redis提供的所有特性中,我感覺這個是喜歡的人最少的一個,雖然它為用戶提供如果此多功能。
高可用分布式集群
一、高可用
高可用(High Availability),是當一臺服務器停止服務后,對于業務及用戶毫無影響。 停止服務的原因可能由于網卡、路由器、機房、CPU負載過高、內存溢出、自然災害等不可預期的原因導致,在很多時候也稱單點問題。
(1)解決單點問題主要有2種方式:
主備方式
這種通常是一臺主機、一臺或多臺備機,在正常情況下主機對外提供服務,并把數據同步到備機,當主機宕機后,備機立刻開始服務。
Redis HA中使用比較多的是keepalived,它使主機備機對外提供同一個虛擬IP,客戶端通過虛擬IP進行數據操作,正常期間主機一直對外提供服務,宕機后VIP自動漂移到備機上。
優點是對客戶端毫無影響,仍然通過VIP操作。
缺點也很明顯,在絕大多數時間內備機是一直沒使用,被浪費著的。
主從方式
這種采取一主多從的辦法,主從之間進行數據同步。 當Master宕機后,通過選舉算法(Paxos、Raft)從slave中選舉出新Master繼續對外提供服務,主機恢復后以slave的身份重新加入。
主從另一個目的是進行讀寫分離,這是當單機讀寫壓力過高的一種通用型解決方案。 其主機的角色只提供寫操作或少量的讀,把多余讀請求通過負載均衡算法分流到單個或多個slave服務器上。
缺點是主機宕機后,Slave雖然被選舉成新Master了,但對外提供的IP服務地址卻發生變化了,意味著會影響到客戶端。 解決這種情況需要一些額外的工作,在當主機地址發生變化后及時通知到客戶端,客戶端收到新地址后,使用新地址繼續發送新請求。
(2)數據同步
無論是主備還是主從都牽扯到數據同步的問題,這也分2種情況:
同步方式:當主機收到客戶端寫操作后,以同步方式把數據同步到從機上,當從機也成功寫入后,主機才返回給客戶端成功,也稱數據強一致性。 很顯然這種方式性能會降低不少,當從機很多時,可以不用每臺都同步,主機同步某一臺從機后,從機再把數據分發同步到其他從機上,這樣提高主機性能分擔同步壓力。 在redis中是支持這楊配置的,一臺master,一臺slave,同時這臺salve又作為其他slave的master。
異步方式:主機接收到寫操作后,直接返回成功,然后在后臺用異步方式把數據同步到從機上。 這種同步性能比較好,但無法保證數據的完整性,比如在異步同步過程中主機突然宕機了,也稱這種方式為數據弱一致性。
Redis主從同步采用的是異步方式,因此會有少量丟數據的危險。還有種弱一致性的特例叫最終一致性,這塊詳細內容可參見CAP原理及一致性模型。
(3)方案選擇
keepalived方案配置簡單、人力成本小,在數據量少、壓力小的情況下推薦使用。 如果數據量比較大,不希望過多浪費機器,還希望在宕機后,做一些自定義的措施,比如報警、記日志、數據遷移等操作,推薦使用主從方式,因為和主從搭配的一般還有個管理監控中心。
宕機通知這塊,可以集成到客戶端組件上,也可單獨抽離出來。 Redis官方Sentinel支持故障自動轉移、通知等,詳情見低成本高可用方案設計(四)。
邏輯圖:
二、分布式
分布式(distributed), 是當業務量、數據量增加時,可以通過任意增加減少服務器數量來解決問題。
集群時代
至少部署兩臺Redis服務器構成一個小的集群,主要有2個目的:
高可用性:在主機掛掉后,自動故障轉移,使前端服務對用戶無影響。
讀寫分離:將主機讀壓力分流到從機上。
可在客戶端組件上實現負載均衡,根據不同服務器的運行情況,分擔不同比例的讀請求壓力。
邏輯圖:
三、分布式集群時代
當緩存數據量不斷增加時,單機內存不夠使用,需要把數據切分不同部分,分布到多臺服務器上。
可在客戶端對數據進行分片,數據分片算法詳見C#一致性Hash詳解、C#之虛擬桶分片。
邏輯圖:
大規模分布式集群時代
當數據量持續增加時,應用可根據不同場景下的業務申請對應的分布式集群。 這塊最關鍵的是緩存治理這塊,其中最重要的部分是加入了代理服務。 應用通過代理訪問真實的Redis服務器進行讀寫,這樣做的好處是:
避免越來越多的客戶端直接訪問Redis服務器難以管理,而造成風險。
在代理這一層可以做對應的安全措施,比如限流、授權、分片。
避免客戶端越來越多的邏輯代碼,不但臃腫升級還比較麻煩。
代理這層無狀態的,可任意擴展節點,對于客戶端來說,訪問代理跟訪問單機Redis一樣。
目前樓主公司使用的是客戶端組件和代理兩種方案并存,因為通過代理會影響一定的性能。 代理這塊對應的方案實現有Twitter的Twemproxy和豌豆莢的codis。
邏輯圖:
四、總結
分布式緩存再向后是云服務緩存,對使用端完全屏蔽細節,各應用自行申請大小、流量方案即可,如淘寶OCS云服務緩存。
分布式緩存對應需要的實現組件有:
一個緩存監控、遷移、管理中心。
一個自定義的客戶端組件,上圖中的SmartClient。
一個無狀態的代理服務。
N臺服務器。