前言
在現今的互聯網系統中,Redis以其優秀的性能和簡潔的設計,被廣泛使用,尤其是在分布式系統中;Redis最主要的應用場景在于為分布式系統提供公用內存服務,而在使用的過程中,尤其是線上的高可用環境,需要時刻注意其內存占用情況,一旦其內存吃緊,就會導致Redis性能下降,并引發服務不可用;此時除了硬件擴展,一個經常使用的手段就是線上數據清理
如何清理線上環境Redis數據
一般有正規運營團隊的公司里,運營團隊都會針對Redis出一套規范,這里面一般就包括:如無特殊情況,所有數據必須設置超時時間,以防數據無限堆積;即便如此,還是無法保證所有開發人員百分百遵守,同時即便遵守,理論上也還是有內存吃緊的情況,此時除了增加硬件資源外,常用的做法就是根據業務對Redis無用數據進行清理
另一方面,由于Redis是基于單線程事件模型(為什么是單線程,可以參照Redis FAQ),為了保持線上高可用,一般決不允許單一命令阻塞過長,如:KEYS
,SMEMBERS
等命令就需要限制不能隨便使用;此時如何對Redis的數據進行清理呢?針對這種情況,Redis給出了「迭代掃描」系列命令,先來看看Redis官方對該系列命令的描述:
The SCAN command and the closely related commands SSCAN, HSCAN and ZSCAN are used in order to incrementally iterate over a collection of elements.
- SCAN iterates the set of keys in the currently selected Redis database.
- SSCAN iterates elements of Sets types.
- HSCAN iterates fields of Hash types and their associated values.
- ZSCAN iterates elements of Sorted Set types and their associated scores.
Since these commands allow for incremental iteration, returning only a small number of elements per call, they can be used in production without the downside of commands like KEYS or SMEMBERS that may block the server for a long time (even several seconds) when called against big collections of keys or elements
大思就是SCAN系列命令主要包含四個:SCAN
,SSCAN
,HSCAN
,ZSCAN
,分別針對不同的數據類型,它們的主要特點在于支持對數據進行迭代式掃描,每次只返回部分數據(返回多少可定制),這就有效屏蔽了全量掃描命令如KEYS
,SMEMBERS
等單一命令執行時間過長造成的服務器阻塞
下面就如何利用HSCAN
進行數據掃描并清理進行舉例說明,實現語言為Java,其他語言邏輯大同小異,具體如下:
/**
* 迭代式刪除Hash數據
* @param hashKey, hash key
* @param iterSize, 每次迭代元素數量,過大會可能會導致阻塞,過小會導致清理效率底下
* @return
*/
public int delHash(String hashKey, int iterSize) {
int cursor = 0;
ScanParams scanParams = new ScanParams().match("*").count(iterSize > 0 ? iterSize : 1000);
ScanResult<Entry<String, String>> scanResult;
List<Entry<String, String>> processList = new ArrayList<>();
int delCount = 0;
do {
try {
log.info("begin scan, cursor is {}", cursor);
scanResult = jedis.hscan(hashKey, String.valueOf(cursor), scanParams);
processList.addAll(scanResult.getResult());
List<String> dList = processList.stream().map(Entry::getKey).collect(Collectors.toList());
//批量刪除
jedis.hdel(hashKey, dList.toArray(new String[dList.size()]));
delCount += processList.size();
processList.clear();
//獲取游標位置,若大于0,則代表還有數據,需要繼續迭代
cursor = Integer.parseInt(scanResult.getStringCursor());
log.info("scan next, cursor is {}", cursor);
}catch (Exception e) {
log.error(e.getLocalizedMessage(), e);
}
} while (cursor > 0);
log.info("delete hash {} over, {} key be deleted", hashKey, delCount);
return delCount;
}
使用方式不復雜,如果使用過Java迭代器的同學應該對這種形式很熟悉,主要流程就是通過判斷標識(Java Iterator 中的 hasNext()
和next()
)對整體數據進行切分并操作,如此循環,直至覆蓋全部數據;這里有一個點需要注意的就是,每次迭代元素數量需要設置一個合適的值,過大會可能會導致阻塞,過小會導致處理效率底下,我在實際使用的時候發現每次處理1000個效率較高,當然,實際情況可能會根據硬件和帶寬不同而有差異
總結
本文只從純技術角度簡單的闡述了Redis線上數據清理需要注意的點及如何操作,實際的過程中還需要有很多其他考慮,如:
- 與業務團隊溝通,哪些數據可以被清理,是否需要對相關數據做另行備份,以防萬一誤刪
- 與保障團隊溝通,以防清理過程中出現問題,需要及時恢復
等