如何對線上Redis進行數據清理

前言

在現今的互聯網系統中,Redis以其優秀的性能和簡潔的設計,被廣泛使用,尤其是在分布式系統中;Redis最主要的應用場景在于為分布式系統提供公用內存服務,而在使用的過程中,尤其是線上的高可用環境,需要時刻注意其內存占用情況,一旦其內存吃緊,就會導致Redis性能下降,并引發服務不可用;此時除了硬件擴展,一個經常使用的手段就是線上數據清理

如何清理線上環境Redis數據

一般有正規運營團隊的公司里,運營團隊都會針對Redis出一套規范,這里面一般就包括:如無特殊情況,所有數據必須設置超時時間,以防數據無限堆積;即便如此,還是無法保證所有開發人員百分百遵守,同時即便遵守,理論上也還是有內存吃緊的情況,此時除了增加硬件資源外,常用的做法就是根據業務對Redis無用數據進行清理

另一方面,由于Redis是基于單線程事件模型(為什么是單線程,可以參照Redis FAQ),為了保持線上高可用,一般決不允許單一命令阻塞過長,如:KEYSSMEMBERS等命令就需要限制不能隨便使用;此時如何對Redis的數據進行清理呢?針對這種情況,Redis給出了「迭代掃描」系列命令,先來看看Redis官方對該系列命令的描述:

The SCAN command and the closely related commands SSCAN, HSCAN and ZSCAN are used in order to incrementally iterate over a collection of elements.

  • SCAN iterates the set of keys in the currently selected Redis database.
  • SSCAN iterates elements of Sets types.
  • HSCAN iterates fields of Hash types and their associated values.
  • ZSCAN iterates elements of Sorted Set types and their associated scores.

Since these commands allow for incremental iteration, returning only a small number of elements per call, they can be used in production without the downside of commands like KEYS or SMEMBERS that may block the server for a long time (even several seconds) when called against big collections of keys or elements

大思就是SCAN系列命令主要包含四個:SCANSSCANHSCANZSCAN,分別針對不同的數據類型,它們的主要特點在于支持對數據進行迭代式掃描,每次只返回部分數據(返回多少可定制),這就有效屏蔽了全量掃描命令如KEYSSMEMBERS等單一命令執行時間過長造成的服務器阻塞

下面就如何利用HSCAN進行數據掃描并清理進行舉例說明,實現語言為Java,其他語言邏輯大同小異,具體如下:

  /**
   * 迭代式刪除Hash數據
   * @param hashKey, hash key
   * @param iterSize, 每次迭代元素數量,過大會可能會導致阻塞,過小會導致清理效率底下
   * @return
     */
  public int delHash(String hashKey, int iterSize) {
    int cursor = 0;

    ScanParams scanParams = new ScanParams().match("*").count(iterSize > 0 ? iterSize : 1000);
    ScanResult<Entry<String, String>> scanResult;
    List<Entry<String, String>> processList = new ArrayList<>();
    int delCount = 0;
    do {
      try {
        log.info("begin scan, cursor is {}", cursor);
        scanResult = jedis.hscan(hashKey, String.valueOf(cursor), scanParams);
        processList.addAll(scanResult.getResult());
        List<String> dList = processList.stream().map(Entry::getKey).collect(Collectors.toList());
        //批量刪除
        jedis.hdel(hashKey, dList.toArray(new String[dList.size()]));
        delCount += processList.size();
        processList.clear();
        //獲取游標位置,若大于0,則代表還有數據,需要繼續迭代
        cursor = Integer.parseInt(scanResult.getStringCursor());
        log.info("scan next, cursor is {}", cursor);
      }catch (Exception e) {
        log.error(e.getLocalizedMessage(), e);
      }
    } while (cursor > 0);

    log.info("delete hash {} over, {} key be deleted", hashKey, delCount);

    return delCount;
  }

使用方式不復雜,如果使用過Java迭代器的同學應該對這種形式很熟悉,主要流程就是通過判斷標識(Java Iterator 中的 hasNext()next())對整體數據進行切分并操作,如此循環,直至覆蓋全部數據;這里有一個點需要注意的就是,每次迭代元素數量需要設置一個合適的值,過大會可能會導致阻塞,過小會導致處理效率底下,我在實際使用的時候發現每次處理1000個效率較高,當然,實際情況可能會根據硬件和帶寬不同而有差異

總結

本文只從純技術角度簡單的闡述了Redis線上數據清理需要注意的點及如何操作,實際的過程中還需要有很多其他考慮,如:

  • 與業務團隊溝通,哪些數據可以被清理,是否需要對相關數據做另行備份,以防萬一誤刪
  • 與保障團隊溝通,以防清理過程中出現問題,需要及時恢復

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,156評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,401評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,069評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,873評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,635評論 6 408
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,128評論 1 323
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,203評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,365評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,881評論 1 334
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,733評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,935評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,475評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,172評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,582評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,821評論 1 282
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,595評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,908評論 2 372

推薦閱讀更多精彩內容