高并發與大數據(1)

這一章來看一下能提升性能,減少服務器壓力的方法

web資源防盜鏈

  • 盜鏈是什么? 為什么要防?

在自己頁面上顯示一些不是自己服務器的資源圖片、音頻視頻、css、js等)
由于別人盜鏈你的資源會加重你的服務器負擔,所以我們需要防止
可能會影響統計

  • 防盜鏈是什么? 有哪幾種方式?

防止別人通過一些技術手段繞過本站的資源展示頁,盜用本站資源,讓繞開本站資源展示頁面的資源鏈接失效
大大減輕服務器壓力

1、Referer (易偽造referer,安全性低)
2、加密簽名 (安全性高)
  • 防盜鏈的工作原理

通過Referer,服務器可以檢測到訪問目標資源的來源網站,如果是資源文件,則可以跟蹤到顯示它的網頁地址。一旦檢測到來源網站不是本站進行阻止

通過簽名,根據計算簽名的方式,判斷請求是否合法,如果合法則顯示,否則返回錯誤信息

  • Referer實現

Nginx為例,前提加載ngx_http_referer_module模塊

//指令valid_referers  全局invalid_referer
location ~* \.(gif|jpg|png|webp)$ {
   valid_referers none blocked domain.com *.domain.com ;
   if ($invalid_referer) {
        return 403;
        #rewrite ^/ http://www.domain.com/403.jpg;
   }
}

注意:為什么要none呢?因為如果通過瀏覽器直接訪問資源,referer就是為空,所以這種方式不能徹底阻擋住盜鏈。

  • 加密簽名

Nginx為例,前提加載第三方模塊HttpAccessKeyModule實現防盜鏈

location ~* \.(gif|jpg|png|webp)$ {
    accesskey on;
    accesskey_hashmethod md5;
    accesskey_arg key;
    accesskey_signature "mysrc$remote_addr";
}

減少HTTP請求次數

  • 發現問題

8090%是花費在頁面引用控件的加載上,只有1020%是花費在文檔的加載上
HTTP/1.1協議規定請求只能串行發送,換句話就是100個請求,只能一個一個發送,上一個請求完成才能進行下一個請求

  • 如何改善?

減少引用控件數量,從而達到減少HTTP請求次數

  • 如何實現減少請求?

1、圖片地圖

原理把多張圖片合成一張,再使用<map>標簽來實現對圖片上不同區域的鏈接

<img src="img/planets.gif" width="145" height="126" alt="Planets" usemap="#planetmap">
<map name="planetmap">
  <area shape="rect" coords="0,0,82,126" alt="Sun" href="sun.htm">
  <area shape="circle" coords="90,58,3" alt="Mercury" href="mercur.htm">
  <area shape="circle" coords="124,58,8" alt="Venus" href="venus.htm">
</map>

圖片地圖

2、CSS Sprites(雪碧圖)

原理合拼圖片,再使用css的background-image和background-position來指定顯示元素

CSS Sprites與圖片地圖性能差不多,但CSS Sprites更加簡單靈活

CSS Sprites

3、合并JS與CSS文件

加載一個JS文件比加載多個JS文件要快

一般會使用前端自動構建工具打包合并

4、圖片使用base64編碼

注意:圖片base64除了可以使用在<img>中,還可以使用在css的background-image中

CDN加速

  • 什么是CDN加速?

CDN 就是內容分發網絡,在各處放置服務器來構成一層智能虛擬網絡,此處服務器稱之為節點服務器。所謂智能就是會自動根據用戶請求信息把請求重新分配到離客戶端最近的服務器。

CDN的作用: 解決由于服務端與客戶端所在區域的不同,導致影響數據傳輸速度和穩定性問題,一句話總結就是讓數據傳輸更快更穩定。

  • CDN有什么優勢?

1、智能Cache加速,提高企業站點的訪問速度(含大量圖片或靜態頁面最適合,因為CDN相當于是服務器的一個鏡像)
2、跨運營商的網絡加速,保證不同網絡的用戶都能得到很好的訪問速度
3、加速用戶遠程訪問服務器,根據DNS負載均衡技術自動智能選擇Catch服務器
4、自動生成遠程服務器的鏡像(Catch服務器),加速訪問速度,減輕Web服務器的負擔,分擔流量

  • CDN的工作原理是什么?

[圖片上傳失敗...(image-70b062-1555662945887)]


[圖片上傳失敗...(image-ac2b9f-1555662945887)]

  • CDN適用場景有哪些?

1、網站或應用中大量靜態資源的加速分發 (例如:css/js/圖片等)
2、大文件下載
3、直播網站

  • CDN如何實現?

瀏覽器緩存

高并發下只能通過提高服務器負載來解決? NO,流量、前端、服務器、數據庫
緩存只能是數據庫緩存嗎? NO,還有瀏覽器緩存

  • HTTP緩存分類(2種)

1.****200 OK (from memory cache)****直接從本地緩存中獲取響應,最快速、最省流量,因為沒有向服務器發送請求


2.****304 Not Modified 協商緩存,瀏覽器在本地沒有命中的情況下,請求頭中會發送一定的校驗數據到服務器。如果服務端數據沒有改變,服務端直接響應(通知瀏覽器從本地緩存獲取),返回304(快速、發送數據很少,只返回最基本的響應頭,不發送響應體)


PS: 以上兩種緩存全部失敗,服務器返回完整響應體(200 OK),沒有用到緩存,速度最慢

  • 瀏覽器本地緩存相關的header

Pragma


Cache-Control


Expires

前端代碼和資源壓縮優化

讓資源文件更小,加快文件在網絡中傳輸,讓網頁更快的展示,降低流量和寬帶開銷

  • 壓縮方式

JS、CSS、HTML、圖片壓縮和Gzip壓縮

  • JS代碼壓縮
去除一些多余的空格和回車,替換長變量名,簡化一些代碼寫法
壓縮工具:在線版和安裝版

在線壓縮工具

  • CSS代碼壓縮
與JS壓縮原理一樣,去除空白符、注釋和優化一下語義化

在線壓縮工具

  • HTML代碼壓縮****(不推薦,鎮用)
不推薦使用,因為會破壞代碼結構。
  • 圖片(JPG、PNG)壓縮

壓縮工具:tinypng/JpegMini/ImageOptim

  • Gzip壓縮

Gzip壓縮是Web服務器對純文本文件(JS/CSS/XML/HTML)進行壓縮
注意:千萬不要對圖片進行Gzip壓縮

//以Nginx為例

# 開啟gzip
gzip on;
# 啟用gzip壓縮的最小文件,小于設置值的文件將不會壓縮
gzip_min_length 1k;
# gzip 壓縮級別,1-10,數字越大壓縮的越好,也越占用CPU時間,后面會有詳細說明,推薦6
gzip_comp_level 6;
# 進行壓縮的文件類型。javascript有多種形式。其中的值可以在 mime.types 文件中找到。
gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php;
# 是否在http header中添加Vary: Accept-Encoding,建議開啟
gzip_vary on;
# 禁用IE 6 gzip
gzip_disable "MSIE [1-6]\.";
# 壓縮存儲的緩沖
gzip_buffers 16 64k;
# 開啟壓縮的http版本
gzip_http_version 1.1;

動態語言靜態化

將現代動態語言的邏輯代碼生成為靜態HTML文件(靜態化實際作用:緩存成一個html文件),再次訪問時就會重定向到靜態文件

  • 適用場景

對實時性要求不高的頁面

  • 為什么要使用靜態化?

解決高并發,減輕Web服務器和數據庫服務器壓力

  • 靜態化實現方式有幾種?

1、使用Smarty模板引擎
2、使用ob系列函數

  • 使用Smarty模板引擎
//緩存存放目錄
$smarty->cache_dir=$ROOT.'/cache'; 
//開啟緩存
$smarty->caching=true; 
//緩存過期時間
$smarty->cache_lifetime=3600;
//加載模板
$smarty->display();
//清除所有緩存文件
$smarty->clearAllCache();
//清除特定模板的緩存
$smarty->clearCache('index.tpl');
  • 使用ob系列函數(重點,實現靜態化基礎)
//開啟輸出緩沖區
ob_start(); 
//獲取輸出緩沖區內容
ob_get_contents();
//清空(擦掉)輸出緩沖區
ob_clean();
//送出輸出緩沖區內容并關閉緩沖
ob_end_flush();
//得到當前緩沖區的內容并刪除輸出緩沖區
ob_get_clean();

動態語言的并發處理

  • 什么是進程?什么是線程?什么是協程?

進程:是一個“執行中的程序”,程序不執行就不會產生進程。一個執行中的程序至少會產生一個進程,當進程獲得了處理機時才會從就緒狀態變為運行狀態,處理機不斷切換地分配到每個進程中。決定同時有多少個進程處于運行狀態的是處理器數量(CPU核數)

進程的三態模型:多個程序在系統中運行時,進程在處理機中交替運行,狀態在不斷切換。
三態分別是:就緒、運行、阻塞

[圖片上傳失敗...(image-4c9a3d-1555662945886)]

進程的五態模型(在三態的基礎上發展而來):新建態、運行態、終止態、就緒態、等待態

線程:稱之為輕量級的進程,程序執行流的最小單元。線程依賴于進程(一個進程可以有多個線程),線程不擁有系統資源。與同屬一個進程的其他線程共享進程擁有的全部資源;一個線程可以創建和撤銷另一個線程,同一個進程中的多個線程可以并發執行。一個進程下有多個線程來完成不同的工作稱之為多線程。(一個進程下至少會有一個線程)

線程由來:由于用戶并發請求,為每個請求都創建一個進程顯然太浪費系統資源和影響響應用戶請求的效率,所以引進線程的概念。

協程:是一種用戶態輕量級的線程。

//協程與線程的區別
1、協程是由用戶自己調度,而線程是用系統調度
2、協程是異步的,而進程線程是同步的
3、一個線程可以有多個協程,一個進程也可以單獨擁有多個協程
4、協程會保留上一次調用的狀態
  • 什么是多線程?什么是多進程?

多進程:2個或2個以上的進程處于運行狀態,進程間通信不方便


多線程:把一個進程分為很多片,每一片都是一個獨立的流程,線程間可以互相通訊

  • 同步阻塞模型
  • 異步非阻塞模型
  • PHP并發編程實戰

*1.*****使用swoole擴展


2.使用消息隊列


3.接口的并發請求

curl_multi_init()

數據緩存

  • 什么是數據緩存?
傳統關系型數據庫都是把數據存儲到硬盤中,在高并發情況下,對數據庫服務器會造成巨大壓力(巨大IO操作),為了解決此問題,數據緩存由此而生!

作用:
1、極大地緩解數據庫服務器的壓力
2、提高數據的響應速度


緩存形式有:內存緩存、文件緩存
推薦使用內存緩存

  • 為什么要使用數據緩存?(答案如上)

第一次訪問:

image.png

再次訪問:

image.png
  • 如何使用Mysql查詢緩存?
  • 如何使用Memcache緩存?
  • 如何使用redis緩存?

Web服務器負載均衡

  • 實現方式

1、七層負載均衡(Nginx)
2、四層負載均衡(LVS/硬件設備)

  • 七層負載均衡

基于URL等應用層信息實現負載均衡

// 一般使用Nginx來實現
功能強大、性能卓越、運行穩定
配置簡單靈活
上傳文件使用異步模式
多種分發策略
自動剔除不正常工作設備
  • Nginx負載均衡策略

內置

加權輪詢、IP Hash

外置

fair策略、通用Hash、一致性Hash
  • Nginx配置負載均衡
http{

    upstream load.com{
        server 192.168.1.241:80;
        server 192.168.1.247:80;
        server 127.0.0.1:8080;
    }
    server{
        listen 80;
        location / {
            proxy_pass http://load.com;
        }
    }
}
  • 四層負載均衡

有2種方式實現:
1、LVS
2、硬件設備

LVS負載均衡的三種方式:NAT、DR和TUN

硬件設備:通過報文中的目標地址和端口,再加上負載均衡設備的服務器選擇方式,決定最終選擇的內部服務器

MySQL數據庫優化

  • 優化方向

字段數據類型優化

tinyint/smallint/int/bigint的選擇
char/varchar
enum 固定分類
IP地址數據如何存?
答案:把IP地址轉整型類型存儲

索引


SQL語句優化


存儲引擎優化


表結構設計優化


數據庫服務器架構優化

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,967評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,273評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 175,870評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,742評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,527評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,010評論 1 322
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,108評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,250評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,769評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,656評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,853評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,371評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,103評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,472評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,717評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,487評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,815評論 2 372