一個正在嘗試脫離低級趣味的人
Deepseek太火了,這幾天無論打開某抖,某BiLi還是其他信息流,幾乎兩分鐘就刷到一次Deepseek。
這讓我這樣的AI輕度使用者也不由的好奇起來,我也了解了一下Deepseek。
01
Deepseek R1模型與其他的AI不同,它是推理式回答,也就是會把回答時的每一步思考都寫出來。
[圖片上傳失敗...(image-fc4465-1738156539014)]
這很讓我心動,使用其他AI的過程中,最讓我煩惱的就是AI的回答往往是資料集合,不知道來源,還要一項一項去驗證。
有一個很讓我心動的是Deepseek R1提供了多種蒸餾的小模型,這就給較低性能的電腦的本地部署提供了可能。
本地大模型的好處不必多說,更好的隱私保護,也不會莫名其妙的被審查導致結果消失,沒有網時也能用。
最重要的是永久免費,不用擔心某天突然收費。
但缺點也很明顯,那就配置要求較高。而我貧瘠的錢包讓我心有余而力不足。
本來一直以為我的ThinkBook筆記本 ( 8845h 32G 無獨顯)是無緣本地大模型的,但DeepseekR1的公布讓我有些蠢蠢欲動。
我一般只用AI寫一些周報和搜集資料,基本是不需要本地部署的,但出于對于目前AI產品未來收費的擔心,我還是想體驗一下Deepseek R1的本地部署效果。
幾乎沒怎么折騰,很簡單就安裝部署完成了。
(安裝過程放在文后)
02
我迅速體驗了一下,初步的結論是:目前仍無法替代在線AI。
1、本地部署雖然可以在筆記本端運行,但仍受限于硬件水平,思考速度會慢。簡單問題的思考在10-40s,較長問題的思考時間在70-80秒左右,整體的處理速度在11toks/s。
(并且我并沒有跟它對話過拍照相關的問題,它錯誤的思考了這一點)
2、回答表現來說,已經讓我非常驚艷了,問它一些稀奇古怪的問題也能回答的很好。但我本地部署的模型較小,還是無法達到在線的思考水平。
3、其實對于我這樣的普通用戶來說,在線AI仍是優于本地AI的選擇。
隱私、審查、網絡等問題,對于目前算力更充足、響應更快且目前仍免費的大模型AI來說,并不是不可舍棄的東西。
雖然說了不少缺點,但我認為,全面AI時代來臨可能不遠了。
原來的AI訓練與調用都需要大量的能源與資源,尤其是顯卡的成本很高。自帶AI的筆記本往往是上萬元的高端筆記本的專屬功能。
但我的筆記本,只需要4600元(有國補),就可以較為流暢的運行AI大語言模型了。而相同配置的筆記本或小主機,目前最便宜三千多就可以入手了。我甚至看到有人用手機部署了1.5B的小模型。
作為一個非AI行業的普通人,我非常的的震撼。AI對硬件要求的降低,可能會帶來更多的應用場景,也可能會有新的殺手級應用和新的企業崛起。
新的一年,我仍然看好AI。
(以上是僅為我作為非專業人士的個人看法,歡迎各位大神交流指導。)
03
下面附安裝過程。
1、使用 Ollama+AnythingLLM的方式快速進行本地安裝。
2.官網下載安裝Ollama,官方安裝包不支持直接改安裝位置,要有足夠的C盤空間。
安裝完成后不會有界面跳出,右下角狀態欄出現圖標即安裝完成。
3.按WIN+R,輸入CMD,打開命令行,輸入ollama run deepseek-r1:7b(可根據自己的配置選擇模型)
12-16G顯存推薦14B,24G顯存推薦32B,由于筆記本性能有限,我這里安裝的7B。
4.等待進度條到100%,就部署完成了。可以在命令行下和deepseek r1對話了。
5.為了我們小白更好的使用,我們要安裝圖形化界面。這里使用anythingLLM。同樣官網下載。
6.按步驟安裝后,打開軟件,選擇Ollama和deepseek模型。
7.然后就可以體驗了,是不是很簡單。
8.運行過程的資源占用。
看到這里,點個關注吧[?( ′???` )比心]