跟著上文的背景,寫一段小品文。
網上最近很多測試大模型能力的文章,還有好多分析大模型、小模型、高精度、量化對比的測試。
幾乎沒有看到基于Transformer原理進行的測試,要么就是哪個什么分數比一比,要么就弄個貼吧的啥啥,要么就來個腦經急轉彎,要么來個數學題。
如果理解了Transformer的基本原理,就知道這個玩意是基于參數權值開展工作的,模型的能力大小就要看這個權值能夠有效工作的長度。
- 理解加減法、邏輯與非的權值不需要很長,學會了就是學會了。
- 羅里吧嗦寫個小說,寫個故事,基本上記住的故事概要,湊字就行,難度不大。
最難的是背文章。
14b,低精度,你讓他試試《出師表》、《赤壁賦》,如果能通過,你讓他試試《荷塘月色》,要不前后《赤壁賦》一次背完!!!
到此為止了,至于為什么對于GPT來說背長篇古文不易,懂得都懂。
——此文一出,那些到處搬運抄襲GPT測試的博主,到底懂不懂也就那啥。。。