引用:
|
作者野口隆史
有 llama.cpp 什麼裝置都能跑，跑得快跑得慢的差別而已
而且你有注意到嗎？ pi 5跑 R1 14B 效能只有 1.2/tokens
這效能比我用手機跑還慢，為什麼要用樹莓派跑？
|
The Raspberry Pi 5 B (Broadcom BCM2712) is made in 16 nm.
手機已經4nm了?
樹梅派當然比較慢。
手機的問題是無法compile code, 除非你有SDK, 但應該也不好搞
樹梅派有很多社群弄好的東西，各種伺服器，玩家只是要玩玩，做一些驗證等等。