程式忍者PGNinja

Hacker News

獨立開發者推出瀏覽器內跑語言模型的決策實驗工具

· SemIf(前身 OpenJev)讓語言模型完全在瀏覽器裡跑,比較兩種讀取模型判斷結果的方式哪個比較快、比較準。

SemIf 是一項獨立研究專案,前身叫 OpenJev,由一位獨立研究者開發,讓使用者直接在瀏覽器裡本地執行語言模型來做決策,不需要架設後端伺服器,也不用排隊等候使用名額。

技術上,這個工具利用 Hugging Face 釋出的模型權重搭配 wllama 這套技術,把量化過的 GGUF 模型載入瀏覽器執行,提供 Qwen3 0.6B(適合手機)、MiniCPM5 2B(桌機預設)、Qwen3.5 4B(高記憶體)三種規格可選。使用者輸入的決策情境與選項完全留在網頁端,不會傳到外部伺服器。

這項工具真正想探討的問題,是語言模型做選擇時的兩種推理路徑:一種是直接讀取模型內部對各選項的機率數值,另一種是要求模型自己生成文字說出機率,兩者用瀏覽器內建的 performance.now() 即時計時比較速度與表現差異。

對正在學程式的孩子來說,這則新聞比較偏產業與研究面,原文沒有詳細講解適合初學者練習的做法,但可以讓孩子知道,現在連語言模型都能不靠雲端伺服器、直接在自己的瀏覽器裡跑起來,這是了解「本地端 AI」概念很好的例子。

AI開源瀏覽器

其他新聞