執行 Llama-3 或 Phi-3 等大型語言模型 (LLM) 通常需要雲資源和複雜的設定。LM Studio 改變了這種情況，它提供了一個桌面應用程式，讓您可以直接在本地計算機上執行這些模型。
它相容 Windows、macOS 和 Linux，其友好的圖形使用者介面讓執行 LLM 變得更加容易，即使是不熟悉技術設定的人也能輕鬆上手。它還是保護隱私的最佳選擇，因為所有查詢、聊天和資料輸入都在本地處理，不會將任何資料傳送到雲端。
讓我們看看它是如何工作的。
系統要求
要在裝置上順利執行 LLM 模型，請確保您的設定符合以下要求：
- 電腦（Windows/Linux） ： 支援 AVX2 的處理器（較新 PC 的標準配置）和英偉達或 AMD GPU。
- macOS ： 需要 Apple Silicon (M1/M2/M3)。不支援基於英特爾的 Mac。
- 記憶體 理想情況下至少需要 16GB 記憶體，但如果使用較小的機型和上下文大小，8GB 也可以。
- 網際網路 ： 下載模型時，建議使用穩定的連線。
安裝
要開始安裝，請為您的平臺下載 LM Studio。
下載後，按照安裝步驟啟動應用程式。你會看到一個熟悉的帶有文字框的聊天介面，與大多數人工智慧聊天應用程式類似，如下圖所示：
在開始使用之前，您需要下載並載入一個模型。
什麼是模型？
這裡所說的模型是一種預先訓練好的演算法，可以執行各種自然語言處理任務。模型在大量文字資料集上進行訓練，學會預測句子中的下一個單詞，從而能夠根據您的輸入生成連貫的相關文字。
目前有許多不同的模型，每個模型都有特定的優勢。有些模型更擅長生成有創意的文字，而有些模型則擅長生成事實資訊或較短的回覆。
例如，GPT-3、Llama-3 和 Phi-3 等模型可以生成富有創意和吸引力的文字，而 Yi Coder 是根據程式碼進行訓練的，更擅長生成程式碼片段。
載入模型
LM Studio支援多種模型，包括 GPT-3、Llama-3、Phi-3 等。您可以從側邊欄的“Discover”部分輕鬆下載模型。在這裡，您將看到可用模型的列表、引數大小及其專業化程度。
根據自己的需要選擇模型。例如，如果你想生成有創意的文字，可以下載 Llama-3 這樣的模型。如果你需要程式碼片段，可以試試 Yi Coder。較大的模型需要更多的資源，因此如果你的電腦功率有限，請選擇較小的模型。
在本例中，我將下載帶有 8B 引數的 Llama-3。點選下載按鈕後，模型將開始下載。
下載完成後，點選“Chat”部分的“Load Model”按鈕並選擇下載的模型，即可載入模型。
載入模型後，就可以開始使用它生成文字了。只需在文字框中鍵入輸入內容並按回車鍵即可。它可以處理事實或常識，對於創意寫作、頭腦風暴或產生想法非常有用。
與文件聊天
自 0.3 版起，LM Studio 提供了與文件聊天功能，允許您將文件上傳到對話中。這對於根據特定文件生成文字或為模型提供額外上下文非常有用。
例如，我將從古騰堡計劃上傳《羅密歐與朱麗葉》一書，並提出幾個問題。
- 故事中的主要人物是誰？
- 故事中的主要矛盾是什麼？
LM Studio 將從檔案中收集資訊，併為您的問題提供答案。
目前，這項功能是試驗性的，也就是說，它不一定總能完美執行。在您的詢問中提供儘可能多的背景資訊，包括具體的術語、觀點和預期內容，將增加獲得準確答覆的機會。實驗將幫助您找到最有效的方法。
總的來說，我對目前的結果很滿意。它能準確回答問題。
小結
LM Studio 是在本地計算機上執行 LLM 模型的重要工具，我們已經探索了一些功能，如將其用作聊天助手和文件摘要。這些功能可以提高工作效率和創造力。如果您是開發人員，LM Studio 還可以執行專門用於生成程式碼的模型。
評論留言