运行 Llama-3 或 Phi-3 等大型语言模型 (LLM) 通常需要云资源和复杂的设置。LM Studio 改变了这种情况，它提供了一个桌面应用程序，让您可以直接在本地计算机上运行这些模型。
它兼容 Windows、macOS 和 Linux，其友好的图形用户界面让运行 LLM 变得更加容易，即使是不熟悉技术设置的人也能轻松上手。它还是保护隐私的最佳选择，因为所有查询、聊天和数据输入都在本地处理，不会将任何数据发送到云端。
让我们看看它是如何工作的。
系统要求
要在设备上顺利运行 LLM 模型，请确保您的设置符合以下要求：
- 电脑（Windows/Linux） ： 支持 AVX2 的处理器（较新 PC 的标准配置）和英伟达或 AMD GPU。
- macOS ： 需要 Apple Silicon (M1/M2/M3)。不支持基于英特尔的 Mac。
- 内存 理想情况下至少需要 16GB 内存，但如果使用较小的机型和上下文大小，8GB 也可以。
- 互联网 ： 下载模型时，建议使用稳定的连接。
安装
要开始安装，请为您的平台下载 LM Studio。
下载后，按照安装步骤启动应用程序。你会看到一个熟悉的带有文本框的聊天界面，与大多数人工智能聊天应用程序类似，如下图所示：
在开始使用之前，您需要下载并加载一个模型。
什么是模型？
这里所说的模型是一种预先训练好的算法，可以执行各种自然语言处理任务。模型在大量文本数据集上进行训练，学会预测句子中的下一个单词，从而能够根据您的输入生成连贯的相关文本。
目前有许多不同的模型，每个模型都有特定的优势。有些模型更擅长生成有创意的文本，而有些模型则擅长生成事实信息或较短的回复。
例如，GPT-3、Llama-3 和 Phi-3 等模型可以生成富有创意和吸引力的文本，而 Yi Coder 是根据代码进行训练的，更擅长生成代码片段。
加载模型
LM Studio支持多种模型，包括 GPT-3、Llama-3、Phi-3 等。您可以从侧边栏的“Discover”部分轻松下载模型。在这里，您将看到可用模型的列表、参数大小及其专业化程度。
根据自己的需要选择模型。例如，如果你想生成有创意的文本，可以下载 Llama-3 这样的模型。如果你需要代码片段，可以试试 Yi Coder。较大的模型需要更多的资源，因此如果你的电脑功率有限，请选择较小的模型。
在本例中，我将下载带有 8B 参数的 Llama-3。点击下载按钮后，模型将开始下载。
下载完成后，点击“Chat”部分的“Load Model”按钮并选择下载的模型，即可加载模型。
加载模型后，就可以开始使用它生成文本了。只需在文本框中键入输入内容并按回车键即可。它可以处理事实或常识，对于创意写作、头脑风暴或产生想法非常有用。
与文档聊天
自 0.3 版起，LM Studio 提供了与文档聊天功能，允许您将文档上传到对话中。这对于根据特定文档生成文本或为模型提供额外上下文非常有用。
例如，我将从古腾堡计划上传《罗密欧与朱丽叶》一书，并提出几个问题。
- 故事中的主要人物是谁？
- 故事中的主要矛盾是什么？
LM Studio 将从文件中收集信息，并为您的问题提供答案。
目前，这项功能是试验性的，也就是说，它不一定总能完美运行。在您的询问中提供尽可能多的背景信息，包括具体的术语、观点和预期内容，将增加获得准确答复的机会。实验将帮助您找到最有效的方法。
总的来说，我对目前的结果很满意。它能准确回答问题。
小结
LM Studio 是在本地计算机上运行 LLM 模型的重要工具，我们已经探索了一些功能，如将其用作聊天助手和文档摘要。这些功能可以提高工作效率和创造力。如果您是开发人员，LM Studio 还可以运行专门用于生成代码的模型。
评论留言