LM Studio 本地运行 AI 大模型：免费 API 与 Token
📺 本图文教程由视频整理而成，对应的参考视频：本地运行AI大模型~LM Studio让你拥有免费API和Token~。如需查看更详细、更具体的操作演示，可观看原视频。
场景：想在本地跑一个 AI 大模型，既不想按 Token 付费，也不想把对话内容发到云端。LM Studio 是一款 Windows / macOS 通用的本地大模型客户端，装好后可在本机下载运行模型，并对外提供一个兼容 OpenAI 格式的 API 地址，其它软件填上这个地址就能直接使用，相当于拥有免费的 Token。
第一步：下载安装包
网盘分享里一共有三个文件：
- 官网地址 —— LM Studio 官方网站
LM Studio-xxx.exe—— Windows 版本LM Studio-xxx.dmg（含 arm64 / x64 两个包）—— macOS 版本，Apple 芯片选 arm64
也可以直接打开官网 https://lmstudio.ai，页面会自动识别当前系统并给出对应安装包；点右上角 Download 还能手动选择 Windows、macOS、Linux 以及 x86 / arm64 架构和具体版本号。
第二步：安装并完成首次设置
- 双击下载好的 dmg，把 LM Studio 图标拖入「应用程序」文件夹，等待复制完成。
- 打开 LM Studio，点击「Get Started」开始。
- 首次启动会引导下载一个模型，这里直接选择跳过，稍后按需下载。
- 启动选项中有两项：下方是开机自启，上方是开启开发者模式——建议一定要打开，后面提供 API 就靠它。
- 进入主界面后如果提示可更新，点 Update Now 即可升级到最新版。
第三步：切换为简体中文
- 点击左下角齿轮进入设置。
- 在 General 页找到
App Language，下拉选择「简体中文」。
注意
LM Studio 的汉化并不完整，切换后仍是中英混杂状态：部分菜单已翻译，部分仍是英文。整体操作逻辑简单，不必纠结语言，对照本教程即可。
第四步：认识左侧四个栏目
| 栏目 | 作用 |
|---|---|
| 聊天（Chat） | 与本机加载的模型对话 |
| 开发者（Developer） | 对外提供 API 服务，最核心的栏目 |
| 我的模型（My Models） | 查看已下载到本地的模型及默认参数调整 |
| 模型仓库（Discover） | 搜索并下载模型 |
第五步：在模型仓库挑选并下载模型
进入模型仓库，在搜索框输入模型名（例如 qwen3.5），下方即列出全部结果。挑选时重点看这几项：
- 格式：
GGUF是通用标准格式，Windows / Linux 都用它；Mac 建议优先选MLX格式，针对苹果芯片优化，速度更快。 - 参数规模：模型名后面的
4B、9B是参数量，B 即 Billion（十亿）。9B 约等于 90 亿参数，参数越大越聪明，但越吃显存。 - 量化等级：如
Q4_K_M，表示 4bit 量化。同一模型 Q4 体积约 6.55 GB，Q8 约翻倍到 13 GB，16bit 再翻倍。Q4 体积小、精度损失有限，性价比最高，显存有限的机器优先选 Q4。 - 下载量与收藏数：数值越高说明模型越受欢迎，通常也更靠谱。
在「我的模型」里，模型名后的两个图标含义不同：眼睛图标表示支持图像输入（可上传图片识别），小锤子图标表示支持工具调用（Skills、MCP 等）。演示中下载的都是 MLX 版本：Gemma 4 4B、Qwen3.5 4B、Qwen3.5 9B。
第六步：加载模型并对话
- 进入聊天栏目，点顶部下拉框选择要加载的模型，等待加载完成；右侧的弹出按钮用于卸载模型。
- 新建一个话题即可开始对话，例如输入「你是谁」。
两个模型的实际表现差异明显：
| 模型 | 输出速度 | 特点 |
|---|---|---|
| Qwen3.5 4B | 约 31 Tokens/s | 有思考过程，简单问题也可能思考十几秒，但工具调用效果更好 |
| Gemma 4 4B | 约 24 Tokens/s | 几乎不思考，回答干脆，适合追求响应速度的轻量使用 |
如果配合小龙虾这类客户端使用，Qwen3.5 的长思考会让交互显得「不跟手」，分不清是软件慢还是模型慢；追求即时反馈就选 Gemma 4，追求工具调用质量则选 Qwen3.5。
右侧参数面板只需关注两项：
- 温度（Temperature）：越接近 0 越发散越低，适合让模型按事实作答；调高则更有创造性，适合写文章、写诗。
- 惩罚机制（Penalty）：一般设为 1.1 或 1.2，避免模型产生幻觉和重复。
其余参数保持默认即可，不清楚含义时直接问 AI 这项功能是什么、推荐值是多少。
第七步：在开发者模式开启本地 API
进入开发者栏目，左下选「Local Server」，可以看到服务状态为 Running，以及一行 Reachable at: http://192.168.x.x:1234 —— 这就是对外提供的 API 地址，后面带复制按钮。
点「Load Model」加载要对外服务的模型。新版 LM Studio 已把聊天模型和 API 模型统一，在聊天里加载的模型会直接成为对外提供的模型，不必像旧版那样两边分别加载、分别卸载。
右侧面板分三块：
- Model Information：模型名称、格式（GGUF / MLX）、量化等级（如 Q4_K_M）、能力标记与占用空间。
- API Usage：
API Model Identifier（如gemma-4-e4b-it）和可访问地址，均可一键复制。 - Load / 上下文长度：默认 4096（4K）。这一项最关键——小龙虾这类客户端最低要求 16K，实测最少给到 32K 或 40K 才能保证对话流畅，低于这个值几轮之后就会因上下文溢出而「忘记」前面的内容。
注意
模型参数量和上下文长度是共同挤占内存的。演示机是 16GB 的 Mac mini M4，能跑 14B 模型（约 10 Tokens/s），但剩下给上下文的内存太少，聊几轮就开始胡说，实际不可用。宁可模型小一点，也要留足上下文。
第八步：用 Cherry Studio 接入验证
其它程序调用本地模型，通常只需要两样东西：API 地址（IP + 端口） 和 模型名称。
- 打开 Cherry Studio，左下角进入设置 → 模型服务，选择「LM Studio」。
- 在 API 地址处粘贴刚才复制的
http://192.168.x.x:1234，点「检测」。 - 在下方「管理」中会直接列出 LM Studio 当前可调用的模型，点加号添加需要的模型（如
gemma-4-e4b-it）。 - 添加好模型之后，点击API密钥后面的检测，选择一个可用模型，如果提示「连接成功」即说明对接正常。
回到聊天窗口新建话题，模型选择 LM Studio 下的 Gemma 4，正常提问即可得到回答，全程不花费任何 Token。其它软件若不能自动拉取模型列表，只需把模型具体名称API Model Identifier 手动填进去。
注意事项：别把内存跑爆
跑本地模型时务必盯着内存占用。演示中已加载模型的 Mac 内存使用率已达到 87%，如果再加载更大的模型或把上下文拉得很高，确实会把内存跑爆，严重时直接导致 Mac 重启。建议：
- 只保留当前要用的模型，不用时及时弹出模型 Eject。
- 上下文先给 32K 起步，不够再加，不要一次拉满。
- 用活动监视器观察内存压力，接近饱和就换更小的模型。
总结
LM Studio 把「下载模型 → 本地对话 → 对外提供 API」三步压缩进一个客户端里：Mac 选 MLX 格式、Q4 量化，开发者模式里复制 API 地址和模型标识，其它软件填进去即可免费使用本地大模型。Windows 版本的使用方式大同小异，只把 MLX 换成 GGUF 即可。
参考视频
本地运行AI大模型~LM Studio让你拥有免费API和Token~