點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因?yàn)槭郎蠜]有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

0 前言

可像 Ollama 通過暴露本地端口，實(shí)現(xiàn)本地客戶端調(diào)用。

1 選擇模型

在 LM Studio 的 “開發(fā)者” 選項(xiàng)卡中選擇模型：

2 端口暴露

設(shè)置暴露的端口（默認(rèn)1234）：

啟用 CORS 后，可對(duì)接網(wǎng)頁應(yīng)用或其他客戶端工具。

3 啟動(dòng)服務(wù)

點(diǎn)擊狀態(tài)選項(xiàng)卡：

控制臺(tái)會(huì)顯示運(yùn)行日志和訪問地址：

2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Success! HTTP server listening on port 1234
2025-04-26 20:55:13  [INFO] 
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Supported endpoints:
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> GET http://localhost:1234/v1/models
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/chat/completions
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/completions
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] -> POST http://localhost:1234/v1/embeddings
2025-04-26 20:55:13  [INFO] 
2025-04-26 20:55:13  [INFO] 
[LM STUDIO SERVER] Logs are saved into /Users/javaedge/.lmstudio/server-logs
2025-04-26 20:55:13  [INFO] 
Server started.

4 快速上手 4.1 快速ping

列出已加載并就緒的模型：

curl http://127.0.0.1:1234/v1/models/

這也是驗(yàn)證服務(wù)器是否可訪問的一種有效方法！

4.2 聊天

這是一個(gè)類似調(diào)用OpenAI的操作，通過curl工具訪問/v1/chat/completion端點(diǎn)：

• 在Mac或Linux系統(tǒng)，可用任意終端運(yùn)行

• Windows系統(tǒng)用Git Bash

curl http://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-4-maverick-17b-128e-instruct",
    "messages": [ 
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ], 
    "temperature": 0.7, 
    "max_tokens": -1,
    "stream": true
  }'

該調(diào)用是“無狀態(tài)的”，即服務(wù)器不會(huì)保留對(duì)話歷史記錄。調(diào)用方有責(zé)任在每次調(diào)用時(shí)提供完整的對(duì)話歷史記錄。

流式傳輸 V.S 累積完整響應(yīng)

注意"stream": true（流式傳輸：開啟）參數(shù):

• true（開啟）時(shí)，LM Studio會(huì)在預(yù)測(cè)出標(biāo)記（token）的同時(shí)將其逐一流式返回

• 如將此參數(shù)設(shè)置為false（關(guān)閉），在調(diào)用返回之前，完整的預(yù)測(cè)結(jié)果會(huì)被先累積起來。對(duì)于較長的內(nèi)容生成或者運(yùn)行速度較慢的模型，這可能需要花費(fèi)一些時(shí)間！

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級(jí)流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺(tái)架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

加我好友，一起AI探索交流：