资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

lm studio 服务器模式通过什么地址访问

创作时间:

作者:

@小白创作中心

lm studio 服务器模式通过什么地址访问

引用

来源

https://www.explinks.com/blog/ua-how-to-access-lm-studio-server-mode/

LM Studio是一款功能强大的桌面应用程序，专门用于在本地计算机上运行大型语言模型（LLMs）。它允许用户在脱机状态下使用这些模型，并通过本地主机访问其服务器模式。本文将详细介绍LM Studio的安装和使用方法，尤其是如何通过本地主机地址访问其服务器模式，并提供相应的代码示例和图片链接。

LM Studio的简介

LM Studio的核心功能包括发现、下载和运行本地LLMs。用户可以通过直观的图形界面轻松下载并加载各种模型。其广泛支持的模型库包括HuggingFace上的ggml Llama、MPT和StarCoder模型（如Llama 2、Orca、Vicuna等）。

使用LM Studio的特点

LM Studio的主要优势在于其完全脱机的操作模式。用户可以在笔记本电脑上运行LLM，而无需持续的网络连接。这使得它在隐私和数据安全方面具有显著优势。此外，LM Studio允许用户通过应用内的聊天界面或OpenAI兼容的本地服务器使用模型，极大地提高了操作的灵活性。

支持的平台：最低硬件/软件要求

为了在不同平台上运行，LM Studio对硬件和软件有一定的要求。它支持M1/M2/M3系列的Mac，以及支持AVX2指令集的Windows PC和Linux测试版。建议至少配备16GB的RAM和6GB的VRAM，以确保最佳性能。支持的系统包括Windows (x86, x64, AVX2)、macOS (Apple Silicon – M1/M2/M3)和Linux (x86, Ubuntu 22.04, AVX2)。

LM Studio的安装和使用方法

LM Studio服务器：通过运行在localhost上的OpenAI风格的HTTP服务器使用本地LLM

用户可以通过在本地主机上运行的API服务器访问LM Studio中的LLM。请求和响应格式均遵循OpenAI的API标准。要使用本地服务器，用户需首先安装LM Studio，然后从应用程序中搜索并下载所需的LLM模型。

支持的端点

GET /v1/models  
POST /v1/chat/completions  
POST /v1/embeddings  
POST /v1/completions

其中，POST /v1/embeddings是LM Studio 0.2.19中的新功能。

使用本地服务器

如果尚未安装LM Studio，请从官方网站获取应用程序安装程序。
从应用程序中搜索并下载LLM，例如TheBloke/Mistral-7B-Instruct-v0.2-GGUF。
进入本地服务器选项卡，选择下载的LLM。
点击“启动服务器”按钮，启动服务器。

您的LM Studio现在已准备好接受API请求。

检查当前加载的模型

curl http://localhost:1234/v1/models

响应示例

在如下示例中，TheBloke/phi-2-GGUF和lmstudio-ai/gemma-2b-it-GGUF模型已加载。

{  
  "data": [  
    {  
      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf",  
      "object": "model",  
      "owned_by": "organization-owner",  
      "permission": [{}]  
    },  
    {  
      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf",  
      "object": "model",  
      "owned_by": "organization-owner",  
      "permission": [{}]  
    }  
  ],  
  "object": "list"  
}

进行推断请求

在本地服务器上发起推断请求，需使用OpenAI的“Chat Completions”格式。

curl http://localhost:1234/v1/chat/completions \  
-H "Content-Type: application/json" \  
-d '{   
  "messages": [  
    { "role": "system", "content": "You are a helpful coding assistant." },  
    { "role": "user", "content": "How do I init and update a git submodule?" }  
  ],  
  "temperature": 0.7,  
  "max_tokens": -1,  
  "stream": true  
}'

文本嵌入：使用LM Studio的嵌入服务器本地生成文本嵌入

文本嵌入是将文本转换为数字向量的一种方法，广泛应用于RAG（检索增强生成）应用程序中。LM Studio的嵌入服务器支持生成文本嵌入，用户可通过POST /v1/embeddings端点获取。

示例请求

假设服务器在端口1234上运行，支持字符串和字符串数组作为输入类型。

curl http://localhost:1234/v1/embeddings \  
-H "Content-Type: application/json" \  
-d '{  
  "input": "Your text string goes here",  
  "model": "model-identifier-here"  
}'

示例回应

{  
  "object": "list",  
  "data": [  
    {  
      "object": "embedding",  
      "embedding": [-0.005118194036185741, -0.05910402536392212, ...],  
      "index": 0  
    }  
  ],  
  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf",  
  "usage": {  
    "prompt_tokens": 0,  
    "total_tokens": 0  
  }  
}