【feature】llm添加openai风格服务端支持(自定义代理地址和模型名称)
https://github.com/InternLM/lagent/pull/294
# 目的
支持已有的llm服务。
# 使用方法
**PS 如果lagent还未合并该pr。需要手动复制lagent项目294的pr文件,覆盖python安装包lagent路径里面的相应文件。(或者自行打包lagent去安装)**
## mindsearch
- mindsearch\agent\models.py
- 修改api_base 、model_name 、key(如果服务端需要的话)
- 命令行:python -m mindsearch.app --lang ch --model_format gptstyle --search_engine SearxngSearch --asy
```
from lagent.llms import (
GPTStyleAPI,
GPTAPI,
INTERNLM2_META,
HFTransformerCasualLM,
LMDeployClient,
LMDeployServer,
)
api_base = 'http://192.168.26.213:13000/v1/chat/completions' # oneapi
# model_name = "Baichuan2-Turbo"
model_name ="deepseek-r1-14b"
gptstyle = dict(
type=GPTStyleAPI,
model_type=model_name,
# key=os.environ.get("OPENAI_STYLE_API_KEY", "sk-IXgCTwuoEwxL1CiBE4744688D8094521B70f4aDeE6830c5e"),
# api_base=os.environ.get("OPENAI_STYLE_API_BASE",api_base),
key="sk-CZOUavQGNzkkQjZr626908A0011040F8B743C526F315D6Ee",
api_base=api_base,
)
```
**PS: INTERNLM似乎有做适配改造。ds-14b有自己的逻辑,似乎不适合mindsearch**
oneapi测试通过如下:

合并状态:未合并 5 条评论