ITADN

【feature】llm添加openai风格服务端支持(自定义代理地址和模型名称)

#291Pull RequestQiuZiXian 创建于 2025-02-06
Q
QiuZiXiancommented
https://github.com/InternLM/lagent/pull/294 # 目的 支持已有的llm服务。 # 使用方法 **PS 如果lagent还未合并该pr。需要手动复制lagent项目294的pr文件,覆盖python安装包lagent路径里面的相应文件。(或者自行打包lagent去安装)** ## mindsearch - mindsearch\agent\models.py - 修改api_base 、model_name 、key(如果服务端需要的话) - 命令行:python -m mindsearch.app --lang ch --model_format gptstyle --search_engine SearxngSearch --asy ``` from lagent.llms import ( GPTStyleAPI, GPTAPI, INTERNLM2_META, HFTransformerCasualLM, LMDeployClient, LMDeployServer, ) api_base = 'http://192.168.26.213:13000/v1/chat/completions' # oneapi # model_name = "Baichuan2-Turbo" model_name ="deepseek-r1-14b" gptstyle = dict( type=GPTStyleAPI, model_type=model_name, # key=os.environ.get("OPENAI_STYLE_API_KEY", "sk-IXgCTwuoEwxL1CiBE4744688D8094521B70f4aDeE6830c5e"), # api_base=os.environ.get("OPENAI_STYLE_API_BASE",api_base), key="sk-CZOUavQGNzkkQjZr626908A0011040F8B743C526F315D6Ee", api_base=api_base, ) ``` **PS: INTERNLM似乎有做适配改造。ds-14b有自己的逻辑,似乎不适合mindsearch** oneapi测试通过如下: ![1738834592259](https://github.com/user-attachments/assets/1e178035-e18a-4cc6-a029-7e57879dfa19)
合并状态:未合并 5 条评论