代码拉取完成,页面将自动刷新
同步操作将从 novicel/langchain-ChatGLM 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
langchain-ChatGLM 现已支持通过调用 FastChat API 进行 LLM 调用,支持的 API 形式为 OpenAI API 形式。
首先请参考 FastChat 官方文档 进行 FastChat OpenAI 形式 API 部署
依据 FastChat API 启用时的 model_name
和 api_base
链接,在本项目的 configs/model_config.py
的 llm_model_dict
中增加选项。如:
llm_model_dict = {
# 通过 fastchat 调用的模型请参考如下格式
"fastchat-chatglm-6b": {
"name": "chatglm-6b", # "name"修改为fastchat服务中的"model_name"
"pretrained_model_name": "chatglm-6b",
"local_model_path": None,
"provides": "FastChatOpenAILLM", # 使用fastchat api时,需保证"provides"为"FastChatOpenAILLM"
"api_base_url": "http://localhost:8000/v1" # "name"修改为fastchat服务中的"api_base_url"
},
}
其中 api_base_url
根据 FastChat 部署时的 ip 地址和端口号得到,如 ip 地址设置为 localhost
,端口号为 8000
,则应设置的 api_base_url
为 http://localhost:8000/v1
将 configs/model_config.py
中的 LLM_MODEL
修改为对应模型名。如:
LLM_MODEL = "fastchat-chatglm-6b"
根据需求运行 api.py
, cli_demo.py
或 webui.py
。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。