Web开发

首页 » 常识 » 问答 » 本地化部署类ChatGPT服务,搭配贝锐
TUhjnbcbe - 2025/4/26 17:59:00
中药治疗白癜风方子 https://disease.39.net/bjzkbdfyy/230414/13532265.html

StableDiffuisonWebUI是最近非常热门AI绘图工具,它可将非常复杂的AI绘画流程转化为可视化的网页界面。在类ChatGPT大型语言模型方面,同样也有类似的开源工具——TextgenerationwebUI(github项目:oobabooga/text-generation-webui)。

TextgenerationwebUI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面,不仅可以提高使用效率,还可满足私有化部署,或对模型进行自定义。目前,该WebUI已经支持了许多流行的语言模型,包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等。

而且,TextgenerationwebUI部署非常简便,不仅在github主页上直接提供了一键部署安装包,同时由于是webUI形式,如果需要远程访问、使用,也可搭配贝锐花生壳之类的内网穿透工具,在没有公众IP、不设置路由的情况下,快速实现异地访问,打造私有的类ChatGPT服务。

TextgenerationwebUI本地部署+贝锐花生壳内网穿透实现远程访问的过程如下:

TextgenerationwebUI本地部署

在github主页下载系统对应的一键安装包,以Windows为例,运行start_windows.bat即可一键下载依赖环境,并自动安装。

完成后,进入TextgenerationwebUI所在的目录,下载所需的语言模型,具体可看github主页,例如使用如下命令:

pythondownload-model.pyfacebook/opt-1.3b

完成模型下载后,再次运行start_windows.bat就能启动WebUI,不过此时只能本地浏览器访问,如需远程或外部使用,还需搭配贝锐花生壳内网穿透,安装部署过程同样简便。

贝锐花生壳内网穿透安装设置

首先,在贝锐

1
查看完整版本: 本地化部署类ChatGPT服务,搭配贝锐