1 Star 0 Fork 0

mobtgzhang / LLMA

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

大模型环境配置教程

部署NVIDIA-cuda docker环境

我这里使用的是Debian

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

然后更新源,安装nvidia-docker-toolkit

apt-get update
apt-get install -y nvidia-docker2

重启,并且完成安装

sudo systemctl restart docker

拉取对应的docker镜像,如下所示

sudo docker pull nvidia/cuda:11.7.1-base-ubuntu22.04

创建镜像

sudo docker build -f DockerFile -t llma:v0.1 .

运行并且创建容器

sudo docker run -it --gpus "device=1" --name llma_container llma:v0.1 

查看当前的镜像

sudo docker images

查看当前的容器

sudo docker ps -a

如何使用容器

要切换到另一个正在运行的容器,需要知道该容器的名称或ID。可以使用以下命令杀掉当前运行的容器:

docker kill [容器名称或ID]

然后,使用以下命令启动另一个容器:

docker start [容器名称或ID]

如果要使用新容器中的交互式终端,可以使用以下命令:

docker attach [容器名称或ID]

如果要在新容器中执行命令,可以使用以下命令:

docker exec [容器名称或ID] [命令]

例如,要在新容器中运行bash shell,可以使用以下命令:

docker exec -it [容器名称或ID] /bin/bash

如何将容器中的东西复制出来

docker cp <containerId>:/path/to/file /path/on/host

如何将当前的容器制作称镜像文件

docker 

使用exportimport 镜像导入和导出

这两个命令是通过容器来导入、导出镜像。

将容器导出镜像

docker export [container-id] > /path/to/filename.tar

这样就可以将当前

使用以下的命令可以将镜像文件导入进去

docker import - [contrainer-name] < /path/to/filename.tar

使用saveload

这两个命令是通过镜像来保存、加载镜像文件的。

下面使用docker save命令根据ID将镜像保存成一个文件。

docker save [container-id] > /path/to/filename.tar

将多个image打包成一个文件,例如下面的两个镜像打包成一个镜像,例如

docker save -o /path/to/filename.tar postgres:9.6 mongo:3.4

下面使用docker load命令则可将这个镜像文件载入进来。

docker load < /path/to/filename.tar

将镜像重命名使用以下的命令

docker tag [镜像的id号] name:tag

或者这样命名也是可以的

docker tag name1:tag1 name2:tag2

部署时候需要注意的问题

  1. 注意在docker中搭建web端或者需要从外部访问docker时候,IP地址设置为0.0.0.0, 这样就会保证外部能够正确访问docker.
  2. 可以通过ssh访问docker容器,所以在编辑或者调试docker内部文件的时候,可以使用Pycharm SSH连接;VSCode 需要下载ssh remote插件,连接docker编辑代码。
MIT License Copyright (c) 2023 mobtgzhang Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

大模型部署 展开 收起
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/mobtgzhang/llma.git
git@gitee.com:mobtgzhang/llma.git
mobtgzhang
llma
LLMA
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891