代码拉取完成,页面将自动刷新
同步操作将从 Gitee 极速下载/belle 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
当前仓库的代码属于BELLE项目训练代码v2版,上一版基于deepspeed-chat的代码放在dschat_train_v1目录下,未做任何改动。
考虑到如下因素和目前大家提出的issues,我们更新了仓库的训练代码
当前v2版本的代码对环境的依赖性较低,而且更加简洁。
我们提供了一个完整可运行的Docker镜像,Dockerfile写在docker文件夹下。
考虑到build存在一定的困难,我们提供了镜像下载,你可以使用下面命令从dockerhub拉取我们的镜像,然后在镜像中运行代码,详见docker环境说明。
sudo docker pull tothemoon/belle:latest
git clone https://github.com/LianjiaTech/BELLE.git
sudo docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
--network host \
--privileged \
[--env https_proxy=$https_proxy \]
[--env http_proxy=$http_proxy \]
[--env all_proxy=$all_proxy \]
--env HF_HOME=$hf_home \
-it [--rm] \
--name belle \
-v $belle_path:$belle_path \
-v $hf_home:$hf_home \
-v $ssh_pub_key:/root/.ssh/authorized_keys \
-w $workdir \
$docker_user/belle:$tag \
[--sshd_port 2201 --cmd "echo 'Hello, world!' && /bin/bash"]
[]
中内容可忽略
--rm
:容器退出时销毁,如果长期在容器中工作,可忽略--sshd_port
:sshd监听端口,默认是22001--cmd
:容器要执行的命令"echo 'Hello, world!' && /bin/bash"
,可忽略hf_home
:huggingface缓存目录$ssh_pub_key
:sshd公钥目录上述命令实现了以下几点:
由于部分包依赖系统环境编译,推荐使用docker。假如由于机器等原因不能使用docker,也可以通过conda创建环境,然后pip安装需要的包,需自行解决依赖问题
pip install -r requirements.txt
但是通过pip安装deepspeed很有可能安装或者运行失败,FAQ 中给出了一些安装deepspeed的教程以及可能遇到的问题
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。