ceph群集存储系统

lsblk -o name,size,fsused,fsuse%,mountpoint,fstype
NAME                 SIZE FSUSED FSUSE% MOUNTPOINT FSTYPE
sr0                 1024M                          
vda                   10G                          
|-vda1               512M   5.1M     1% /boot/efi  vfat
|-vda2               244M  83.7M    35% /boot      ext2
`-vda3               9.3G                          LVM2_member
  |-osd1--vg-root    3.4G   1.3G    38% /          ext4
  |-osd1--vg-swap_1 1020M               [SWAP]     swap
  `-osd1--vg-home    4.9G  19.5M     0% /home      ext4

qemu-img create -f qcow2 -o backing_file=osd.qcow2 osd1.qcow2 #创建虚拟机1的磁盘，共享基础映像，如此类推创建osd2.qcow2和osd3.qcow2

#基础虚拟机osd，克隆三个，修改磁盘配置即可
sudo cp /var/lib/libvirt/qemu/nvram/osd_VARS.fd /var/lib/libvirt/qemu/nvram/osd1_VARS.fd  #因为是uefi启动的，需要保存一份这个玩意（启动资料），不知道为什么克隆虚拟机命令无法自动完成这一步
virt-clone --connect qemu:///system -o osd -n osd1 -f osd1.qcow2 --preserve-data #克隆虚拟机osd为osd1,指定吃盘为osd1.qcow2， --preserve-data参数指定不复制磁盘内容。图形化工具virt-manager 不支持设定这套参数，原因不明，所以只能用命令行

ssh-copy-id  -i ~/.ssh/htqxgit_rsa htqx@192.168.122.131 #将公钥添加到节点的htqx账户下

nano -w ~/.ssh/config # 修改ssh登录配置，具体操作百度

# 配置好节点服务器的帐号，配置sudo，并且可以免密码。类似 htqx ALL=(ALL) NOPASSWD:ALL

#登录节点,安装ntp
sudo apt install ntpdate
sudo nano -w /etc/default/ntpdate #编辑配置将ntp1.aliyun.com 添加进去
sudo ntpdate-debian #同步时间

# 安装包的key
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - 
# 添加apt源，luminous是ceph 12.*.*的代号。debian官方没有这个工具，所以最好还是添加ceph官方源，最新版本14 （nautilus）; 13是mimic; 10是jewel 。 stretch 是debian当前的正式版。
echo deb http://download.ceph.com/debian-luminous/ stretch main | sudo tee /etc/apt/sources.list.d/ceph.list  

sudo apt install ceph-deploy #安装ceph-deploy
sudo rm /etc/apt/sources.list.d/ceph.list #删除源，因为会和debian testing自带的产生冲突

<host mac='52:54:00:73:7c:67' ip='192.168.122.101'  />
<host mac='52:54:00:39:da:84' ip='192.168.122.102' /> 
<host mac='52:54:00:0b:1c:92' ip='192.168.122.103' />

# ceph
192.168.122.1   admin.ceph      admin
192.168.122.101 osd1.ceph       osd1
192.168.122.102 osd2.ceph       osd2
192.168.122.103 osd3.ceph       osd3

ceph-deploy new osd1 #产生ceph-deploy-ceph.log日志、ceph.conf配置、ceph.mon.keyring密钥

# osd 配置由默认3改为2
osd pool default size = 2
public_network=192.168.122.0/24

ceph-deploy install  {admin,osd1,osd2,osd3}  --no-adjust-repos #安装工具，--no-adjust-repos 参数指定不要修改apt源，否则会自动生成一个连接ceph官方的源，会和debian testing默认的产生冲突

ceph-deploy mon create-initial #初始化monitor，产生：ceph.client.admin.keyring、ceph.bootstrap-osd.keyring、ceph.bootstrap-mds.keyring、ceph.bootstrap-rgw.keyring、ceph.bootstrap-mgr.keyring

# 不能创建文件夹的存储目录，只能用整个磁盘，因为一开始没有准备，所以调整了一下现在的磁盘。
# 磁盘之前是lvm格式的，osd1--vg-home    4.9G  19.5M     0% /home      ext4 ，这个准备减少2gb，用来创建新空盘store
ssh osd2 #进入节点2
sudo vgdisplay #查看lvm磁盘组，得到pe大小4m（相当于传统扇区）
sudo lvdisplay osd1-vg/home #查看lv逻辑分区
cd / # 离开home目录
sudo umoun /home #卸载磁盘
sudo e2fsck -f /dev/osd1-vg/home #检查磁盘
sudo resize2fs /dev/osd1-vg/home 2928m # 调整ext文件系统到2928m = 4m× 732 个pe
sudo lvreduce -l 732 osd1-vg/home #对应的调整lv逻辑分区到732(pe）,然后就空出来523个pe
sudo lvcreate -l 523 -n store osd1-vg #用空出来的创建store分区

ceph-deploy osd create osd2  --data /dev/osd1-vg/store  #添加存储磁盘，同样的方式添加osd3上的磁盘。
ceph-deploy admin admin osd1 osd2 osd3 #分发管理密钥ceph.client.admin.keyring，注意第一个admin是命令，第二个是我的管理主机的名字
sudo chmod +r /etc/ceph/ceph.client.admin.keyring  #添加权限

ceph health #查看群集系统是否正常
ceph -w #查看群集信息

ceph-deploy mds create osd1 #添加元数据服务器
ceph-deploy rgw create osd1 #添加对象网关服务器，监听7480端口

ceph-deploy mon add osd2 #添加监视器，同样添加osd3
ceph quorum_status --format xml-pretty #检查监视服务器到位情况

ceph osd pool create mypool 8 #创建一个存储池叫mypool

rbd create foo --size 1024 --pool mypool #分配1G的存储块，命名为foo
rbd info foo -p mypool #查看块的信息
sudo  rbd map mypool/foo --name client.admin -k /etc/ceph/ceph.client.admin.keyring -m osd1.ceph  #创建一个设备/dev/rbd0 绑定块，参数指定了用户名和密钥，-m是监视器的地址
mkfs.ext4 -m0 /dev/rbd0 #格式化
mkdir /mnt/cephbd 
mount /dev/rbd0 /mnt/cephbd #挂载

ceph osd pool create cephfs_data 8
ceph osd pool create cephfs_metadata 8
ceph fs new cephfs cephfs_metadata cephfs_data #用两个池创建名为cephfs的文件系统
ceph mds stat #查看状态
sudo mkdir /mnt/ceph
#内核驱动挂载
sudo mount -t ceph osd1.ceph:6789:/ /mnt/ceph # 挂载
# 用户空间文件系统 fuse
sudo apt install ceph-fuse
sudo ceph-fuse -m osd1.ceph:6789 /mnt/ceph

rados put my-obj-1 1.txt --pool mypool #添加一个对象到存储池，命名为my-obj-1 ，内容是1.txt文件
rados -p mypool ls #列出对象
ceph osd map mypool my-obj-1 #查看在服务器中的位置

sudo tgtadm --lld iscsi --op show --mode system #查看支持的文件系统类型

rbd map mypool/foo # 添加ceph块绑定为本地设备

include /etc/tgt/conf.d/*.conf

<target iqn.2019-5.localhost:iscsi> #名字
 driver iscsi #驱动iscsi
 bs-type rbd #类型ceph rbd块
 backing-store mypool/foo #存储池/块
</target>

systemctl status tgt #查看服务状态
systemctl restart tgt #重启服务
systemctl status tgt #查看是否成功

sudo tgt-admin -show #查看iscsi设备情况