Proxmox VE是一个系统，专门用作管理虚拟机
http://pve.proxmox.com/wiki/Downloads
https://pve.proxmox.com/wiki/Category:HOWTO
安装
iso安装，就像安装ubuntu系统
1，install
2, 接下来是一个协议，选择我同意，然后下一步。
3, 填写root密码和管理员的联络邮箱
4, 填写主机名和本机网络，IP信息
(!!主机名开头不能相同，在做集群的时候会加不进去节点)
例：master.pev
worker01.pev
worker02.pev
系统启动后，系统会用第一个.之前作为主机名，如果相同，可能会发生冲突导致加不到集群节点
5, 安装完成reboot
访问:
https://192.168.20.15:8006 到达登陆页面，使用root和密码登陆,可选择中文
也可以採用文字模式的 ssh 登入 proxmox 主機、 以 debian 的指令管理系統、 以 vzctl 指令管理 OpenVZ container
创建VM
就是普通的虚拟机，下载的ISO文件放入服务器/var/lib/vz/template/iso目录
创建CT
ct就是利用openvz虚拟技术创建的虚拟机，系统模板可以到OpenVZ官网去下载,以tar.gz后缀，放入服务器/var/lib/vz/template/cache目录
opvenvz
是基于Linux内核的虚拟化技术
运行 pveversion -v 命令以检查各种软件包的版本
qm 虚拟机管理命令
https://pve.proxmox.com/wiki/Manual:_qm
qm list 虚拟机列表
qm clone <vmid> <newid> [OPTIONS] 克隆
-description string
-format (qcow2 | raw | vmdk)
-full boolean (default=0) 完全克隆
-name string 名字
-snapname string
qm config <vmid> [OPTIONS] 获取配置文件
-current boolean (default=0) 当前的
qm destroy <vmid> [OPTIONS] 摧毁
-skiplock boolean 强制
qm delsnapshot <vmid> <snapshotname> [OPTIONS] 删除快照
-force boolean 强制
qm resize <vmid> <disk> <size> [OPTIONS] 硬盘扩容
qm rollback <vmid> <snapname> 回滚
qm unlock <vmid> 解锁
qm set <vmid> [OPTIONS] 设置
-autostart boolean (default=0) 崩溃后自动启动
-onboot boolean (default=0) 主机开机启动(0是不启动)
-kvm boolean (default=1) 支持kvm虚拟化
-lock (backup | migrate | rollback | snapshot) 锁定不能做(备份|迁移|回滚|快照)
-protection boolean (default=0) 设置保护，预防remove此虚拟机
-reboot boolean (default=1) 设置为0重启
-skiplock boolean 强制（Ignore locks on root）
-serial[n] (/dev/.+|socket) 增加serial登陆方式
qm migrate vmid nodename
迁移机器
-online
-force
qm shutdown <vmid> [OPTIONS]
-forceStop boolean (default=0) 确保关闭
-skiplock boolean
-timeout integer (0 - N)
qm snapshot <vmid> <snapname> [OPTIONS] 做快照
-description string 描述
-vmstate boolean 保存vm描述
qm start <vmid> [OPTIONS]
-skiplock boolean
qm stop <vmid> [OPTIONS]
-skiplock boolean
qm suspend <vmid> [OPTIONS] 暂停虚拟机
-skiplock boolean
qm status <vmid> [OPTIONS]
-verbose boolean 详细输出
qm terminal <vmid> [OPTIONS]
qm monitor <vmid> 进入监示器接口
qm wait <vmid> [OPTIONS] 等待vm停止
利用serial登陆
https://pve.proxmox.com/wiki/Serial_Terminal
vi /etc/pve/qemu-server/101.conf 101是虚拟机的序号(qm list),增加：seria[0-3]
[PENDING]
serial0: socket
或者在主机上用命令增加
qm set 101 -serial0 socket
reboot
dmesg | grep ttyS
[ 0.457814] 00:0a: ttyS0 at I/O 0x3f8 (irq = 4) is a 16550A
vi /etc/default/grub
GRUB_CMDLINE_LINUX="quiet console=tty0 console=ttyS0"
更新grub
# debian based
update-grub
# redhat based
grub2-mkconfig --output=/boot/grub2/grub.cfg
登陆
qm terminal <VMiD>
***没验证***
刪除 Proxmox VE Cluster 設定
记住要先备份
確認所有node皆移除cluster
master 及各個node 執行以下指令：
1.停止 cluster sync 服務
/etc/init.d/pvemirror stop
2.停止 tunnel service 服務
/etc/init.d/pvetunnel stop
3.刪除 cluster 設定檔
rm /etc/pve/cluster.cfg
rm -rf /etc/pve/master
4.刪除相關的ssh設定內容
rm /root/.ssh/known_hosts
***没验证***
集群：
在A服务器上创建名字叫master的集群(主节点)
pvecm create master
在这里我做了在hosts里加入B服务器的hosts映射
在B服务器上加入master节点
pvecm add 192.168.20.20
查看集群的状态
pvecm nodes
pvecm status
造成無法加入集叢的原因有兩個：
1，節點自身已經隸屬於某一集叢
2，新的集叢本身已經有該節點的資料
增加节点（先删除才能增加）：
记住要先备份删除的数据，后路！！！！
先在集群上操作：
先要删除节点上的kvm虚拟机
pvecm delnode nodename
如果提示：cluster not ready - no quorum?
执行：pvecm e 1 #告知只有一个节点在线
后登陆节点操作：
先删除(这里把所有的节点信息都删掉了)：
/etc/init.d/pve-cluster stop
rm -rf /etc/corosync/*
rm -rf /var/lib/pve-cluster/*
rm -rf /var/lib/corosync/*
reboot
启动后登陆节点添加
pvecm add 集群名
删除集群：
/etc/init.d/pve-cluster stop
rm -rf /etc/corosync/*
rm -rf /var/lib/pve-cluster/*
rm -rf /var/lib/corosync/*
/etc/init.d/pve-cluster start
ha
2.0版本的配置
http://www.anjing.me/1417.html
http://my.oschina.net/kisops/blog/161599
4.x版本ha很简单
在ha界面把机器加进来，但是机器要安装在共享存储上面，
共享存储
ceph
在pve web界面添加rbd storage
ID为自定义
pool 就是一个逻辑卷
mon host 监控器服务器，只能用ip，多个用,相隔
username 默认admin ,没搞懂这个哪个用户
KRBD 如果是虚拟机(lxc,kvm)用，勾上这个，不然会报failed: exit code 1
添加后以下文件会有变化
cat /etc/pve/storage.cfg
rbd: ceph #ID
monhost 192.168.20.151,192.168.20.152,192.168.20.154
content images #存储文件类型
pool rbd
username admin
krbd
nodes base03,base02
添加认证
mkdir /etc/pve/priv/ceph
scp xx@xx:xx/ceph.client.admin.keyring ./
更改ceph.client.admin.keyring的名字，改为：ID+.keyring
例创建一个ID是ceph的storage ，文件命名为ceph.keyring
到些界面上就可以看到这个storage的一些状态了
更换网络环境(换ip)
vi /etc/network/interfaces
vi /etc/hosts
> .ss/know_hosts
vi /var/lib/pve-cluster/config.db (重要)
查看 /etc/pve/corosync.conf是正确的
文件
/etc/pve/corosync.conf 记录各节点的信息，如果不属于某个节点，不会有这个文件
nodelist
这里是真正的节点联合节点信息
有时候pvecm node命令输出的信息不对，就要看这里，pvecm node的信息如果没有更新，目前只有重启解决
/etc/pve/node/** 下面是全节点的一些文件，pve-ssl.key是认证文件，没有这个文件会登陆不上web界面或者集群无法操作这个节点
/etc/pve/authkey.pub 这个是密钥文件，每个节点上都和集群的服务器文件内容一样
/etc/pve/storage.cfg 存储设备记录文件
错误：
刚创建启动虚拟机安装的时候提示：
Proxmox Error: start failed: command '/usr/bin/kvm
解决把kvm虚拟化去掉：Proxmox>Options> KVM hardware virtualization = No
加入集群提示authentication key already exists
可用pvecm add 192.168.20.20 -force -force强制覆盖加入节点，然后/etc/init.d/pve-cluster restart