apt-get update && apt-get dist-upgrade

Включил зфс
apt-get install kernel-modules-zfs-std-def;update-kernel
apt-get install zfs-utils
reboot

zpool create -f raid1ssd mirror ata-Samsung_SSD_860_PRO_256GB_S418NF0K404249F ata-Samsung_SSD_860_PRO_256GB_S418NF0K604412H
zpool create -f raid1sata mirror ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D31HXF-part3 ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D7F5DT-part3

2 сервер:
zpool create -f raid1ssd mirror ata-Samsung_SSD_860_PRO_256GB_S418NF0K404331E ata-Samsung_SSD_860_PRO_256GB_S418NF0K931286V
zpool create -f raid1sata mirror ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D4TWZ5-part3 ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D6JA2L-part3

apt-get install pve-manager 

mkdir /etc/net/ifaces/vmbr0
mv /etc/net/ifaces/enp8s0/* /etc/net/ifaces/vmbr0/
cp /etc/net/ifaces/vmbr0/options /etc/net/ifaces/enp8s0/

cat <<EOF > /etc/net/ifaces/vmbr0/options
BOOTPROTO=static
CONFIG_WIRELESS=no
CONFIG_IPV4=yes
HOST='enp8s0'
ONBOOT=yes
TYPE=bri
EOF

cat <<EOF  > /etc/net/ifaces/vmbr0/brctl
stp AUTO off
setfd AUTO 0
EOF

vim /etc/network/interfaces
-------------------------------
auto lo
iface lo inet loopback

iface enp8s0 inet manual

iface enp1s0 inet manual
        address  10.2.2.10
        netmask  255.255.255.0
        gateway  10.2.2.7

auto vmbr0
iface vmbr0 inet static
        bridge_ports enp8s0
        bridge_stp off
        bridge_fd 0
-------------------------------
 =====pve1srv:=====
vim /etc/network/interfaces
--------
auto lo
iface lo inet loopback

iface enp6s0 inet manual
        address  10.2.2.11
        netmask  255.255.255.0
        gateway  10.2.2.7

iface enp7s0 inet manual

iface enp8s0 inet manual

iface enp9s0 inet manual

auto vmbr0
iface vmbr0 inet static
        bridge_ports enp8s0
        bridge_stp off
        bridge_fd 0
-------------------------------
 
 
. /etc/sysconfig/clock
echo $ZONE > /etc/timezone
ln -sf /usr/share/zoneinfo/$ZONE /etc/localtime
 
echo "10.2.2.10 pve0srv.test.loc pve0srv" >> /etc/hosts
echo "10.2.2.11 pve1srv.test.loc pve1srv" >> /etc/hosts

N=$(($(sed -n '/^AcceptEnv/{=}' /etc/openssh/sshd_config | tail -1) + 1)); sed -i "${N}i AcceptEnv LC_PVE_TICKET\n" /etc/openssh/sshd_config
N=$(($(sed -n '/^[[:space:]]*SendEnv/{=}' /etc/openssh/ssh_config | tail -1) + 1)); sed -i "${N}i \ \ \ \ SendEnv LC_PVE_TICKET\n" /etc/openssh/ssh_config
systemctl restart sshd

cp /usr/share/doc/pve-cluster/rrdcached.sysconfig /etc/sysconfig/rrdcached
mkdir -p /var/lib/rrdcached/{db,journal}
rm -f /etc/corosync/corosync.conf

Запуск служб кластера
Запускаем службы кластера и настраиваем их автоматический запуск при старте узла:

systemctl start syslogd ntpd rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target
systemctl enable syslogd ntpd rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target

!!!!!!!!!!!тут ругается что нет syslogd это критично?

Далее, на «головном» (см. выше) узле кластера выполняем команды собственно инициализации конкретного кластера PVE, в данном случае — «mypve»:
systemctl start pve-cluster
pvecm create testpve

Далее, запускаем остальные службы и добавляем их в список служб, запускаемых при старте узла:

systemctl start lxc lxc-net lxc-monitord pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy
systemctl enable corosync lxc lxc-net lxc-monitord pve-cluster pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy pve-guests

На «подчинённых» (см. выше) узлах:
systemctl start corosync pve-cluster
pvecm add 10.2.2.11


ломается kvm после добавления зфс починил вот так:
запустить apt-shell
там install kernel-module-kvm-std-def и нажать <TAB>

apt> install kernel-modules-kvm-std-def#1:4.9.141-alt0.M80P.1
apt> commit