Unstable Private Interconnect Network Found to be Caused by IP Conflict

zergduan

问题3：

请问，我下面的理解正确么？

如果前两个问题，我理解的是正确的话，当Node1 eth1上的虚拟地址漂移到Node1 eth3上，同时Node2 eth1的虚拟地址漂移到Node2 eth3上，此时两个节点的eth3上都会出现两个虚拟地址，其中一个是在CRS启动时就已经分配的虚拟地址，另一个虚拟地址是从本节点eth1上漂移过来的；原有的虚拟地址已经组成了一条虚拟网络，但是新漂移过来的虚拟地址因为MAC地址的变动，新的MAC地址没有在两个节点间相互更新，所以要发生ARP广播来通知对方更新MAC，然后才能建立私有网络~

zergduan

问题4：

如果我前面的3个问题，理解都是正确的~

我下面对ARP广播的理解是否正确？
ARP广播的目的是为了获取要通信的目标IP地址的MAC地址

按照前面说的过程，当Node1 eht1的虚拟地址漂移到Node1 eth3上后，这个虚拟地址要和对端的虚拟地址（Node2 eth3上新漂移过来的虚拟地址）通信，但是因为不知道Node2 eth3的MAC地址，无法建立连接~
所以Node1 eht3 将发起ARP请求广播（ARP Request），发送的请求内容包括Node2 eth3上新漂移过来的虚拟IP地址，并且这个广播是在交换机上全地址广播，但是只有Node2 eth3接收到这个广播后发现广播内容中的虚拟地址和自己的虚拟地址一致，才会回应这个广播请求，回应请求（ARP Reply）就是发送自己的MAC地址到广播源（Node1 eth3上新漂移过来的虚拟IP地址），并且这个回应不是广播形式的。广播源（Node1 eth3）接收到这个MAC地址后，将其内容放入ARP缓存~
于此同时Node2 eth3也会同样发起ARP请求广播，用来获取它所要通信的Node1 eth3的MAC，过程同上

最终Node1 和 Node2 都获取到了对方eth3上的MAC，在两个eth3上新漂移过来的虚拟IP地址，就可以根据对方的MAC地址开始通信了，这样漂移过来的私有网络连接也就建立完成了~

在整个过程中其他的私有网络连接，虽然在广播中也受到了ARP请求，但是不会回应，因为ARP请求广播中的目标IP地址，与自身的IP地址不符~

zergduan

如果上面我4个问题的理解都是正确的话，只需要保证“节点间相同设备名的NIC（或者说静态地址相同网段的NIC）连接在同一个交换机上”，就可以实现多个交换机组成私有网络，无需级联交换机~

比如按照我的环境
用两个独立交换机建立私有网络
Node1 eth1/eth2 <--> switchA <-->Node2 eth1/eth2
Node1 eth3/eth4 <--> switchB <-->Node2 eth3/eth4


当Node1 eth1发生故障时，假如其上的虚拟IP漂移到Node1的eth3上，那么Node2 eth1上的虚拟IP也一定会漂移到Node2的eth3上~


此时ARP广播发生在switchB上，因为switchA和switchB没有级联关系，所以Node1 eth2和Node1 eth2将不能收到ARP请求~


但是eth2根本无需对此请求进行回复，因为eth2上的虚拟IP，于发送的ARP请求中的目标IP不同，就算eth2收到请求也不会回复~
本身eth2是否收到ARP请求，对漂移后的虚拟网络连接建立没有任何影响~

但是我害怕Oracle有一个验证机制，必须保证私有网络中的所有NIC都收到ARP请求，否则就抛出异常~
所以我担心多个独立交换机不能使用在HAIP的私有网络中~

现在Oracle Support给我的回复很简单，就一句话“用于HAIP的多个switch需要做级联”，所以我也在追问到底是为什么？

zergduan

Oracle Real Application Clusters (RAC) and
Oracle Clusterware Interconnect Virtual Local Area
Networks (VLANs) Deployment Considerations

http://www.oracle.com/technetwor ... 6072012-1657506.pdf

Page10 的图中，两个switch是使用trunk级联的，但是这里的连接方法是在主机上做bond然后同一个bond中的两个slave NIC连接在两个级联的switch上，并不是HAIP的方式。

我觉得这个级联是为了bond NIC，而不是为了HAIP

Yong Huang

Does 级联 mean inter-switch link? I don't see why the switches have to be connected to each other. Maybe I didn't fully understand what Oracle support says. Ask him to provide some documents to explain his statement "用于HAIP的多个switch需要做级联".

The picture on p.10 of the article shows two switches, but the reason they are connected is because one may fail to the other in an active/standby configuration. In fact, that picture is not relevant to our discussion. As you guessed, it's for the setup before Oracle introduced HAIP. Back then, we would use OS-level bonding to create one private IP on each node (red line in the picture).

zergduan

Yong Huang 发表于 2016-3-4 01:30
Does 级联 mean inter-switch link? I don't see why the switches have to be connected to each other. M ...

非常感谢，Oracle Support确认了，无需级联交换机~