五花八门

什么是PCIe Bifurcation?有何用如何启用?

liaoya · 9月3日 · 2020年 4099次已读

一个简单的问题

首先问一个很简单的问题,一个主板能支持多少PCI-e板卡?每个插槽的都能插什么PCI-e设备?

看到这里,你会说这个问题多简单,能插多少PCI-e板卡那就看什么主板了,主板有几个PCI-e槽就能插多少卡,每个槽多长就能插多长的卡呗。

事实是这样么?

在这里我们来看一个主板,SuperMICRO的C7Z270-CG(选用超微主板当例子是因为超微主板的文档说明比较全,笔者并没有拥有这个主板)

v2-45767f1c2a170c87351e6b97565a192e_720w-1

我们从主板上可以看到,三个绿色的16X PCI-e插槽,三个黑色的1X PCI-e插槽,那么简单计算一下,一共应该是(16*3 + 1*3)=51X的PCI-e通道(LANE)。

但是从这个主板支持的第7代CPU Intel® Core™ i7-7700K Processor的资料来看:

v2-519de6546704e147a3e57791d5b7d74a_720w-1

这个CPU最大才支持16条PCI-e通道。

16条PCI-e通道,一个显卡就耗光了,其他设备怎么用的呢?这到底是怎么回事?


为了搞清楚这个问题,我们还是需要看一下主板厂家是什么说明的。

我们下载一下这个主板的PDF研究一下。

v2-f0dfb524dc6e3d37c5b3110755ea924c_720w-1

文档中,标识了每个插槽的编号。从上面靠近CPU开始数,是SLOT6至SLOT1,一个6个。然后每一个插槽的下方,我用红色圈出来,分别写着这个插槽的配置。

SLOT6,配置是CPU SLOT6 PCI-E3.0 x16,而SLOT3,配置是CPU SLOT3 PCI-E 3.0×8 (IN X16)

在这里,聪明的你看出来了,SLOT3虽然物理上是全长的16X插槽,但是只能支持8X的信号通道。就算你插上16X的卡,也是跑在8X的信号上。(PCI-e可以上下兼容,16x的卡可以跑在1x, 2x, 4x, 8x, 16x)

同理,SLOT1的配置只能跑4X,虽然插槽形状也是16X。所以16X的显卡要想发挥全部威力,只能插在靠近CPU的SLOT6上,而不能插在其他槽位,否则只能跑8X(SLOT3),或者4X(SLOT1)。

那么,SLOT5/SLOT4/SLOT2是什么情况?1X的槽位,速度就应该是1X吧?总不能变成4X或者8X/16X。

的确,1X的信号无法变成4X/8X/16X,但是细心的你会发现,文字描述有点不同,SLOT6/3/1的描述是CPU SLOTX PCI-E XXX,而SLOT5/4/2的描述是PCH SLOTX PCI-E XXX,PCH是什么鬼?


什么是PCH?

我们要想弄明白上面的问题,PCH(Platform Controller Hub)是干什么的要弄明白。

大家可能都听说过主板的南桥和北桥。现代主板中,北桥的大部分功能已经被INTEL集成到CPU中了,而剩下的功能,重新整合在PCH这个芯片中。

v2-168a06fd012e11bf441b283e61027e3e_720w-1

上面图中 Intel H81 Express Chipset就是PCH。和CPU通过DMI(Direct Media Interface)通道连接。

PCH连接着很多设备,比如声卡,板载网卡,SATA控制器,USB控制器,另外还能再分出来PCI接口。这么多设备经过PCH芯片整合之后,通过4x的DMI总线和CPU互联。

重新回来SuperMICRO的文档,下面是主板的方块图。

v2-6180b2c4d1ba43ddb60a74712ea3069c_720w-1

左边从CPU分出来16条PCI-e通道,另外PCH-H通过DMI和CPU相连。

那么左边的CPU x16可以怎么继续拆分呢?看下图:

v2-e3a68db436698d3219e79dc782c97a0a_720w-1

原来有好多ASMedia Switch 1480芯片,可以将16x分成两个x8+x8, 或者拆分成x8+x4+x4。也就是说,一旦你使用了SLOT1/3的插槽,那么SLOT6就不是x16了,而是x8。

而SLOT2/4/5的插槽,则通过PCH交换出来,和其他很多设备共享DMI x4的PCI-e带宽。


到这里,你应该能的出来结论,要想让SLOT6的x16插槽满血,那么SLOT1/3就不能插任何设备。同样,如果你想要PCI-e的设备,比如NVMe SSD满血,那么就不能插到板载那个M2 NVMe口,而是单独通过PCI-e转换卡插到SLOT1/3/6上面,因为那样子可以直连CPU,时延和性能都能最优。

另外,你也看到从CPU直接出来的PCI-e只有x16,那么如果你同时拥有x16的显卡,和x4的NVMe硬盘,那么就无法将两者同时最佳化,必须有所取舍。或者换用PCI通道更多的CPU,比如LGA2066平台。

大家看到家用平台的CPU,PCI-e通道非常少。相反,工作站或者服务器CPU就不同了,PCI-e通道非常多。我们拿一个好几年前的CPU做例子,XEON E5-2680V3看一下。

v2-99a50227a7f1c2e2e82375e519b3c157_720w-1

2014年Q3发布的CPU

v2-d00cc6b06659b424687e47cdb1b2b5e9_720w-1

一共有40 PCI-e个通道。如果是双槽CPU主板,那么将达到惊人的80个PCI-e通道!这还是几年前的CPU。看一下最近发布的XEON scalable 白金8180

v2-e27d8a0af1723fa17c9aa21b8197e7e8_720w-1

可能会比较失望,PCI-e通道才比E5 2680V3多8,48条。


讲了这么多PCI-e的事情,回到我们的标题,Bifurcation:PCI-e通道拆分

举一个简单的例子:你的NVMe SSD,一般都是PCIe 4x,如果你的x16槽,能拆分一下变成4个4x,那么将可以支持4个SSD,并且4个SSD可以同时满血运作,那该多好!或者说x8的插槽,通过拆分可以变成两个4x,这样子就可以用2个SSD了!

PCI拆分本来是服务器主板的一个功能,现在下放到民用主板了。支持PCIe拆分的卡,目前有很多,比如ASUS hyper m.2 x16 card

v2-e3ea7e7e4b061d4ae4e42cb44189d247_720w-1

ASRock的ULTRA QUAD M.2 CARD

v2-63180e1044fa175053a7485451378c82_720w-1

还有超微的AOC-SLG3-2M2,支持8x变成两个4x拆分

v2-e33c2114e63805b0f9073b9a09379a2a_720w-1

中提到,ASUS的这个卡,在支持PCI Bifurcation的主板上,可以将4个SSD同时识别,同时工作。在ZFS等环境中,将获得最大的性能。

当然,这个功能需要主板支持才可以使用。


第一个问题,就是要确认主板是否支持。这个问题查询一下主板厂家的文档即可。比如超微的主板,X10系列之后(包括X10),都是支持拆分的。X9系列的X9DRi-LN4F也有人说可以,我还没测试成功。

我拿SuperMICRO X10DRL这个主板来举例子,说一下怎么开启这个功能。下面是主板的外观图。

v2-cd5551b0c42679e51cab4453055f914d_720w-1

这个主板有一个16x插槽,插槽编号是SLOT5。

v2-c2110fd43aec211c23dd4bee372d6296_720w-1

看一下主板的Block图,SLOT5是连接到CPU1上。编号是#3 (这个编号很重要,BIOS中设置时需要使用)

v2-3d5197811de724c0c33731b471db58fa_720w-1

有了这些信息,接下来我们进入BIOS设置界面,选高级设置选项。

v2-65412d71927bd5472469e7e7692ea71e_720w-1

进入Chipset配置

v2-2d8f7e0c00e54ddbba9c80009995d441_720w-1

进入北桥选项

v2-c0a0bbe6869c47229449e4a173f5f179_720w-1

再进入IIO配置

v2-e58be09a191ccab9ded8239cff7b2e42_720w-1

里面有很多拆分配置。大家可能在这里就不知道选哪个,搞不明白。

刚才我们从文档中得到的信息,SLOT5是编号3,所以我们在这里找到IOU1(IIO PCIe Port3),将auto改成x4x4x4x4即可。

v2-ad7f246196541bbada7e4c2376d9e7a8_720w-1

保存之后重新启动机器,就可以将4个SSD正确识别!

其他型号的主板,由于笔者没有相关的环境,所以还需要大家自己学会看文档搞定。


如果你喜欢今后能多看到类似的文章,请看完之后点赞收藏分享,这样子我就可以有动力多写一些啦~~~

0 条回应