一文詳細(xì)了解實(shí)時反射內(nèi)存網(wǎng)絡(luò)

實(shí)時反射內(nèi)存網(wǎng)絡(luò)是一種為使多個獨(dú)立的計(jì)算機(jī)進(jìn)行數(shù)據(jù)共享而特別設(shè)計(jì)的共享內(nèi)存系統(tǒng)。實(shí)時反射內(nèi)存網(wǎng)絡(luò)在系統(tǒng)中的每個節(jié)點(diǎn)放置一個共享內(nèi)存的獨(dú)立的拷貝。每個節(jié)點(diǎn)都有寫入數(shù)據(jù)訪問和讀取本地內(nèi)存的權(quán)限。當(dāng)數(shù)據(jù)寫入本地內(nèi)存，FPGA 捕獲并發(fā)送數(shù)據(jù)到實(shí)時反射內(nèi)存中網(wǎng)絡(luò)下數(shù)據(jù)寫入本地內(nèi)存并送到下一節(jié)點(diǎn)，數(shù)據(jù)寫入本地內(nèi)存并送到下一節(jié)點(diǎn)，直到數(shù)據(jù)回到源發(fā)送的節(jié)點(diǎn)才將網(wǎng)絡(luò)中的數(shù)據(jù)移除。

由于這種特別的硬件和一系列的節(jié)點(diǎn)，在極短的時間內(nèi)，網(wǎng)絡(luò)中所有的節(jié)點(diǎn)都被更新，在同樣的地址有同樣的數(shù)據(jù)。本地處理器可以隨時訪問內(nèi)存中的數(shù)據(jù)，而不需要以隨時訪問內(nèi)存中的數(shù)據(jù)，而不需要通過網(wǎng)絡(luò)進(jìn)行訪問。由此，每個計(jì)算機(jī)都有新的的內(nèi)存數(shù)據(jù)拷貝。在 4節(jié)點(diǎn)的實(shí)例中，僅需要 2.1us，所有的計(jì)算機(jī)都會收到寫入實(shí)時反射內(nèi)存的數(shù)據(jù)。實(shí)時反射內(nèi)存卡（節(jié)點(diǎn)）由本地內(nèi)存，PCI(或 PCIE,VME)接口，和提供計(jì)算機(jī)訪問和實(shí)時網(wǎng)絡(luò)內(nèi)存網(wǎng)絡(luò)更新的仲裁邏輯組成。實(shí)時反射內(nèi)存卡可以與計(jì)算機(jī)總線連接，安裝在VME,PCI/PCI-X,CPCI,PCIE 和其它標(biāo)準(zhǔn)系統(tǒng)中。這可以使大多部工作站和單板計(jì)算機(jī)通過實(shí)時網(wǎng)絡(luò)內(nèi)存連接而不用考慮與背板接口的互通性。其它串行網(wǎng)絡(luò)連接計(jì)算機(jī)和 PLC 進(jìn)行連接的地方，但它不是所有應(yīng)用的解決方案。實(shí)時反射內(nèi)存在實(shí)時是主要考慮因素的的系統(tǒng)中起到很大的作用。在需要低潛伏期，高速通迅的系統(tǒng)中，實(shí)時反射內(nèi)存提供超高性能硬件和易用性。使用類似實(shí)時反射內(nèi)存的低軟件開銷，高速，硬件驅(qū)動網(wǎng)絡(luò)在整個網(wǎng)絡(luò)和獨(dú)立的網(wǎng)絡(luò)節(jié)點(diǎn)有低的潛伏期，短潛伏時間性能對建立一個仿真的實(shí)時系統(tǒng)是十分重要的。

PCI5565 PCI-5565 PMC5565 VMIC5565 反射內(nèi)存 反射內(nèi)存卡 GE反射內(nèi)存

反射內(nèi)存網(wǎng)中的每個反射內(nèi)存節(jié)點(diǎn)（任何5565反射內(nèi)存卡）以菊花鏈的形式用光纖線互聯(lián)。第一塊卡的發(fā)送必須連接到第二塊卡的接收端，第二塊卡的發(fā)送端連接到第三塊卡的接收端，以此類推，直到再連接到第一塊卡的接收端完成一個完整的環(huán)形連接。也可以將所有節(jié)點(diǎn)連接到一個或多個ACC-5595反射內(nèi)存HUB，每個節(jié)點(diǎn)的接收和發(fā)送都必須連接，如果沒有檢測到光信號或失去同步反射內(nèi)存卡RFM-5565將不會發(fā)送數(shù)據(jù)包（例如光纖線已損壞）。反射內(nèi)存網(wǎng)中每個節(jié)點(diǎn)的節(jié)點(diǎn)號必須一，節(jié)點(diǎn)號通過板上的撥碼開關(guān)S2進(jìn)行設(shè)置，任何兩個節(jié)點(diǎn)不能有設(shè)置成同一個節(jié)點(diǎn)號，每個板卡的節(jié)點(diǎn)號可以在通過NODEID進(jìn)行讀取顯示，節(jié)點(diǎn)號的順序并不重要。

主系統(tǒng)對反射內(nèi)存卡的板載SDRAM的寫操作后，反射內(nèi)內(nèi)卡的硬件檢測電路將自動發(fā)起一個整個反射內(nèi)存網(wǎng)的數(shù)據(jù)傳輸動作。這個寫操作可以是一個簡單的PIO寫或是一個DMA周期。當(dāng)產(chǎn)生一個對SDRAM的寫操作時，RFM-5565反射內(nèi)存卡自動將數(shù)據(jù)和其它相關(guān)的信息寫入到發(fā)送緩沖器中（其它相關(guān)信息包括節(jié)點(diǎn)號，數(shù)據(jù)地址等信息），在發(fā)送緩沖器中，發(fā)送電路檢測數(shù)據(jù)，并且將數(shù)據(jù)變成一個4到64字節(jié)長度可變的數(shù)據(jù)包。通過光纖接口發(fā)送到下一個板卡的接收端口。接收電路檢查數(shù)據(jù)包是否有錯誤，當(dāng)無錯誤發(fā)生時數(shù)據(jù)被接收。接收電路解開數(shù)據(jù)包并且將數(shù)據(jù)存儲到板載的接收緩沖器。在接收緩沖器中，另一個電路將數(shù)據(jù)寫入到本地的SDRAM的和源節(jié)點(diǎn)相同的地址中。同時，該電路將數(shù)據(jù)同時發(fā)送到發(fā)送FIFO中，重復(fù)這個處理過程直到這個數(shù)據(jù)返回到源節(jié)點(diǎn)的接收端，在源節(jié)點(diǎn)中，接收電路檢測到數(shù)據(jù)包的NODEID和源節(jié)點(diǎn)的NODEID相同，因此將數(shù)據(jù)包從網(wǎng)絡(luò)中移除，這樣所有的節(jié)點(diǎn)數(shù)據(jù)都被更新了。所以計(jì)算機(jī)將數(shù)據(jù)寫入其本地網(wǎng)絡(luò)內(nèi)存卡后的，極短時間內(nèi)，網(wǎng)上所有計(jì)算機(jī)都可以訪問這個新數(shù)據(jù)。網(wǎng)絡(luò)內(nèi)存卡使用簡單的讀寫方式，網(wǎng)絡(luò)內(nèi)存網(wǎng)上的數(shù)據(jù)傳輸是純硬件操作，不需要考慮網(wǎng)絡(luò)的通信協(xié)議，軟件上只需要幾行代碼就可完成對網(wǎng)絡(luò)內(nèi)存卡的讀、寫操作，因此它與以太網(wǎng)等其他傳統(tǒng)網(wǎng)絡(luò)相比具有更低的數(shù)據(jù)傳輸延遲、更快的傳輸速度，更簡單靈活的使用操作，可以滿足實(shí)時系統(tǒng)快速反應(yīng)周期的要求，而采用其他網(wǎng)絡(luò)就很難滿足這種要求。

反射內(nèi)存是一種通過局域網(wǎng)在互連的計(jì)算機(jī)間提供高效的數(shù)據(jù)傳輸?shù)募夹g(shù)，強(qiáng)實(shí)時網(wǎng)絡(luò)設(shè)計(jì)人員已經(jīng)越來越多地采用這種技術(shù)。反射內(nèi)存實(shí)時局域網(wǎng)的概念十分簡單，就是設(shè)計(jì)一種網(wǎng)絡(luò)內(nèi)存板，在分布系統(tǒng)中實(shí)現(xiàn)內(nèi)存至內(nèi)存的通信，并且沒有軟件開銷。每臺計(jì)算機(jī)上插一塊反射內(nèi)存卡，卡上帶有雙口內(nèi)存，各層軟件既可以讀也可以寫這些內(nèi)存，當(dāng)數(shù)據(jù)被寫入一臺機(jī)器的反射內(nèi)存卡的內(nèi)存中后，反射內(nèi)存卡自動地通過光纖傳輸?shù)狡渌B在網(wǎng)絡(luò)上的反射內(nèi)存卡的內(nèi)存里，通常，只需幾百納秒的時間延遲，所有的反射內(nèi)存卡上的內(nèi)存將寫入同樣的內(nèi)容。而各成員在訪問數(shù)據(jù)時，只要訪問本地的反射內(nèi)存卡中的內(nèi)存即可

實(shí)時網(wǎng)絡(luò)需求

為提升計(jì)算能力，人們自然地想到研發(fā)性能更強(qiáng)的計(jì)算機(jī)，如天河系列等超級計(jì)算機(jī)應(yīng)運(yùn)而生，但超級計(jì)算機(jī)研制周期長、成本大、應(yīng)用領(lǐng)域受限。為此，提出了集群系統(tǒng)概念，計(jì)算機(jī)集群系統(tǒng)是通過網(wǎng)絡(luò)將PC機(jī)或工作站連接起來組成高性能計(jì)算系統(tǒng)。集群系統(tǒng)將一個任務(wù)并行在多臺計(jì)算機(jī)上執(zhí)行，組成一個實(shí)時系統(tǒng)。

在實(shí)時系統(tǒng)中，系統(tǒng)終結(jié)果的正確性不僅依賴于每一步計(jì)算得到的邏輯結(jié)果，而且依賴于得到結(jié)果的時刻，任務(wù)的完成時間是實(shí)時系統(tǒng)的決定性特征。根據(jù)實(shí)時性能的要求程度，實(shí)時系統(tǒng)可認(rèn)為兩類，即軟實(shí)時和硬實(shí)時系統(tǒng)。對于軟實(shí)時系統(tǒng)，要求事件相應(yīng)是實(shí)時的，但并不是嚴(yán)格強(qiáng)制的。但是，對于硬實(shí)時系統(tǒng)來講，每個任務(wù)都有一個處理截止事件，任務(wù)必須在規(guī)定的時間內(nèi)完成，否則會影響全局任務(wù)的完成，給系統(tǒng)帶來不希望的破壞或者造成不可恢復(fù)的災(zāi)難性后果。目前許多實(shí)時系統(tǒng)都采用硬實(shí)時系統(tǒng)，因?yàn)榫哂懈鼜?qiáng)的實(shí)時性能。實(shí)時系統(tǒng)的應(yīng)用需要實(shí)時互聯(lián)，構(gòu)建實(shí)時網(wǎng)絡(luò)，完成數(shù)據(jù)在網(wǎng)絡(luò)節(jié)點(diǎn)間的實(shí)時傳輸。

實(shí)時網(wǎng)絡(luò)必須具備高速、可靠、可預(yù)測三個特點(diǎn)，重要的是通信的可預(yù)測性，可預(yù)測性是指實(shí)時網(wǎng)絡(luò)中各個節(jié)點(diǎn)之間數(shù)據(jù)傳輸?shù)臅r間是確定的。隨著實(shí)時網(wǎng)絡(luò)應(yīng)用領(lǐng)域的不斷擴(kuò)展，目前已不僅僅局限于計(jì)算機(jī)集群系統(tǒng)的互聯(lián)，而是廣泛地應(yīng)用在各種具有實(shí)時需求的互聯(lián)系統(tǒng)中，如半實(shí)物仿真、高速數(shù)據(jù)獲取等。

實(shí)時網(wǎng)絡(luò)發(fā)展過程中，出現(xiàn)過兩種設(shè)計(jì)思路：基于單一總線的多CPU共享全局內(nèi)存和基于網(wǎng)絡(luò)的分布式內(nèi)存：

相比基于單一總線的多CPU共享全局內(nèi)存系統(tǒng)，在基于網(wǎng)絡(luò)的分布式內(nèi)存體系中每個節(jié)點(diǎn)只訪問自己的本地內(nèi)存，不存在內(nèi)存占有沖突，由于這種方式能夠避免大量的總線仲裁控制時間而成為實(shí)時網(wǎng)絡(luò)的主要設(shè)計(jì)方式。

實(shí)時網(wǎng)絡(luò)要保證高速、可靠、可預(yù)測這三大指標(biāo)，但千兆以太網(wǎng)、光纖通道（Fiber Channel，F(xiàn)C）協(xié)議等，在可預(yù)測性上很差，首先是因?yàn)橥ㄟ^設(shè)備驅(qū)動和軟件網(wǎng)絡(luò)協(xié)議的工作模式增加了額外的不確定開銷，其次是同樣存在共享沖突和碰撞的問題（如千兆以太網(wǎng)GBE中采用CSMA/CD載波監(jiān)聽多路訪問/沖突檢測機(jī)制、FC協(xié)議采用令牌環(huán)仲裁等）進(jìn)一步增加了傳輸時間的不確定性。光纖反射內(nèi)存網(wǎng)很好的解決了上述問題。

反射內(nèi)存網(wǎng)是基于網(wǎng)絡(luò)的分布式內(nèi)存硬實(shí)時網(wǎng)絡(luò)的一種設(shè)計(jì)思想，特點(diǎn)：1）反射內(nèi)存網(wǎng)硬件實(shí)現(xiàn)分布式RAM之間數(shù)據(jù)的傳輸、共享，整個過程具有很低的實(shí)現(xiàn)延遲；2）反射內(nèi)存網(wǎng)依靠硬件實(shí)現(xiàn)、不需要復(fù)雜的網(wǎng)絡(luò)協(xié)議控制，能夠在相同的傳輸帶寬下達(dá)到更高的有效速率；3）反射內(nèi)存網(wǎng)對數(shù)據(jù)的各種處理是通過硬件電路實(shí)現(xiàn)，在固定的時鐘頻率下周期工作，沒有不確定的時間開銷，確保數(shù)據(jù)處理的可預(yù)測性。

反射內(nèi)存卡節(jié)點(diǎn)延時測試方法：

反射內(nèi)存卡數(shù)據(jù)傳輸過程全部由硬件完成，在windows這種非實(shí)時操作系統(tǒng)下和實(shí)時vxworks操作系統(tǒng)下由軟件測試這種節(jié)點(diǎn)延時都是不可取的。

反射內(nèi)存卡、，首先它是一個PCI設(shè)備，提供給用戶128MB的讀寫空間。當(dāng)一節(jié)點(diǎn)有寫入操作時，自動通過光纖鏈路將數(shù)據(jù)同步到所有節(jié)點(diǎn)。這一系列傳輸寫入操作由硬件完成。兩個節(jié)點(diǎn)間更新的延時為100ns級。

Sdram時鐘：66MHZ

FIFO時鐘：106MHZ

下面提供兩種方式來說明或測試節(jié)點(diǎn)傳輸延時：

A：理論計(jì)算方式

Sdram時鐘：66MHZ

FIFO時鐘：106MHZ

在系統(tǒng)無數(shù)據(jù)傳輸過程是由PCI總線通過橋片PCI9656將數(shù)據(jù)寫入到SDRAM中，在寫SDRAM的同時數(shù)據(jù)，地址和控制數(shù)據(jù)打包發(fā)送至發(fā)送FIFO，這個過程是同時進(jìn)行的，SERDES在接收到FIFO數(shù)據(jù)的中斷后，立即將FIFO的數(shù)據(jù)讀取至SERDES完成并串轉(zhuǎn)換并發(fā)送至光纖收發(fā)器，F(xiàn)IFO的讀取時間約只需要4個周期。在較短距離時，光纖傳輸?shù)臅r間約為零，不予考慮。在接收端SERDES將光纖收發(fā)器數(shù)據(jù)進(jìn)行并串轉(zhuǎn)換。送至接收FIFO，接收FIFO中斷本地SDRAM控制器，將數(shù)據(jù)寫入SDRAM，完成本次數(shù)據(jù)的更新過程。SDRAM時鐘周期時間為15NS左右，F(xiàn)IFO時鐘周期為9.4NS，

由此可以計(jì)算出理論時間 15*21+9.4*10≈405ns。

B：硬件觸發(fā)方式

由于光纖收發(fā)器數(shù)據(jù)傳輸?shù)目焖偬匦?，由軟件來來測試時間誤差較大，本方法對兩個節(jié)點(diǎn)上的數(shù)據(jù)信號進(jìn)行采集并測量延時。測試探頭分別測試節(jié)點(diǎn)A的SDRAM和節(jié)點(diǎn)B的SDRAM信號，發(fā)送特征數(shù)據(jù)，并在B節(jié)點(diǎn)等待觸發(fā)信號。由示波器看到信號延時。觸發(fā)后在節(jié)點(diǎn)B用軟件觀察數(shù)據(jù)是否更新到節(jié)點(diǎn)B，改變特征數(shù)據(jù)及觸發(fā)條件，可重復(fù)數(shù)次測特征數(shù)據(jù)與SDRAM控制信號?？梢杂涗浹訒r約得出延時大小。

2.網(wǎng)絡(luò)內(nèi)存卡帶寬測試：

網(wǎng)絡(luò)內(nèi)存卡帶寬測試可采用本公司提供的軟件進(jìn)行測試或采用RFM2G下的命令行工具測試不同數(shù)據(jù)大小包的傳輸速度。

審核編輯：湯梓紅