Erlang與java的內(nèi)存架構(gòu)比較_erlang與java構(gòu)建的節(jié)點(diǎn)通訊

Erlang與java的內(nèi)存架構(gòu)比較

Erlang是一門函數(shù)語言，通過異步消息傳遞來處理并發(fā)，使用語義拷貝傳遞消息。即使Erlang分布在多個(gè)虛擬機(jī)上，運(yùn)行在多臺機(jī)器上，對程序員來說也是透明的。

在某種意義上Erlang和java是相似的，他們都通過虛擬機(jī)來獲得可移植性，都采用獨(dú)立于操作系統(tǒng)的字節(jié)碼技術(shù)，都使用垃圾回收機(jī)制來解脫程序員自己管理內(nèi)存的麻煩。

Erlang中線程的開銷是非常低的。我相信在Erlang中，一個(gè)線程只需要大約512字節(jié)的內(nèi)存。而java線程則需要512K字節(jié)的內(nèi)存，大約是Erlang的一千倍多。對程序員來說，這意味著創(chuàng)建一個(gè)線程非常輕便。典型的Erlang系統(tǒng)中可以有上萬的線程。所以Erlang不需要做線程池、executors等等，那些我們寫java多線程要用到的東西。

在我過去很少涉獵的語言中，我發(fā)現(xiàn)Erlang既保持了函數(shù)語言的特性，又能夠做出真正的應(yīng)用來。Erlang健壯的分布式錯誤處理非常驚艷，讓編寫任何一種網(wǎng)絡(luò)服務(wù)變得相當(dāng)容易。這種狀態(tài)機(jī)的處理方式使web服務(wù)在出錯時(shí)，處理回滾非常自然。

不過這篇文章不打算討論Erlang的編程模型，這里主要想討論Erlang虛擬機(jī)的內(nèi)存管理方式。

目前java虛擬機(jī)采用了一種被Erlang程序員稱作“共享堆”的機(jī)制，虛擬機(jī)維護(hù)了一個(gè)可以被所有線程共享和使用的大堆（堆和棧什么區(qū)別）。這個(gè)堆占用了虛擬機(jī)的大部分內(nèi)存。在這個(gè)大堆里，也包括了虛擬機(jī)的一些特殊數(shù)據(jù)區(qū)域，例如代碼緩存和永久區(qū)。這些特殊數(shù)據(jù)區(qū)也是被所有線程共享的。

相反的，Erlang使用一種私有堆的技術(shù)。每個(gè)線程都有一個(gè)只屬于自己的小堆，里面包含了這個(gè)線程用到的所有數(shù)據(jù)以及線程棧。這個(gè)堆是在線程被創(chuàng)建的時(shí)候分配的。當(dāng)這個(gè)線程結(jié)束了，它的私有堆內(nèi)存就被虛擬機(jī)收回了。

除了私有堆，Erlang中所有的線程都能訪問兩個(gè)特殊的堆，二進(jìn)制堆和消息堆。二進(jìn)制堆被分配了大量的數(shù)據(jù)塊，以便線程線間共享數(shù)據(jù)。例如文件輸入或是網(wǎng)絡(luò)緩沖區(qū)。

消息堆里放的是消息（messages）數(shù)據(jù)。這些消息也可以在進(jìn)程間共享。線程之間傳遞消息的方式，是從發(fā)送線程復(fù)制一個(gè)指針到接收線程。這些消息數(shù)據(jù)就被存放在消息堆里。

我對Erlang的內(nèi)存模型印象深刻。被它比java更具擴(kuò)展性的內(nèi)存模型給震撼了。而且這門語言的語法和他的內(nèi)存模型結(jié)合的非常漂亮。

因?yàn)橛兴接卸?，Erlang線程對自己的數(shù)據(jù)檢查不需要采用任何形式的鎖。并且私有堆也避免了破壞性的寫，這樣也就沒有了對共享數(shù)據(jù)加鎖的需求。

最新版的Erlang又往前走了一步，采用了多個(gè)調(diào)度器（scheduler）。每個(gè)物理處理器有一個(gè)調(diào)度器可以保證更精確。而且這也消除了另一種需要檢查的鎖。僅當(dāng)一個(gè)調(diào)度器無用了，才會用到鎖，以便從其他處理器上獲得一個(gè)新的調(diào)度器。

關(guān)于java，我們?nèi)匀挥泻芏鄸|西要去學(xué)習(xí)。也是就說，java里還是有些好東西的，也正是因?yàn)檫@點(diǎn)，我才沒有使用大型的Erlang系統(tǒng)。

當(dāng)Erlang線程積累了大量數(shù)據(jù)的時(shí)候，Erlang虛擬機(jī)會重新分配空間，擴(kuò)大私有堆。然而，這個(gè)重新分配的算法會導(dǎo)致堆空間急速增長。在高負(fù)載下，我們看到Erlang虛擬機(jī)在幾分鐘內(nèi)吃掉了16G的內(nèi)存！每次發(fā)布版本都要小心的做負(fù)載測試，看看它的內(nèi)存需求是否能被滿足。

Erlang虛擬機(jī)沒有抑制內(nèi)存增長的機(jī)制。虛擬機(jī)不斷的分配內(nèi)存，迫使系統(tǒng)不得不使用交換區(qū)（swap），直到虛擬內(nèi)存被耗盡。這可能會導(dǎo)致用KVM控制臺訪問系統(tǒng)變得很遲鈍。使我們不得不重啟系統(tǒng)，才能夠再次訪問它。

基于隊(duì)列的編程模型讓Erlang編程變得非常愉快，但這也是Elang系統(tǒng)設(shè)計(jì)上的致命缺陷。Erlang的每一個(gè)隊(duì)列都是無界的。虛擬機(jī)不會拋出異常，也不會限制一個(gè)隊(duì)列的消息數(shù)量。有時(shí)候會出現(xiàn)，一個(gè)進(jìn)程可能由于bug而停止工作，或者進(jìn)程消費(fèi)消息的速度跟不上消息發(fā)送速度的情況。在這種情況下，Erlang還是允許這個(gè)進(jìn)程的消息隊(duì)列不斷的增長，直到虛擬機(jī)被殺掉，或是這個(gè)機(jī)器被鎖死了。

這意味著當(dāng)你在生產(chǎn)環(huán)境運(yùn)行Erlang虛擬機(jī)時(shí)，要配備一個(gè)系統(tǒng)級的檢測，以便在Erlang內(nèi)存使用量飛漲的時(shí)候能夠殺死進(jìn)程。所以，運(yùn)行大型Erlang應(yīng)用的機(jī)器需要能被遠(yuǎn)程訪問和操作（是不是意味著需要經(jīng)常上去處理問題？？）。

總的來說，我認(rèn)為在Erlang的工具箱里，“私有堆”是一個(gè)非常強(qiáng)大的工具。它避免了實(shí)時(shí)系統(tǒng)里的鎖機(jī)制，這個(gè)意味著它將比java更具擴(kuò)展性。而java的硬性限制內(nèi)存的模型，則能在你的系統(tǒng)壓力劇增，或是遭受DDOS攻擊的時(shí)候保持穩(wěn)定。

有一個(gè)命令行，可以將Erlang的虛擬模型從“私有堆”改成“共享堆”。

Erlang和java，他們很難進(jìn)行比較，因?yàn)閷?a target="_blank">開發(fā)者來說，他們的共同點(diǎn)很少。一般情況下，很多人在大多數(shù)系統(tǒng)里使用java。因?yàn)樗泻芎玫墓ぞ咧С?，而且有大量的lib包可以使用。當(dāng)需要一個(gè)面向信息流的系統(tǒng)時(shí)，大多會使用Erlang。這才是Erlang模型真正放光芒的時(shí)候。

erlang與java構(gòu)建的節(jié)點(diǎn)通訊

我們知道，erlang在開源社區(qū)的活躍度遠(yuǎn)遠(yuǎn)不及java社區(qū)，在java社區(qū)中有很多優(yōu)秀的開源框架，比如struts、hibernate、 spring、hadoop、hbase等，為了讓erlang和java社區(qū)的眾多開源框架相結(jié)合，讓他們優(yōu)勢互補(bǔ)，可以讓erlang來調(diào)用java寫的中間件。

erlang提供了一個(gè)Jinterface代碼包，java可以和erlang建立節(jié)點(diǎn)通信。通過這種方式，erlang可以將 java構(gòu)建的節(jié)點(diǎn)也當(dāng)作erlang的一個(gè)節(jié)點(diǎn)，java可以接收erlang傳過來的消息，并且處理之后以異步的方式發(fā)送處理結(jié)果。

erlang與java構(gòu)建的節(jié)點(diǎn)通訊

安裝erlang后，可以在安裝目錄找到這個(gè)Jinterface代碼包 OtpErlang.jar，路徑是 erl5.10.3\lib\jinterface-1.5.8\priv\OtpErlang.jar

?

Java的代碼如下：

package erljava;

import com.ericsson.otp.erlang.OtpErlangObject;

import com.ericsson.otp.erlang.OtpErlangPid;

import com.ericsson.otp.erlang.OtpErlangTuple;

import com.ericsson.otp.erlang.OtpMbox;

import com.ericsson.otp.erlang.OtpNode;

public class ErlJavaNode{

public static void main（String［］ args） throws Exception {

String cookie = “123456”;

OtpNode node = new OtpNode（“java_node@127.0.0.1”， cookie）;

OtpMbox mbox = node.createMbox（）;

mbox.registerName（“java_node_name”）;

System.out.println（“java node start”）;

OtpErlangObject o;

OtpErlangTuple msg;

OtpErlangPid from;

while （true） {

try {

o = mbox.receive（）;

System.out.println（“recv：” + o）;

if （o instanceof OtpErlangTuple） {

msg = （OtpErlangTuple） o;

from = （OtpErlangPid） （msg.elementAt（0））;

mbox.send（from， msg.elementAt（1））; // 原消息返回

}

} catch （Exception e） {

System.out.println（“” + e）;

}

}

}

}

erlang給java節(jié)點(diǎn)發(fā)送消息：

C：\>erl -name erl_node@127.0.0.1 -setcookie 123456

Eshell V5.10.3 （abort with ^G）

（erl_node@127.0.0.1）1> {java_node_name，‘java_node@127.0.0.1’} ！ {self（），{a，bc，d}}。

{《0.37.0>，{a，bc，d}}

（erl_node@127.0.0.1）2> flush（）。

Shell got {a，bc，d}

ok

分析erlang與java節(jié)點(diǎn)無法通訊

1、epmd服務(wù)未啟動

先在本機(jī)啟動一個(gè)erlang節(jié)點(diǎn)，沒有的話，如果先執(zhí)行Java代碼系統(tǒng)會拋出異常。原因是所有erlang節(jié)點(diǎn)之間的通訊都要依賴一個(gè)底層的epmd的服務(wù)，這個(gè)模塊的主要功能是提供通過相互通過name來識別機(jī)器的機(jī)制。這個(gè)機(jī)制類似dns功能，先通過一個(gè)名稱服務(wù)中間件，使用name獲取所對應(yīng)的ip地址，然后再利用這個(gè)ip地址建立連接。

另一種方式是手動啟動epmd服務(wù)，在erlang安裝目錄下找到epmd進(jìn)程，執(zhí)行命令 epmd -daemon

2、erlang版本不一致

java使用的OtpErlang包和shell使用的erlang版本不一致，erlang是不允許主版本不同的erlang節(jié)點(diǎn)進(jìn)行連接。

erlang與java節(jié)點(diǎn)通訊的好處

erlang節(jié)點(diǎn)通訊也是依靠socket實(shí)現(xiàn)的，雖然erlang和java可以直接用socket連接，但使用節(jié)點(diǎn)通訊的有很多好處，和erlang節(jié)點(diǎn)通訊一樣，支持erlang所有的數(shù)據(jù)結(jié)構(gòu)，而且還不用定義傳輸協(xié)議，多節(jié)點(diǎn)通訊也會變得復(fù)雜。做成erlang節(jié)點(diǎn)，能極大程度利用到erlang分布式的好處。

java判斷erlang節(jié)點(diǎn)是否連接成功

if （node.ping（“erl_node@127.0.0.1”， 2000）） {

System.out.println（“connect ok”）;

} else {

System.out.println（“connect fail”）;

}

java主動與erlang節(jié)點(diǎn)通訊實(shí)例

前面說到是erlang連接java節(jié)點(diǎn)的情況，現(xiàn)在討論java主動連接erlang節(jié)點(diǎn)的情況。

erlang建立節(jié)點(diǎn)，注冊進(jìn)程名字

C：\>erl -name erl_node@127.0.0.1 -setcookie 123456

Eshell V5.10.3 （abort with ^G）

（erl_node@127.0.0.1）1> register（erl_node_name， self（））。

true

java代碼如下：

package erljava;

import com.ericsson.otp.erlang.OtpConnection;

import com.ericsson.otp.erlang.OtpErlangAtom;

import com.ericsson.otp.erlang.OtpErlangObject;

import com.ericsson.otp.erlang.OtpErlangTuple;

import com.ericsson.otp.erlang.OtpPeer;

import com.ericsson.otp.erlang.OtpSelf;

public class ErlJavaNode {

public static void main（String［］ args） throws Exception {

String cookie = “123456”;

OtpSelf self = new OtpSelf（“java_node@127.0.0.1”， cookie）;

OtpPeer other = new OtpPeer（“erl_node@127.0.0.1”）;

OtpConnection connection = self.connect（other）;

System.out.println（“java node start”）;

if （connection.isConnected（）） {

System.out.println（“connect ok”）;

OtpErlangObject［］ msg = new OtpErlangObject［2］;

msg［0］ = self.pid（）;

msg［1］ = new OtpErlangAtom（“hello， world”）;

OtpErlangTuple tuple = new OtpErlangTuple（msg）;

connection.send（“erl_node_name”， tuple）;

} else {

System.out.println（“connect fail”）;

}

}

}

erlang刷新信箱，就可以看到j(luò)ava發(fā)來的消息：

（erl_node@127.0.0.1）2> flush（）。

Shell got {《6872.1.0>，‘hello， world’}

ok