Mistral中杯代碼能力完勝GPT-4，成本暴降2/3

小模型的風潮，最近愈來愈盛，Mistral和微軟分別有所動作。而網(wǎng)友實測發(fā)現(xiàn)，Mistral-medium的代碼能力竟然完勝了GPT-4，而所花成本還不到三分之一。

最近，「小語言模型」忽然成為熱點。

本周一，剛剛完成4.15億美元融資的法國AI初創(chuàng)公司Mistral，發(fā)布了Mixtral 8x7B模型。

這個開源模型盡管尺寸不大，小到足以在一臺內(nèi)存100GB以上的電腦上運行，然而在某些基準測試中卻能和GPT-3.5打平，因此迅速在開發(fā)者中贏得了一片稱贊。

之所以叫Mixtral 8x7B，是因為它結合了為處理特定任務而訓練的各種較小模型，從而提高了運行效率。

這種「稀疏專家混合」模型并不容易實現(xiàn)，據(jù)說OpenAI在今年早些時候因為無法讓MoE模型正常運行，而不得不放棄了模型的開發(fā)。

緊接著，就在第二天，微軟又發(fā)布了全新版本的Phi-2小模型。

跟Mistral的70億參數(shù)比，Phi-2小到可以在手機上跑，只有27億參數(shù)。相比之下，GPT-4的參數(shù)達到了一萬億。

Phi-2在精心挑選的數(shù)據(jù)集上進行了訓練，數(shù)據(jù)集的質(zhì)量足夠高，因此即使手機的計算能力有限，也能確保模型生成準確的結果。

雖然還不清楚微軟或其他軟件制造商將如何使用小型模型，但最明顯的好處，就是降低了大規(guī)模運行AI應用的成本，并且極大地拓寬了生成式AI技術的應用范圍。

這是一件大事。

Mistral-medium代碼生成完勝GPT-4

最近，Mistral-medium已經(jīng)開放內(nèi)測。

有博主對比了開源的Mistral-medium和GPT-4的代碼生成能力，結果顯示，Mistral-medium比GPT-4的代碼能力更強，然而成本卻只需GPT-4的3成！

總價來說就是：

1）Mistral會始終完成工作，完成度很高；

2）不會在冗長的解釋性輸出上浪費token；

3）提供的建議非常具體。

第一題，「編寫用于生成斐波那契素數(shù)的PyTorch數(shù)據(jù)集的cuda優(yōu)化代碼」。

Mistral-Medium生成的代碼嚴肅、完整。

而GPT-4生成的代碼，就差強人意了。

浪費了很多token，卻沒有輸出有用的信息。

然后，GPT-4只給出了骨架代碼，并沒有具體的相關代碼。

第二道題：「編寫高效的Python代碼，將大約10億個大型Apache HTTP訪問文件攝取到 SqlLite數(shù)據(jù)庫中，并使用它來生成對sales.html和product.html的訪問直方圖」。

Mistral的輸出非常精彩，雖然log不是CSV格式的，但修改起來很容易。

GPT-4依舊拉跨。

此前，這位博主測試過多個代碼生成模型，GPT-4一直穩(wěn)居第一。

而現(xiàn)在，把它拉下寶座的強勁對手Mistral-medium終于出現(xiàn)了。

雖然只發(fā)布了兩個例子，但博主測試了多個問題，結果都差不多。

他建議：鑒于Mistral-medium在代碼生成質(zhì)量上有更好的體驗，應該把它整合到各地的代碼copilot中。

有人按照每1000token算出了輸入和輸出的成本，發(fā)現(xiàn)Mistral-medium比起GPT-4直接降低了70%！

的確，節(jié)省了70%的token費用，可不是一件小事。甚至還可以通過不冗長的輸出，來進一步節(jié)省成本。