讓機器學(xué)習(xí)更容易的14種自由開源軟件工具

通過一些易于實現(xiàn)的多樣化庫和框架能夠充分挖掘機器學(xué)習(xí)的預(yù)測能力。垃圾郵件過濾，面部識別，推薦引擎等等。當你要對大型數(shù)據(jù)集執(zhí)行預(yù)測分析或模式識別時，機器學(xué)習(xí)都是必經(jīng)之路。

自由開源軟件的激增，讓機器學(xué)習(xí)更容易在單機上大規(guī)模地通過大多數(shù)流行的編程語言實現(xiàn)。以下這些開源工具包括了適用于Python，R，C ++，Java，Scala，Clojure，JavaScript和Go之類的庫。

Apache Mahout

Apache Mahout提供了一種構(gòu)建用于托管機器學(xué)習(xí)應(yīng)用程序環(huán)境的方法，該環(huán)境可以快速有效地擴展來滿足需求。

Mahout主要與Apache Spark一起工作，最初是為了運行分布式應(yīng)用程序而設(shè)計，可以與Hadoop一起使用，但現(xiàn)在已擴展為與Flink和H2O等其他分布式后端一起使用。

Mahout在Scala中使用了一種域特定語言。版本0.14是對該項目做了主要內(nèi)部重構(gòu)，默認基于Apache Spark 2.4.3。

Compose

Compose針對機器學(xué)習(xí)模型的一個常見問題，即標記原始數(shù)據(jù)，這可能是一個緩慢而乏味的過程，但沒有它，機器學(xué)習(xí)模型就無法提供有用的結(jié)果。

通過Compose，用戶可以使用Python為數(shù)據(jù)編寫一組標記功能，因此可以通過編程方式進行標記。可以在數(shù)據(jù)上設(shè)置各種變換和閾值，以簡化標記過程。

Core ML Tools

Apple的Core ML框架能夠讓用戶將機器學(xué)習(xí)模型集成到應(yīng)用程序中，但使用其自己獨特的學(xué)習(xí)模型格式。但幸運的是，不必以Core ML格式預(yù)先訓(xùn)練模型就能使用它們;可以使用Core ML Tools將幾乎所有常用的機器學(xué)習(xí)框架中的模型轉(zhuǎn)換為Core ML。

Core ML Tools作為Python包運行，因此與大量的Python機器學(xué)習(xí)庫和工具集成在一起。TensorFlow，PyTorch，Keras，Caffe，ONNX，Scikit-learn，LibSVM和XGBoost的模型都可以轉(zhuǎn)換。神經(jīng)網(wǎng)絡(luò)模型還可以通過使用訓(xùn)練后量化來優(yōu)化大小。

Cortex

Cortex提供了一種方便的方法來使用Python和TensorFlow，PyTorch，Scikit-learn和其他模型提供來自機器學(xué)習(xí)模型的預(yù)測服務(wù)。大多數(shù)Cortex軟件包僅包含幾個文件，即你的核心Python邏輯，描述要使用的模型，以及要分配的計算資源類型的cortex.yaml文件，以及用于安裝任何所需Python要求的require.txt文件。

整個程序包作為Docker容器部署到AWS或另一個與Docker兼容的托管系統(tǒng)。計算資源的分配方式與在Kubernetes中使用的定義相呼應(yīng)，因此你可以使用GPU或Amazon Inferentia ASIC加快服務(wù)速度。

Featuretools

特征工程或特征創(chuàng)建涉及獲取用于訓(xùn)練機器學(xué)習(xí)模型的數(shù)據(jù)，并通常手動生成數(shù)據(jù)的經(jīng)過轉(zhuǎn)換和聚合的版本，這對于訓(xùn)練模型更為有用。

Featuretools為用戶提供了通過綜合數(shù)據(jù)幀中的數(shù)據(jù)而構(gòu)建的高級Python對象來執(zhí)行此操作的功能，并且可以針對從一個或多個數(shù)據(jù)幀中提取的數(shù)據(jù)執(zhí)行此操作。Featuretools還為綜合操作提供了通用原語（例如，time_since_previous提供帶時間戳數(shù)據(jù)實例之間的時間間隔），因此用戶不必自己滾動這些原語。

GoLearn

GoLearn是針對Google Go語言的機器學(xué)習(xí)庫，其創(chuàng)建的目標是簡化和可定制性。簡單之處在于在庫中加載和處理數(shù)據(jù)的方式，該方式在SciPy和R之后進行了模式化?？啥ㄖ菩栽谟谌绾卧趹?yīng)用程序中輕松擴展某些數(shù)據(jù)結(jié)構(gòu)。

Gradio

構(gòu)建機器學(xué)習(xí)應(yīng)用程序時的一個常見挑戰(zhàn)是為模型訓(xùn)練和預(yù)測服務(wù)機制構(gòu)建可靠且易于定制的UI。Gradio提供了用于創(chuàng)建基于Web的UI的工具，這些工具讓用戶可以與模型進行實時交互。

其中包括幾個示例項目，例如Inception V3圖像分類器的輸入接口或MNIST手寫識別模型，讓用戶對如何在自己的項目中使用Gradio有所了解。

H2O

H2O目前正在進行第三次大修訂，它為內(nèi)存中的機器學(xué)習(xí)提供了一個完整的平臺，從訓(xùn)練到服務(wù)預(yù)測。H2O的算法適合于業(yè)務(wù)處理——比如欺詐或趨勢預(yù)測——而不是圖像分析。H2O可以獨立地與HDFS store交互，在YARN之上，在MapReduce中，或者直接在Amazon EC2實例中。

Hadoop專家可以使用Java與H2O進行交互，但是該框架還提供了針對Python，R和Scala的綁定，從而讓用戶也可以與這些平臺上可用的所有庫進行交互。還可以使用REST調(diào)用，將H2O集成到大多數(shù)管道中。

Oryx

由Cloudera Hadoop發(fā)行版的創(chuàng)建者提供的Oryx，使用Apache Spark和Apache Kafka在實時數(shù)據(jù)上運行機器學(xué)習(xí)模型。Oryx提供了一種構(gòu)建項目的方式，這些項目需要立即做出決定，例如推薦引擎或?qū)崟r異常檢測，這些都可以通過新數(shù)據(jù)和歷史數(shù)據(jù)獲得通知。

版本2.0對該項目幾乎進行了完全重新設(shè)計，其組件以lambda架構(gòu)松散耦合?？梢噪S時添加新算法和這些算法的新抽象（例如，用于超參數(shù)選擇）。

PyTorch Lightning

當功能強大的項目流行時，通常會輔以易于使用的第三方項目。PyTorch Lightning為PyTorch提供了組織包裝，因此用戶可以專注于重要的代碼，而不必為每個項目編寫樣板。

PyTorch Lightning使用基于類的結(jié)構(gòu)，因此PyTorch項目的每個常見步驟都封裝在類方法中。訓(xùn)練和驗證循環(huán)是半自動化的，因此你只需要為每個步驟提供邏輯即可。在多個GPU或不同的硬件組合中設(shè)置訓(xùn)練結(jié)果也更加容易，因為這樣做的指令和對象引用是集中的。

Scikit-learn

由于Python易于采用且?guī)缀踹m用于所有應(yīng)用程序的庫的廣泛性，它已成為數(shù)學(xué)科學(xué)和統(tǒng)計學(xué)的首選編程語言。Scikit-learn通過在幾個現(xiàn)有的Python軟件包（NumPy，SciPy和Matplotlib）之上構(gòu)建數(shù)學(xué)和科學(xué)工作來利用這一廣度。

生成的庫可用于交互式“工作臺”應(yīng)用程序或嵌入到其他軟件中并重新使用。該套件可通過BSD許可獲得，因此它是完全開放的，并且可重復(fù)使用。

Shogun

Shogun是這個工具中時間最長的項目之一。它創(chuàng)建于1999年，用C ++編寫，但是可以與Java，Python，C#，Ruby，R，Lua，Octave和Matlab一起使用。最新的主要版本6.0.0增加了對微軟Windows和Scala語言的本機支持。

雖然廣受歡迎，范圍廣泛，但Shogun也有競爭對手。另一個基于c++的機器學(xué)習(xí)庫Mlpack是在2011年才出現(xiàn)的，但是它聲稱比其他庫更快、更容易使用（通過一個更完整的API集）。

Spark MLlib

MLlib是Apache Spark和Apache Hadoop的機器學(xué)習(xí)庫，擁有許多常用算法和有用的數(shù)據(jù)類型，能夠快速，大規(guī)模地運行。盡管Java是在MLlib中工作的主要語言，但是Python用戶可以將MLlib與NumPy庫連接，Scala用戶可以針對MLlib編寫代碼，而R用戶可以從1.5版開始插入Spark。

MLlib的版本3專注于使用Spark的DataFrame API（與較早的RDD API相對），并提供了許多新的分類和評估功能。

另一個項目，MLbase，建立在MLlib的頂部，以使其更容易得出結(jié)果。用戶無需編寫代碼，而是使用SQL的聲明性語言進行查詢。

Weka

由Waikato大學(xué)的機器學(xué)習(xí)小組創(chuàng)建的Weka被稱為“無需編程的機器學(xué)習(xí)”。這是一個GUI工作臺，數(shù)據(jù)科學(xué)家無需編寫代碼即可組裝機器學(xué)習(xí)管道，訓(xùn)練模型和運行預(yù)測。

Weka直接與R，Apache Spark和Python合作，后者通過直接包裝或通過通用數(shù)值庫（如NumPy，Pandas，SciPy和Scikit-learn）的接口進行工作。Weka的一大優(yōu)勢在于，它為工作的各個方面提供了可瀏覽的友好界面，包括包裝管理，預(yù)處理，分類和可視化。
責編AJX