AI編譯器：ChatGpt和Claude有何區(qū)別

Claude在MLIR代碼分析上完全超越了ChatGPT并表現(xiàn)十分驚艷，請閱讀全文或者自己注冊感受它的強大。

0x0. 前言

這里將以oneflow IR部分中的一個Codegen任務(wù)（目標(biāo)是在mlir codegen中支持oneflow stream，用oneflow stream替換pass中自己生成的stream，PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149）為例，來對比一下chatgpt和claude對mlir的理解能力。claude是Anthropic公司推出的類似于chatgpt的聊天機器人，這家公司是OpenAI的最大競爭對手之一，因為創(chuàng)辦這家公司的人也是OpenAI的前員工。本次使用的chatgpt可以在這個 https://chatbot.theb.ai/#/chat/1002 訪問。然后Claude是參考這個issue: https://www.zhihu.com/question/594115372/answer/2988759047 將其直接添加到slack里進行對話。

0x1. PR簡介

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

這個PR實現(xiàn)了3個Pass (定義在 OneFlowPasses.td)，也就是：

def?EliminateAllocOpsPass?:?Pass<"eliminate-alloc-ops",?"ModuleOp">?{
??let?summary?=?"";
??let?constructor?=?"mlir::createEliminateAllocOpsPass()";
??let?dependentDialects?=?["pdl_interp::PDLInterpDialect",?"pdl::PDLDialect"];
}

def?AppendOneFlowStreamPass?:?Pass<"append-ofstream",?"ModuleOp">?{
??let?summary?=?"append?oneflow?stream?to?gpu?function?arguments";
??let?constructor?=?"mlir::createAppendOneFlowStreamPass()";
}

def?MgpuToOneFlowStreamPass?:?Pass<"mgpu-to-ofstream",?"ModuleOp">?{
??let?summary?=?"convert?mlir?abi?about?mgpu?to?oneflow?stream,?this?pass?should?be?invoked?after?append-ofstream?pass";
??let?constructor?=?"mlir::createMgpuToOneFlowStreamPass()";
}

EliminateAllocOpsPass用來消除IR中的無效memref.alloc指令，AppendOneFlowStreamPass給GPU相關(guān)的函數(shù)添加GPU啟動kernel需要的stream參數(shù)，MgpuToOneFlowStreamPass發(fā)生在AppendOneFlowStreamPass執(zhí)行之后(它生成了stream參數(shù))并把mgpu相關(guān)的stream abi替換為oneflow stream abi。

我們分別使用newbing和claude來讓它們分析一下這幾行OneFlowPasses.td中定義的Pass意圖：

newbing：

在這里插入圖片描述

newbing直接看不懂，其實我感覺claude也應(yīng)該看不懂吧，抱著懷疑的態(tài)度問一下。

太瘋狂了，claude不僅讀懂了td文件的代碼，甚至為我們列出了這個代碼涉及到的MLIR概念。感覺是訓(xùn)練數(shù)據(jù)考慮了MLIR相關(guān)的預(yù)料？接下來我們再對比下C++實現(xiàn)的Pass代碼。

0x2. 對比具體實現(xiàn)

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

0x2.1 EliminateAllocOpsPass

EliminateAllocOpsPass使用MLIR提供的PDL語言來完成Pattern的匹配和重寫，具體實現(xiàn)在 oneflow/ir/lib/OneFlow/PDLL/AllocEliminationPatterns.pdll ：

#include?"OneFlow/OneFlowOps.td"

Constraint?IsFuncArguments(value:?Value)?[{
??return?success(llvm::dyn_cast(value));
}];

Pattern?{
??let?alloc?=?op();
??let?copy?=?op(alloc.0,?arg:?IsFuncArguments);

??rewrite?alloc?with?{
????erase?copy;
????replace?alloc?with?arg;
??};
}

接下來，我們分別對比一下newbing和chatgpt對它的分析結(jié)果。

在這里插入圖片描述

newbing并不能解析出這段代碼是MLIR的PDL語言，當(dāng)然也無法理解代碼內(nèi)容。我們可以再使用Claude試試。

在這里插入圖片描述

在這里插入圖片描述

個人感覺這個解釋是非常強大且精準的，Claude的答案非常驚艷。

0x2.2 AppendOneFlowStreamPass

接下來我們看一下AppendOneFlowStreamPass的實現(xiàn)，這個實現(xiàn)是在oneflow/ir/lib/OneFlow/Transform/OneFlowStream.cpp這個文件，具體代碼如下：

struct?AppendOneFlowStreamPattern?final?:?public?OpRewritePattern?{
?public:
??explicit?AppendOneFlowStreamPattern(mlir::MLIRContext*?context)
??????:?OpRewritePattern(context,?/*benefit=*/0)?{}
??mlir::LogicalResult?matchAndRewrite(func::FuncOp?op,
??????????????????????????????????????mlir::PatternRewriter&?rewriter)?const?override?{
????auto?ptr_type?=?LLVM::get(rewriter.getContext(),?8));
????if?(llvm::dyn_cast(op.getFunctionType().getInputs().back()))
??????return?success();

????llvm::SmallVector?new_operand_type;
????for?(auto?type?:?op.getFunctionType().getInputs())?{?new_operand_type.push_back(type);?}
????new_operand_type.push_back(ptr_type);
????auto?function_type?=
????????rewriter.getFunctionType(new_operand_type,?op.getFunctionType().getResults());

????auto?func?=?rewriter.create(op.getLoc(),?op.getName(),?function_type);
????for?(auto?pair?:?op->getDialectAttrs())?{?func->setAttr(pair.getName(),?pair.getValue());?}
????op.getBody().addArgument(ptr_type,?func->getLoc());
????IRMapping?bvm;
????op.getRegion().cloneInto(&func.getRegion(),?bvm);
????rewriter.eraseOp(op);
????return?success();
??}
};

c++代碼newbing（chatgpt）按道理可以看懂了，我們讓它分析一下：

在這里插入圖片描述

直接問chatgpt，它還是不懂這段代碼。我手動提示了下它說，這段代碼定義了一個mlir pattern，然后它先是重復(fù)我的話給出了一段回答。然后接下來就是胡說八道了，在這個例子中表現(xiàn)很差。接下來我們拷問一下Claude：

我們繼續(xù)問一下c++代碼中的一些細節(jié)：

非常強大，給出的解釋大多比較精準，并且似乎Claude真的完全理解了這段代碼的邏輯。我們需要注意的是，這段代碼是我同事今天才寫的，模型的泛化性真的很好。

MgpuToOneFlowStreamPass

我們最后再分析下MgpuToOneFlowStreamPass的實現(xiàn)。

struct?MgpuToOneFlowStreamPattern?final?:?public?OpRewritePattern?{
?public:
??explicit?MgpuToOneFlowStreamPattern(mlir::MLIRContext*?context)
??????:?OpRewritePattern(context,?/*benefit=*/0)?{}
??mlir::LogicalResult?matchAndRewrite(LLVM::CallOp?op,
??????????????????????????????????????mlir::PatternRewriter&?rewriter)?const?override?{
????auto?ptr_type?=?LLVM::get(rewriter.getContext(),?8));
????auto?func?=?op->getParentOfType();
????auto?callee?=?op.getCallee();
????if?(!func?||?!callee)?return?failure();
????Value?stream?=?func.getArguments().back();
????if?(stream.getType()?!=?ptr_type)?{
??????LOG(ERROR)?<,
???????????????????????std::function>>
????????oneflow_abi?=?{
????????????{"mgpuStreamCreate",
?????????????{[](LLVM::CallOp&?op,?Value&?stream)?{?return?true;?},
??????????????[](mlir::PatternRewriter&?rewriter,?LLVM::CallOp&?op,?Value&?stream)?{
????????????????rewriter.replaceOp(op,?{stream});
??????????????}}},
????????????{"mgpuLaunchKernel",
?????????????{[](LLVM::CallOp&?op,?Value&?stream)?{
????????????????unsigned?idx?=?op->getNumOperands();
????????????????return?op.getOperand(idx?-?3)?!=?stream;
??????????????},
??????????????[](mlir::PatternRewriter&?rewriter,?LLVM::CallOp&?op,?Value&?stream)?{
????????????????unsigned?idx?=?op->getNumOperands();
????????????????auto?target?=?op.getOperand(idx?-?3).getDefiningOp();
????????????????rewriter.replaceOp(target,?{stream});
??????????????}}},
????????????{"mgpuStreamSynchronize",
?????????????{[](LLVM::CallOp&?op,?Value&?stream)?{?return?true;?},
??????????????[](mlir::PatternRewriter&?rewriter,?LLVM::CallOp&?op,?Value&?stream)?{
????????????????rewriter.eraseOp(op);
??????????????}}},
????????????{"mgpuStreamDestroy",
?????????????{[](LLVM::CallOp&?op,?Value&?stream)?{?return?true;?},
??????????????[](mlir::PatternRewriter&?rewriter,?LLVM::CallOp&?op,?Value&?stream)?{
????????????????rewriter.eraseOp(op);
??????????????}}},
????????};
????auto?out?=?oneflow_abi.find(callee.value().str());
????if?(out?!=?oneflow_abi.end()?&&?out->getSecond().first(op,?stream))?{
??????out->getSecond().second(rewriter,?op,?stream);
????}
????return?success();
??}
};

還是先讓chatgpt分析下：

在這里插入圖片描述

回答還是比較模棱兩可，并且可以確定的事情是chatgpt完全沒有理解這段代碼。

接下來還是使用Claude來測試下：

在這里插入圖片描述

這個地方讓我震驚的點是，它不僅理解了這段代碼，而且知道在MLIR里面這段代碼只是一個Pattern規(guī)則，如果要應(yīng)用這個規(guī)則需要在MLIR里面再構(gòu)建一個Pass。最后我們再讓Claude給我們一些Review意見：

在這里插入圖片描述

這里的第4點提示讓我感到有些疑惑，我還請教了下同事，順便讓同事補充一下注釋。

在這里插入圖片描述

整體來說，在閱讀MLIR代碼方面，Claude已經(jīng)相當(dāng)智能，全面領(lǐng)先Newbing（Chatgpt），感覺以后可以日常用Claude來輔助Review IR相關(guān)代碼。

0x3. 總結(jié)

我這里以MLIR的一個任務(wù)對比了一下ChatGpt和Claude，我感受到了Calude的強大之處。雖然暫時還沒有評測過別的任務(wù)，但我已經(jīng)被Calude表現(xiàn)出來的代碼分析能力所震撼。我們甚至可以將Claude作為一個入門AI編譯器的入門工具

編輯：黃飛

?