Claude在MLIR代碼分析上完全超越了ChatGPT并表現(xiàn)十分驚艷，請閱讀全文或者自己注冊感受它的強(qiáng)大。

0x0. 前言

這里將以oneflow IR部分中的一個(gè)Codegen任務(wù)（目標(biāo)是在mlir codegen中支持oneflow stream，用oneflow stream替換pass中自己生成的stream，PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149）為例，來對比一下chatgpt和claude對mlir的理解能力。claude是Anthropic公司推出的類似于chatgpt的聊天機(jī)器人，這家公司是OpenAI的最大競爭對手之一，因?yàn)閯?chuàng)辦這家公司的人也是OpenAI的前員工。本次使用的chatgpt可以在這個(gè) https://chatbot.theb.ai/#/chat/1002 訪問。然后Claude是參考這個(gè)issue: https://www.zhihu.com/question/594115372/answer/2988759047 將其直接添加到slack里進(jìn)行對話。

0x1. PR簡介

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

這個(gè)PR實(shí)現(xiàn)了3個(gè)Pass (定義在 OneFlowPasses.td)，也就是：

defEliminateAllocOpsPass:Pass<"eliminate-alloc-ops","ModuleOp">{
letsummary="";
letconstructor="mlir::createEliminateAllocOpsPass()";
letdependentDialects=["pdl_interp::PDLInterpDialect","pdl::PDLDialect"];
}

defAppendOneFlowStreamPass:Pass<"append-ofstream","ModuleOp">{
letsummary="appendoneflowstreamtogpufunctionarguments";
letconstructor="mlir::createAppendOneFlowStreamPass()";
}

defMgpuToOneFlowStreamPass:Pass<"mgpu-to-ofstream","ModuleOp">{
letsummary="convertmlirabiaboutmgputooneflowstream,thispassshouldbeinvokedafterappend-ofstreampass";
letconstructor="mlir::createMgpuToOneFlowStreamPass()";
}

EliminateAllocOpsPass用來消除IR中的無效memref.alloc指令，AppendOneFlowStreamPass給GPU相關(guān)的函數(shù)添加GPU啟動(dòng)kernel需要的stream參數(shù)，MgpuToOneFlowStreamPass發(fā)生在AppendOneFlowStreamPass執(zhí)行之后(它生成了stream參數(shù))并把mgpu相關(guān)的stream abi替換為oneflow stream abi。

我們分別使用newbing和claude來讓它們分析一下這幾行OneFlowPasses.td中定義的Pass意圖：

newbing：

newbing直接看不懂，其實(shí)我感覺claude也應(yīng)該看不懂吧，抱著懷疑的態(tài)度問一下。

太瘋狂了，claude不僅讀懂了td文件的代碼，甚至為我們列出了這個(gè)代碼涉及到的MLIR概念。感覺是訓(xùn)練數(shù)據(jù)考慮了MLIR相關(guān)的預(yù)料？接下來我們再對比下C++實(shí)現(xiàn)的Pass代碼。

0x2. 對比具體實(shí)現(xiàn)

PR鏈接為：https://github.com/Oneflow-Inc/oneflow/pull/10149

0x2.1 EliminateAllocOpsPass

EliminateAllocOpsPass使用MLIR提供的PDL語言來完成Pattern的匹配和重寫，具體實(shí)現(xiàn)在 oneflow/ir/lib/OneFlow/PDLL/AllocEliminationPatterns.pdll ：

#include"OneFlow/OneFlowOps.td"

ConstraintIsFuncArguments(value:Value)[{
returnsuccess(llvm::dyn_cast(value));
}];

Pattern{
letalloc=op();
letcopy=op(alloc.0,arg:IsFuncArguments);

rewriteallocwith{
erasecopy;
replaceallocwitharg;
};
}

接下來，我們分別對比一下newbing和chatgpt對它的分析結(jié)果。

newbing并不能解析出這段代碼是MLIR的PDL語言，當(dāng)然也無法理解代碼內(nèi)容。我們可以再使用Claude試試。

個(gè)人感覺這個(gè)解釋是非常強(qiáng)大且精準(zhǔn)的，Claude的答案非常驚艷。

0x2.2 AppendOneFlowStreamPass

接下來我們看一下AppendOneFlowStreamPass的實(shí)現(xiàn)，這個(gè)實(shí)現(xiàn)是在oneflow/ir/lib/OneFlow/Transform/OneFlowStream.cpp這個(gè)文件，具體代碼如下：

structAppendOneFlowStreamPatternfinal:publicOpRewritePattern{
public:
explicitAppendOneFlowStreamPattern(mlir::MLIRContext*context)
:OpRewritePattern(context,/*benefit=*/0){}
mlir::LogicalResultmatchAndRewrite(func::FuncOpop,
mlir::PatternRewriter&rewriter)constoverride{
autoptr_type=LLVM::get(rewriter.getContext(),8));
if(llvm::dyn_cast(op.getFunctionType().getInputs().back()))
returnsuccess();

llvm::SmallVectornew_operand_type;
for(autotype:op.getFunctionType().getInputs()){new_operand_type.push_back(type);}
new_operand_type.push_back(ptr_type);
autofunction_type=
rewriter.getFunctionType(new_operand_type,op.getFunctionType().getResults());

autofunc=rewriter.create(op.getLoc(),op.getName(),function_type);
for(autopair:op->getDialectAttrs()){func->setAttr(pair.getName(),pair.getValue());}
op.getBody().addArgument(ptr_type,func->getLoc());
IRMappingbvm;
op.getRegion().cloneInto(&func.getRegion(),bvm);
rewriter.eraseOp(op);
returnsuccess();
}
};

c++代碼newbing（chatgpt）按道理可以看懂了，我們讓它分析一下：

直接問chatgpt，它還是不懂這段代碼。我手動(dòng)提示了下它說，這段代碼定義了一個(gè)mlir pattern，然后它先是重復(fù)我的話給出了一段回答。然后接下來就是胡說八道了，在這個(gè)例子中表現(xiàn)很差。接下來我們拷問一下Claude：

我們繼續(xù)問一下c++代碼中的一些細(xì)節(jié)：

非常強(qiáng)大，給出的解釋大多比較精準(zhǔn)，并且似乎Claude真的完全理解了這段代碼的邏輯。我們需要注意的是，這段代碼是我同事今天才寫的，模型的泛化性真的很好。

MgpuToOneFlowStreamPass

我們最后再分析下MgpuToOneFlowStreamPass的實(shí)現(xiàn)。

structMgpuToOneFlowStreamPatternfinal:publicOpRewritePattern{
public:
explicitMgpuToOneFlowStreamPattern(mlir::MLIRContext*context)
:OpRewritePattern(context,/*benefit=*/0){}
mlir::LogicalResultmatchAndRewrite(LLVM::CallOpop,
mlir::PatternRewriter&rewriter)constoverride{
autoptr_type=LLVM::get(rewriter.getContext(),8));
autofunc=op->getParentOfType();
autocallee=op.getCallee();
if(!func||!callee)returnfailure();
Valuestream=func.getArguments().back();
if(stream.getType()!=ptr_type){
LOG(ERROR)<"failedtofindstreaminllvm.funcblockarguments";
returnfailure();
}

DenseMapstd::pair<std::function<bool(LLVM::CallOp&,Value&)>,
std::function<void(mlir::PatternRewriter&,LLVM::CallOp&,Value&)>>>
oneflow_abi={
{"mgpuStreamCreate",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.replaceOp(op,{stream});
}}},
{"mgpuLaunchKernel",
{[](LLVM::CallOp&op,Value&stream){
unsignedidx=op->getNumOperands();
returnop.getOperand(idx-3)!=stream;
},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
unsignedidx=op->getNumOperands();
autotarget=op.getOperand(idx-3).getDefiningOp();
rewriter.replaceOp(target,{stream});
}}},
{"mgpuStreamSynchronize",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.eraseOp(op);
}}},
{"mgpuStreamDestroy",
{[](LLVM::CallOp&op,Value&stream){returntrue;},
[](mlir::PatternRewriter&rewriter,LLVM::CallOp&op,Value&stream){
rewriter.eraseOp(op);
}}},
};
autoout=oneflow_abi.find(callee.value().str());
if(out!=oneflow_abi.end()&&out->getSecond().first(op,stream)){
out->getSecond().second(rewriter,op,stream);
}
returnsuccess();
}
};

還是先讓chatgpt分析下：

回答還是比較模棱兩可，并且可以確定的事情是chatgpt完全沒有理解這段代碼。

接下來還是使用Claude來測試下：

這個(gè)地方讓我震驚的點(diǎn)是，它不僅理解了這段代碼，而且知道在MLIR里面這段代碼只是一個(gè)Pattern規(guī)則，如果要應(yīng)用這個(gè)規(guī)則需要在MLIR里面再構(gòu)建一個(gè)Pass。最后我們再讓Claude給我們一些Review意見：

這里的第4點(diǎn)提示讓我感到有些疑惑，我還請教了下同事，順便讓同事補(bǔ)充一下注釋。

整體來說，在閱讀MLIR代碼方面，Claude已經(jīng)相當(dāng)智能，全面領(lǐng)先Newbing（Chatgpt），感覺以后可以日常用Claude來輔助Review IR相關(guān)代碼。

0x3. 總結(jié)

我這里以MLIR的一個(gè)任務(wù)對比了一下ChatGpt和Claude，我感受到了Calude的強(qiáng)大之處。雖然暫時(shí)還沒有評測過別的任務(wù)，但我已經(jīng)被Calude表現(xiàn)出來的代碼分析能力所震撼。我們甚至可以將Claude作為一個(gè)入門AI編譯器的入門工具