AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨(dú)特的推測解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標(biāo)模型對這些候選token進(jìn)行驗(yàn)證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實(shí)現(xiàn)了更加高效的計(jì)算和存儲資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
amd
+關(guān)注
關(guān)注
25文章
5377瀏覽量
133466 -
AI
+關(guān)注
關(guān)注
87文章
29055瀏覽量
266574 -
模型
+關(guān)注
關(guān)注
1文章
3040瀏覽量
48402
發(fā)布評論請先 登錄
相關(guān)推薦
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個AI大模型是源自 Meta 公司的
Meta發(fā)布全新開源大模型Llama 3.1
科技巨頭Meta近期震撼發(fā)布了其最新的開源人工智能（AI）模型——Llama 3.1，這一舉措標(biāo)志著Meta在AI領(lǐng)域的又一重大突破。Met
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企業(yè)和各國現(xiàn)在能夠使用自有數(shù)據(jù)與 Llama 3.1 405B 和 NVIDIA Nemotron 模型配對，來構(gòu)建“超級模型” NVIDIA
發(fā)表于 07-24 09:39
?634次閱讀
Meta即將發(fā)布超強(qiáng)開源AI模型Llama 3-405B
在人工智能領(lǐng)域的激烈競爭中，Meta公司再次擲出重磅炸彈，宣布將于7月23日正式發(fā)布其最新力作——Llama 3-405B，一個擁有驚人4050億參數(shù)的開源大模型。這一舉措不僅標(biāo)志著Meta在
中控流程工業(yè)首款AI時序大模型TPT發(fā)布
點(diǎn)燃AI引擎，打造工業(yè)應(yīng)用新范式? 杭州2024年6月7日?/美通社/ --?6月5日，由中控技術(shù)傾力打造的流程工業(yè)首款AI時序大模型TPT
百川智能發(fā)布Baichuan 4大模型及首款AI助手“百小應(yīng)”
百川智能近日發(fā)布了其新一代基座大模型Baichuan 4，并同步推出了首款AI助手“百小應(yīng)”。這款AI
Meta Llama 3基礎(chǔ)模型現(xiàn)已在亞馬遜云科技正式可用
亞馬遜云科技近日宣布，Meta公司最新發(fā)布的兩款Llama 3基礎(chǔ)模型——Llama 3 8B和Llam
英特爾AI產(chǎn)品助力其運(yùn)行Meta新一代大語言模型Meta Llama 3
英特爾豐富的AI產(chǎn)品——面向數(shù)據(jù)中心的至強(qiáng)處理器，邊緣處理器及AI PC等產(chǎn)品為開發(fā)者提供最新的優(yōu)化，助力其運(yùn)行Meta新一代大語言模型Meta L
Meta推出最強(qiáng)開源模型Llama 3 要挑戰(zhàn)GPT
公司這次開源了Llama 3 8B與70B兩款不同規(guī)模的模型，開發(fā)者可以免費(fèi)使用，而Meta公司還將陸續(xù)推出一系列具備多模態(tài)、多語言對話、更長上下文窗口等能力的新
AI初創(chuàng)企業(yè)Suno發(fā)布首款音樂AI生成模型SunoV3
美國人工智能初創(chuàng)企業(yè)Suno近日震撼發(fā)布其首款音樂AI生成模型——SunoV3。這款創(chuàng)新產(chǎn)品已正式登陸其官方網(wǎng)站，并向所有用戶免費(fèi)開放使用，
AMD發(fā)布通知：用戶可本地運(yùn)行GPT大語言模型，構(gòu)建個人AI聊天助手
AMD詳述運(yùn)行步驟，如在搭載70億參數(shù)的Mistral機(jī)器上，需尋找并下載“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”；若選擇運(yùn)行70億參數(shù)的LLAMA v2，須檢索并下載“TheBloke /
LLaMA 2是什么？LLaMA 2背后的研究工作
Meta 發(fā)布的 LLaMA 2，是新的 sota 開源大型語言模型 (LLM)。LLaMA 2 代表著
Meta發(fā)布開源大模型Code Llama 70B
近日，Meta宣布推出了一款新的開源大模型Code Llama 70B，這是其“Code Llama家族中體量最大、性能最好的模型版本”。這
【飛騰派4G版免費(fèi)試用】仙女姐姐的嵌入式實(shí)驗(yàn)室之五~LLaMA.cpp及3B“小模型”O(jiān)penBuddy-StableLM-3B
和語法規(guī)則，將這些詞匯串聯(lián)起來，形成一個完整的回答
關(guān)于LLaMA及LLaMA.cpp
LLaMA全稱是Large Language Model Meta AI，是由Meta
發(fā)表于 12-22 10:18
大語言模型簡介：基于大語言模型模型全家桶Amazon Bedrock
本文基于亞馬遜云科技推出的大語言模型與生成式AI的全家桶：Bedrock對大語言模型進(jìn)行介紹。大語言
工商網(wǎng)監(jiān)
評論