生成式推薦系統(tǒng)與京東聯(lián)盟廣告-綜述與應(yīng)用

大型語(yǔ)言模型（LLM）正在深刻地影響自然語(yǔ)言處理（NLP）領(lǐng)域，其強(qiáng)大的處理各種任務(wù)的能力也為其他領(lǐng)域的從業(yè)者帶來(lái)了新的探索路徑。推薦系統(tǒng)（RS）作為解決信息過載的有效手段，已經(jīng)緊密融入我們的日常生活，如何用LLM有效重塑RS是一個(gè)有前景的研究問題[20, 25]。

這篇文章從生成式推薦系統(tǒng)與京東聯(lián)盟廣告各自的背景出發(fā)，引出二者結(jié)合的原因和方式。接著，對(duì)現(xiàn)有的流程和方法進(jìn)行了總結(jié)和梳理。最后，介紹了我們?cè)诼?lián)盟廣告場(chǎng)景下的應(yīng)用實(shí)踐。

?

一、背景

生成式推薦系統(tǒng)

A generative recommender system directly generates recommendations or recommendation-related content without the need to calculate each candidate’s ranking score one by one[25].

由于現(xiàn)實(shí)系統(tǒng)中的物料（item）數(shù)量巨大，傳統(tǒng)RS通常采用多級(jí)過濾范式，包括召回、粗排、精排、重排等流程，首先使用一些簡(jiǎn)單而有效的方法（例如，基于規(guī)則/策略的過濾）來(lái)減少候選物料的數(shù)量，從數(shù)千萬(wàn)甚至數(shù)億到數(shù)百個(gè)，然后對(duì)這些物料應(yīng)用較復(fù)雜的推薦算法，以進(jìn)一步選擇較少數(shù)量的物料進(jìn)行推薦。受限于響應(yīng)時(shí)間的要求，復(fù)雜推薦算法并不適用于規(guī)模很大的所有物料。

LLM的生成能力有可能重塑RS，相較于傳統(tǒng)RS，生成式推薦系統(tǒng)具備如下的優(yōu)勢(shì)：1）簡(jiǎn)化推薦流程。LLM可以直接生成要推薦的物料，而非計(jì)算候選集中每個(gè)物料的排名分?jǐn)?shù)，實(shí)現(xiàn)從多級(jí)過濾范式（discriminative-based，判別式）到單級(jí)過濾范式（generative-based，生成式）的變遷。LLM在每個(gè)解碼步生成一個(gè)向量，表示在所有可能詞元（token）上的概率分布。經(jīng)過幾個(gè)解碼步，生成的token就可以構(gòu)成代表目標(biāo)物料的完整標(biāo)識(shí)符，該過程隱式枚舉所有候選物料以生成推薦目標(biāo)物料[25]。2）具備更好的泛化性和穩(wěn)定性。利用LLM中的世界知識(shí)和推理能力，在具有新用戶和物料的冷啟動(dòng)和新領(lǐng)域場(chǎng)景下具備更好的推薦效果和遷移效果。同時(shí)，相比于傳統(tǒng)RS，生成式推薦系統(tǒng)的方法也更加具備穩(wěn)定性和可復(fù)用性。特征處理的策略隨場(chǎng)景和業(yè)務(wù)的變化將變小、訓(xùn)練數(shù)據(jù)量將變少，模型更新頻率將變低。

??

?圖1. 傳統(tǒng)推薦系統(tǒng)與基于LLM的生成式推薦系統(tǒng)的流程比較[25]

?

京東聯(lián)盟廣告

京東聯(lián)盟是京東的一個(gè)聯(lián)盟營(yíng)銷平臺(tái)，以投放站外CPS廣告為主。聯(lián)盟合作伙伴通過生成的鏈接在其他網(wǎng)站或社交媒體平臺(tái)上推廣京東商品，引導(dǎo)用戶點(diǎn)擊這些鏈接并在京東購(gòu)物，從而獲得銷售提成（傭金）。京東聯(lián)盟借此吸引流量，擴(kuò)大平臺(tái)的可見度和與用戶的接觸范圍，實(shí)現(xiàn)拉新促活等目標(biāo)。

聯(lián)盟廣告推薦主要針對(duì)低活躍度用戶進(jìn)行多場(chǎng)景推薦，這樣的推薦面臨如下的挑戰(zhàn)：1）數(shù)據(jù)稀疏性：低活躍度用戶提供的數(shù)據(jù)較少，導(dǎo)致更加明顯的數(shù)據(jù)稀疏性問題。數(shù)據(jù)不足使得基于ID的傳統(tǒng)推薦模型難以充分地對(duì)物料和用戶進(jìn)行表征，進(jìn)而影響推薦系統(tǒng)的預(yù)測(cè)準(zhǔn)確性。2）冷啟動(dòng)問題：對(duì)于新用戶或低活躍度用戶，冷啟動(dòng)問題尤為嚴(yán)重。由于缺乏足夠的歷史交互數(shù)據(jù)，推薦系統(tǒng)難以對(duì)這些用戶進(jìn)行有效的個(gè)性化推薦。3）場(chǎng)景理解困難：在多場(chǎng)景推薦系統(tǒng)中，理解不同場(chǎng)景下用戶的具體需求尤為關(guān)鍵。對(duì)于低活躍度用戶，由于交互數(shù)據(jù)有限，推薦系統(tǒng)更難以識(shí)別出用戶在不同場(chǎng)景下的行為差異和需求變化。4）多樣性和新穎性：保持推薦內(nèi)容的多樣性和新穎性對(duì)于吸引低活躍度用戶至關(guān)重要。然而，由于對(duì)這些用戶的了解有限，推薦系統(tǒng)難以平衡推薦的準(zhǔn)確性與多樣性。

京東聯(lián)盟廣告+生成式推薦系統(tǒng)

將LLM融入推薦系統(tǒng)的關(guān)鍵優(yōu)勢(shì)在于，它們能夠提取高質(zhì)量的文本表示，并利用其中編碼的世界知識(shí)對(duì)用戶和物料進(jìn)行理解和推薦。與傳統(tǒng)的推薦系統(tǒng)不同，基于LLM的模型擅長(zhǎng)捕獲上下文信息，更有效地理解用戶信息、物料描述和其他文本數(shù)據(jù)。通過理解上下文，生成式推薦系統(tǒng)可以提高推薦的準(zhǔn)確性和相關(guān)性，從而提升用戶滿意度。同時(shí)，面對(duì)有限的歷史交互數(shù)據(jù)帶來(lái)的冷啟動(dòng)和數(shù)據(jù)稀疏問題，LLM還可通過零/少樣本推薦能力為推薦系統(tǒng)帶來(lái)新的可能性。這些模型可以推廣到未見過的新物料和新場(chǎng)景，因?yàn)樗鼈兺ㄟ^事實(shí)信息、領(lǐng)域?qū)I(yè)知識(shí)和常識(shí)推理進(jìn)行了廣泛的預(yù)訓(xùn)練，具備較好的遷移和擴(kuò)展能力。

由此可見，京東聯(lián)盟廣告是生成式推薦系統(tǒng)一個(gè)天然的應(yīng)用場(chǎng)。

二、生成式推薦系統(tǒng)的四個(gè)環(huán)節(jié)

為了實(shí)現(xiàn)如上的范式變遷，有四個(gè)基本環(huán)節(jié)需要考慮[26]：1）物料表示：在實(shí)踐中，直接生成物料（文檔或商品描述）幾乎是不可能的。因此，需要用短文本序列，即物料標(biāo)識(shí)符，表示物料。2）模型輸入表示：通過提示詞定義任務(wù)，并將用戶相關(guān)信息（例如，用戶畫像和用戶歷史行為數(shù)據(jù)）轉(zhuǎn)換為文本序列。3）模型訓(xùn)練：一旦確定了生成模型的輸入（用戶表示）和輸出（物料標(biāo)識(shí)符），就可以基于Next Token Prediction任務(wù)實(shí)現(xiàn)訓(xùn)練。4）模型推理：訓(xùn)練后，生成模型可以接收用戶信息來(lái)預(yù)測(cè)對(duì)應(yīng)的物料標(biāo)識(shí)符，并且物料標(biāo)識(shí)符可以對(duì)應(yīng)于數(shù)據(jù)集中的真實(shí)物料。

雖然整個(gè)過程看起來(lái)很簡(jiǎn)單，但實(shí)現(xiàn)有效的生成式推薦并非易事。在上述四個(gè)環(huán)節(jié)中需要考慮和平衡許多細(xì)節(jié)。下面詳細(xì)梳理了現(xiàn)有工作在四個(gè)環(huán)節(jié)上的應(yīng)用與探索：

物料表示

An identifier in recommender systems is a sequence of tokens that can uniquely identify an entity, such as a user or an item. An identifier can take various forms, such as an embedding, a sequence of numerical tokens, and a sequence of word tokens (including an item title, a description of the item, or even a complete news article), as long as it can uniquely identify the entity[25].

推薦系統(tǒng)中的物料通常包含來(lái)自不同模態(tài)的各種信息，例如，視頻的縮略圖、音樂的音頻和新聞的標(biāo)題。因此，物料標(biāo)識(shí)符需要在文本空間中展示每個(gè)物料的復(fù)雜特征，以便進(jìn)行生成式推薦。一個(gè)好的物料標(biāo)識(shí)符構(gòu)建方法至少應(yīng)滿足兩個(gè)標(biāo)準(zhǔn)：1）保持合適的長(zhǎng)度以減輕文本生成的難度。 2）將先驗(yàn)信息集成到物料索引結(jié)構(gòu)中，以確保相似項(xiàng)目在可區(qū)分的同時(shí)共享最多的token，不相似項(xiàng)目共享最少的token。以下是幾種構(gòu)建物料標(biāo)識(shí)符的方法：

（1）數(shù)字ID（Numeric ID）

由于數(shù)字在傳統(tǒng)RS中被廣泛地使用，一個(gè)直接的策略是在生成式推薦系統(tǒng)中也使用數(shù)字ID來(lái)表示物料。傳統(tǒng)RS將每個(gè)物料ID視為一個(gè)獨(dú)立且完整的token，不能被進(jìn)一步分割。如果將這些token加入到模型中，需要1）大量的內(nèi)存來(lái)存儲(chǔ)每個(gè)token的向量表示，以及2）充足的數(shù)據(jù)來(lái)訓(xùn)練這些向量表示。為了解決這些問題，生成式推薦系統(tǒng)將數(shù)字ID分割成多個(gè)token組成的序列，使得用有限的token來(lái)代表無(wú)限的物料成為可能。為了有效地以token序列表示一個(gè)物料，現(xiàn)有的工作探索了不同的策略。1）順序索引：基于時(shí)間順序，利用連續(xù)的數(shù)字表示物料，例如，“1001, 1002, ...”，這可以捕捉與同一用戶交互的物料的共現(xiàn)（基于SentencePiece分詞器進(jìn)行分詞時(shí)，“1001”和“1002”分別被分詞為“100”“1”和“100”“2”）。2）協(xié)同索引：基于共現(xiàn)矩陣或者協(xié)同過濾信息構(gòu)建物料標(biāo)識(shí)符，使得共現(xiàn)次數(shù)更多的物料或者具有相似交互數(shù)據(jù)的物料擁有相似的標(biāo)識(shí)符前綴。盡管在生成式推薦系統(tǒng)中使用數(shù)字ID效果顯著，但它通常缺乏語(yǔ)義信息，因此會(huì)遭受冷啟動(dòng)問題，并且未能利用LLM中編碼的世界知識(shí)。

（2）文本元數(shù)據(jù)（Textual Metadata）

為了解決數(shù)字ID中缺乏語(yǔ)義信息的問題，一些研究工作利用了物料的文本元數(shù)據(jù)，例如，電影標(biāo)題，產(chǎn)品名稱，書名，新聞標(biāo)題等。在與LLM結(jié)合時(shí)可借助LLM中編碼的世界知識(shí)更好地理解物料特性。但這種方式有兩個(gè)問題：1）當(dāng)物料表示文本非常長(zhǎng)時(shí)，進(jìn)行生成的計(jì)算成本會(huì)很高。此外，長(zhǎng)文本很難在數(shù)據(jù)集中找到精確匹配；仔細(xì)檢查每個(gè)長(zhǎng)文本的存在性或相關(guān)性將使我們回到判別性推薦的范式，因?yàn)槲覀冃枰獙⑵渑c數(shù)據(jù)集中的每個(gè)物料計(jì)算匹配得分。2）雖然自然語(yǔ)言是一種強(qiáng)大且富有表現(xiàn)力的媒介，但在許多情況下它也可能是模糊的。兩個(gè)不相關(guān)的物料可能具有相同的名稱，例如，“蘋果”既可以是一種水果也可以特指蘋果公司，而兩個(gè)密切相關(guān)的物料可能具有不同的標(biāo)題，例如，數(shù)據(jù)挖掘中著名的“啤酒和尿布”示例[25]。

（3）語(yǔ)義ID（Semantic-based ID，SID）

為了同時(shí)獲得具有語(yǔ)義和區(qū)分性的物料標(biāo)識(shí)符，現(xiàn)有方法主要通過如下方式對(duì)物料向量進(jìn)行離散化：1）基于RQ-VAE模型[8]。RQ-VAE模型由編碼器，殘差量化和解碼器三部分構(gòu)成，其輸入是從預(yù)訓(xùn)練的語(yǔ)言模型（例如，LLaMA[9]和BERT[28]）提取的物料語(yǔ)義表示，輸出是物料對(duì)應(yīng)的token序列。在這個(gè)分支中，TIGER[7]是一個(gè)代表性的工作，它通過物料的文本描述生成對(duì)應(yīng)的token序列，并將token序列命名為Semantic ID。LC-Rec[4]設(shè)計(jì)了多種微調(diào)LLM的任務(wù)，旨在實(shí)現(xiàn)Semantic ID與用戶交互數(shù)據(jù)或物料文本描述的語(yǔ)義對(duì)齊。這兩種方法首先將物料的語(yǔ)義相關(guān)性捕獲到標(biāo)識(shí)符中，即具有相似語(yǔ)義的項(xiàng)目將擁有相似的標(biāo)識(shí)符。然后，標(biāo)識(shí)符表示將通過在推薦數(shù)據(jù)上訓(xùn)練來(lái)優(yōu)化，以獲取交互相關(guān)性。相比之下，LETTER[6]通過整合層次化的語(yǔ)義、協(xié)同信號(hào)和編碼分配的多樣性來(lái)構(gòu)建高質(zhì)量的物料標(biāo)識(shí)符。2）基于語(yǔ)義層次化聚類方法。ColaRec[1]首先利用協(xié)同模型編碼物料，并利用k-means聚類算法對(duì)物料進(jìn)行層次化聚類，將分類類別作為物料標(biāo)識(shí)符，之后在微調(diào)任務(wù)中對(duì)齊物料語(yǔ)義信息和交互信息。Hi-Gen[5]則在獲取物料標(biāo)識(shí)符的階段同時(shí)考慮了交互信息和語(yǔ)義信息，利用metric learning對(duì)兩種信息進(jìn)行融合。

（4）小結(jié)

以上三類表示方法的對(duì)比如下：

??

表1. 不同離散化物料表示方法的對(duì)比

?

模型輸入表示

在生成式推薦系統(tǒng)中，模型輸入由如下的三個(gè)部分組成：任務(wù)描述、用戶信息、上下文及外部信息。其中，用戶信息主要包括用戶歷史交互數(shù)據(jù)和用戶畫像。

（1）任務(wù)描述

為了利用生成模型的理解能力，任務(wù)描述主要用來(lái)引導(dǎo)生成模型完成推薦任務(wù)，即將推薦任務(wù)建模為下一個(gè)物料的預(yù)測(cè)（類比語(yǔ)言模型的Next Token Prediction，此處是Next Item Prediction）。任務(wù)描述定義了提示詞模版，將可利用的數(shù)據(jù)嵌入其中。例如，“這是一個(gè)用戶的歷史交互數(shù)據(jù)：{historical behavior}，他的偏好如下：{preference}，請(qǐng)?zhí)峁┩扑]?！蓖瑫r(shí)將用戶歷史交互數(shù)據(jù)和偏好作為模型輸入內(nèi)容[26]。

（2）用戶歷史交互數(shù)據(jù)

用戶的歷史交互數(shù)據(jù)在推薦系統(tǒng)中扮演著至關(guān)重要的角色，這種互動(dòng)數(shù)據(jù)隱性地傳達(dá)了用戶對(duì)物料的偏好。用戶歷史交互數(shù)據(jù)的表示與上文介紹的物料表示密切相關(guān)，現(xiàn)有方法將其表示為：1）物料數(shù)字ID序列。物料數(shù)字ID被LLM作為純文本處理，由分詞器分割成幾個(gè)token。2）物料文本序列。將物料文本元數(shù)據(jù)進(jìn)行拼接送入預(yù)訓(xùn)練語(yǔ)言模型，語(yǔ)言模型可根據(jù)世界知識(shí)建模物料之間的相關(guān)性。3）物料文本向量加物料ID向量序列。LLaRA[2]在物料標(biāo)題向量后拼接了物料ID向量，以補(bǔ)充來(lái)自協(xié)同模型的交互信息。

（3）用戶畫像

為了增強(qiáng)用戶建模，集成用戶畫像（例如，關(guān)于用戶的基礎(chǔ)信息和偏好信息）是推薦系統(tǒng)中建模用戶特征的一種有效方式。在大多數(shù)情況下，用戶的基礎(chǔ)信息（例如，性別）可以直接從在線推薦平臺(tái)獲取。這些用戶信息可與描述性文本結(jié)合使用，例如，“用戶描述：女性，25-34歲，在銷售/市場(chǎng)營(yíng)銷領(lǐng)域工作”[26]。然而，由于用戶隱私問題，獲取用戶畫像可能具有挑戰(zhàn)性，導(dǎo)致一些研究直接采用用戶ID或ID向量[3]進(jìn)行用戶建模。

（4）上下文及外部信息

上下文信息（例如，位置、場(chǎng)景和時(shí)間）可能會(huì)影響用戶決策，例如，在戶外用品推薦中，用戶可能更傾向于購(gòu)買帳篷而水龍頭。因此，在LLM中結(jié)合諸如時(shí)間之類的上下文信息，可以實(shí)現(xiàn)有效的用戶理解。此外，外部知識(shí)也可以用來(lái)增強(qiáng)生成式推薦模型的性能，例如，用戶-物料交互圖中的結(jié)構(gòu)化信息。

?

模型訓(xùn)練

在推薦數(shù)據(jù)上訓(xùn)練生成式推薦模型包括兩個(gè)主要步驟：文本數(shù)據(jù)構(gòu)建和模型優(yōu)化[26]。文本數(shù)據(jù)構(gòu)建將推薦數(shù)據(jù)轉(zhuǎn)換為具有文本輸入和輸出的樣本，其中輸入和輸出的選擇取決于任務(wù)定義和物料表示方法?；跀?shù)字ID和文本元數(shù)據(jù)的物料表示方法可以直接構(gòu)建文本數(shù)據(jù)，基于語(yǔ)義ID的方法則需要基于向量進(jìn)行物料標(biāo)識(shí)符的學(xué)習(xí)和獲取。在模型優(yōu)化方面，給定<輸入，輸出>數(shù)據(jù)，生成式模型的訓(xùn)練目標(biāo)是最大化給定輸入預(yù)測(cè)輸出的條件似然。

針對(duì)生成式推薦系統(tǒng)，“用戶到物料標(biāo)識(shí)符的訓(xùn)練”是主要任務(wù)，即輸入是用戶構(gòu)建，輸出是下一個(gè)物料的標(biāo)識(shí)符。基于數(shù)字ID和文本元數(shù)據(jù)的方法利用該任務(wù)進(jìn)行模型訓(xùn)練。對(duì)于基于語(yǔ)義ID的方法，由于語(yǔ)義ID和自然語(yǔ)言之間存在差距，一般會(huì)利用如下輔助任務(wù)來(lái)增強(qiáng)物料文本和標(biāo)識(shí)符之間的對(duì)齊[4]：1）“物料文本到物料標(biāo)識(shí)符的訓(xùn)練”或“物料標(biāo)識(shí)符到物料文本的訓(xùn)練”。對(duì)于每個(gè)訓(xùn)練樣本，輸入輸出對(duì)包括同一物料的標(biāo)識(shí)符和文本內(nèi)容，可以互換地作為輸入或輸出。2）“用戶到物料文本的訓(xùn)練”。通過將用戶信息與下一個(gè)物料的文本內(nèi)容配對(duì)來(lái)隱式對(duì)齊物料標(biāo)識(shí)符和物料文本。對(duì)于訓(xùn)練如LLaMA這樣的大型語(yǔ)言模型，可采用多種策略來(lái)提高訓(xùn)練效率，例如，參數(shù)高效微調(diào)，模型蒸餾和推薦數(shù)據(jù)篩選。

?

模型推理

為了實(shí)現(xiàn)物料推薦，生成式推薦系統(tǒng)在推理階段需要對(duì)生成結(jié)果進(jìn)行定位，即實(shí)現(xiàn)生成的物料標(biāo)識(shí)符與數(shù)據(jù)集中物料的有效關(guān)聯(lián)。給定用戶輸入表示，生成式推薦系統(tǒng)首先通過束搜索自回歸地生成物料標(biāo)識(shí)符。這里的生成方式分為兩種：自由生成和受限生成[26]。對(duì)于自由生成，在每一個(gè)解碼步中，模型在整個(gè)詞表中搜索，并選擇概率最高的前K個(gè)token（K值取決于束搜索中定義的束大?。┳鳛橄乱徊缴傻妮斎?。然而，在整個(gè)詞表上的搜索可能會(huì)導(dǎo)致生成不在數(shù)據(jù)集中的標(biāo)識(shí)符，從而使推薦無(wú)效。

為了解決這個(gè)問題，早期工作使用精確匹配進(jìn)行物料定位，即進(jìn)行自由生成并簡(jiǎn)單地丟棄無(wú)效的標(biāo)識(shí)符。盡管如此，它們?nèi)匀挥捎跓o(wú)效標(biāo)識(shí)符而導(dǎo)致準(zhǔn)確率低，特別是對(duì)于基于文本元數(shù)據(jù)的標(biāo)識(shí)符。為了提高準(zhǔn)確性，BIGRec[23]提出將生成的標(biāo)識(shí)符通過生成的token序列的表示和物料表示之間的L2距離來(lái)定位到有效物料上。如此，每個(gè)生成的標(biāo)識(shí)符都確保被定位到有效的物料上。與此同時(shí)，受限生成也在推理階段被使用，例如，使用Trie（prefix tree）或者FM-index進(jìn)行受限生成，保證標(biāo)識(shí)符的有效生成。

在預(yù)測(cè)下一個(gè)物料這樣的典型推薦任務(wù)之外，也可充分利用自由生成產(chǎn)生新的物料描述或預(yù)測(cè)接下來(lái)N個(gè)物料。

?

現(xiàn)有工作總結(jié)

當(dāng)前生成式推薦系統(tǒng)的代表性工作（RecSysLLM[22]，P5[20][24]，How2index[18]，PAP-REC[17]，VIP5[19]，UniMAP[27]，TIGER[7]，LC-Rec[4]，TransRec[16]，M6-Rec[21]，BIGRec[23]，LMRecSys[10]，NIR[12]，RecRanker[13]，InstructRec[11]，Rec-GPT4V[14]，DEALRec[15]）可總結(jié)為：

??

表2. 生成式推薦系統(tǒng)的代表性工作[26]

?

三、實(shí)踐方案

總體設(shè)計(jì)

基于對(duì)現(xiàn)有工作的調(diào)研和總結(jié)，我們的方案以“基于語(yǔ)義ID的物料表示”和“對(duì)齊協(xié)同信息和文本信息的訓(xùn)練任務(wù)”展開：

??

圖2. 總體設(shè)計(jì)框架圖

?

功能模塊

（1）基于語(yǔ)義ID（SID）的物料表示

物料文本描述：基于商品標(biāo)題表示物料。

物料向量：通過預(yù)訓(xùn)練的bert-base-chinese和Yi-6B分別提取文本描述對(duì)應(yīng)的向量，向量維度為768（bert-base-chinese）和4096（Yi-6B）。

物料SID：基于RQ-VAE模型對(duì)物料向量進(jìn)行量化。RQ-VAE模型由編碼器，殘差量化和解碼器三部分構(gòu)成，其輸入是從預(yù)訓(xùn)練的語(yǔ)言模型中提取的向量，輸出是物料對(duì)應(yīng)的SID序列。針對(duì)沖突數(shù)據(jù)，我們采取了兩種方式，一種是不進(jìn)行處理，即一個(gè)SID對(duì)應(yīng)多個(gè)商品；另一種是采用TIGER的方案，對(duì)有沖突的商品增加隨機(jī)的一維，使得一個(gè)SID唯一對(duì)應(yīng)一個(gè)商品。例如，商品“ThinkPad 聯(lián)想ThinkBook 14+ 2024 14.5英寸輕薄本英特爾酷睿ultra AI全能本高性能獨(dú)顯商務(wù)辦公筆記本電腦”可表示為：或。

??

圖3. RQ-VAE模型圖[8]

（2）對(duì)齊協(xié)同信息和文本信息的訓(xùn)練任務(wù)

Next Item Prediction：推薦系統(tǒng)的主任務(wù)，即針對(duì)給定的用戶描述（用戶畫像+歷史交互數(shù)據(jù)），預(yù)測(cè)下一個(gè)推薦的物料。

Additional Alignment：由于SID和自然語(yǔ)言之前存在差距，通過額外的對(duì)齊訓(xùn)練，建立物料SID和物料文本描述之間的聯(lián)系，包括SID到文本描述和文本描述到SID的兩個(gè)雙向任務(wù)。

?

四、離線與在線實(shí)驗(yàn)

訓(xùn)練數(shù)據(jù)

（1）Next Item Prediction

{
    "instruction": "該用戶性別為女，年齡為46-55歲，婚姻狀況為已婚，有無(wú)子女狀況為未知。用戶已按時(shí)間順序點(diǎn)擊了如下商品：, , , , , , , , , , , , ，你能預(yù)測(cè)用戶下一個(gè)可能點(diǎn)擊的商品嗎？",
    "response": ""
}

（2）Item and SID Alignment1 - SID2Title

{
    "instruction": "商品的標(biāo)題是什么？",
    "response": "ThinkPad 聯(lián)想ThinkBook 14+ 2024 14.5英寸輕薄本英特爾酷睿ultra AI全能本高性能獨(dú)顯商務(wù)辦公筆記本電腦 Ultra5 125H 32G 1T 3K屏 高刷屏"
}

（3）Item and SID Alignment2 - Title2SID

{
    "instruction": "哪個(gè)商品的標(biāo)題是"ss109威震天變形MP威震玩具天金剛飛機(jī)威男孩機(jī)器人戰(zhàn)機(jī)模型合金 震天戰(zhàn)機(jī)（戰(zhàn)損涂裝版）"？",
    "response": ""
}

基座模型、訓(xùn)練及推理

（1）base model: Qwen1.5-0.5B/1.8B/4B和Yi-6B

（2）基于SID增加新tokens，并利用交互數(shù)據(jù)進(jìn)行訓(xùn)練

（3）采用基于beam search的受限解碼策略，beam size=20

（4）實(shí)驗(yàn)方式：離線實(shí)驗(yàn)+線上小流量實(shí)驗(yàn)

（5）離線評(píng)估指標(biāo)：HR@1,5,10; NDCG@1,5,10

（6）在線評(píng)估指標(biāo)：UCTR

實(shí)驗(yàn)結(jié)果

（1）離線實(shí)驗(yàn)——同一基座模型不同參數(shù)規(guī)模的對(duì)比：

?對(duì)比0.5B/1.8B/4B的結(jié)果可得，模型參數(shù)量越大，處理多種任務(wù)的能力越強(qiáng)，評(píng)估指標(biāo)值越高；

?由于0.5B模型能力較弱，不適宜處理多種任務(wù)數(shù)據(jù)，單一任務(wù)訓(xùn)練得到的模型相較混合任務(wù)有8倍提升；

?在離線訓(xùn)練和測(cè)試數(shù)據(jù)有3個(gè)月的時(shí)間差的情況下，模型的表現(xiàn)仍然可觀。

（2）離線實(shí)驗(yàn)——不同基座模型的對(duì)比：

?Yi-6B模型在不使用受限解碼的情況下就有最佳的表現(xiàn)；

?微調(diào)后的Yi-6B指令遵循的能力較好，可進(jìn)行next item prediction和標(biāo)題文本生成。

（3）離線實(shí)驗(yàn)——與協(xié)同模型結(jié)果對(duì)比：

?在相同的數(shù)據(jù)規(guī)模和數(shù)據(jù)預(yù)處理的情況下，Yi-6B模型的效果更好；

?對(duì)稀疏數(shù)據(jù)進(jìn)行過濾后訓(xùn)練的協(xié)同模型效果會(huì)有顯著提升，傳統(tǒng)模型對(duì)數(shù)據(jù)和特征的處理方式更為敏感。

（4）線上小流量實(shí)驗(yàn)：

?多個(gè)置信的站外投放頁(yè)面的小流量實(shí)驗(yàn)顯示，基于生成式模型base版本可與傳統(tǒng)多路召回+排序的top1推薦對(duì)應(yīng)的UCTR結(jié)果持平，在部分頁(yè)面更優(yōu)，UCTR+5%以上。

?更適合數(shù)據(jù)稀疏、用戶行為不豐富的場(chǎng)景。

?

五、優(yōu)化方向

在生成式推薦系統(tǒng)中，構(gòu)建高質(zhì)量的數(shù)據(jù)集是實(shí)現(xiàn)精準(zhǔn)推薦的關(guān)鍵。在物料表示和輸入-輸出數(shù)據(jù)構(gòu)建層面，將語(yǔ)義信息、多模態(tài)信息與協(xié)同信息結(jié)合，基于聯(lián)盟場(chǎng)景特點(diǎn)，可以顯著提升物料表示的準(zhǔn)確性和相關(guān)性。

為了支持RQ-VAE的穩(wěn)定訓(xùn)練和語(yǔ)義ID的增量式推理，需要開發(fā)一種可擴(kuò)展的SID訓(xùn)練和推理框架，確保語(yǔ)義ID能夠快速適應(yīng)物料變化。

此外，優(yōu)化基座模型是提高生成式推薦系統(tǒng)性能的另一個(gè)關(guān)鍵領(lǐng)域。通過訓(xùn)練任務(wù)的組合和采用多種訓(xùn)練方式，例如，多LoRA技術(shù)和混合數(shù)據(jù)策略，可以進(jìn)一步增強(qiáng)模型的表現(xiàn)。推理加速也是優(yōu)化的一個(gè)重要方面，通過模型蒸餾、剪枝和量化等技術(shù)，可以提高系統(tǒng)的響應(yīng)速度和效率。同時(shí)，基座模型的選型與變更，也是持續(xù)追求優(yōu)化效果的一部分。

未來(lái)，可考慮引入搜索query內(nèi)容進(jìn)行搜推一體化建模。此外，引入如用戶推薦理由生成和用戶偏好生成等任務(wù)，可豐富系統(tǒng)的功能并提高用戶的互動(dòng)體驗(yàn)。

?

我們的目標(biāo)是通過持續(xù)的技術(shù)革新，推動(dòng)推薦系統(tǒng)的發(fā)展，實(shí)現(xiàn)更高效、更個(gè)性化的用戶服務(wù)。歡迎對(duì)這一領(lǐng)域感興趣的合作伙伴加入我們，共同探索生成式推薦系統(tǒng)技術(shù)的未來(lái)。

?

六、參考文獻(xiàn)

1.Wang Y, Ren Z, Sun W, et al. Enhanced generative recommendation via content and collaboration integration[J]. arXiv preprint arXiv:2403.18480, 2024.

2.Liao J, Li S, Yang Z, et al. Llara: Large language-recommendation assistant[J]. Preprint, 2024.

3.Zhang Y, Feng F, Zhang J, et al. Collm: Integrating collaborative embeddings into large language models for recommendation[J]. arXiv preprint arXiv:2310.19488, 2023.

4.Zheng B, Hou Y, Lu H, et al. Adapting large language models by integrating collaborative semantics for recommendation[J]. arXiv preprint arXiv:2311.09049, 2023.

5.Wu Y, Feng Y, Wang J, et al. Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search[J]. arXiv preprint arXiv:2404.15675, 2024.

6.Wang W, Bao H, Lin X, et al. Learnable Tokenizer for LLM-based Generative Recommendation[J]. arXiv preprint arXiv:2405.07314, 2024.

7.Rajput S, Mehta N, Singh A, et al. Recommender systems with generative retrieval[J]. Advances in Neural Information Processing Systems, 2024, 36.

8.Zeghidour N, Luebs A, Omran A, et al. Soundstream: An end-to-end neural audio codec[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 30: 495-507.

9.Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023.

10.Zhang Y, Ding H, Shui Z, et al. Language models as recommender systems: Evaluations and limitations[C]//I (Still) Can't Believe It's Not Better! NeurIPS 2021 Workshop. 2021.

11.Zhang J, Xie R, Hou Y, et al. Recommendation as instruction following: A large language model empowered recommendation approach[J]. arXiv preprint arXiv:2305.07001, 2023.

12.Wang L, Lim E P. Zero-shot next-item recommendation using large pretrained language models[J]. arXiv preprint arXiv:2304.03153, 2023.

13.Luo S, He B, Zhao H, et al. RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation[J]. arXiv preprint arXiv:2312.16018, 2023.

14.Liu Y, Wang Y, Sun L, et al. Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models[J]. arXiv preprint arXiv:2402.08670, 2024.

15.Lin X, Wang W, Li Y, et al. Data-efficient Fine-tuning for LLM-based Recommendation[J]. arXiv preprint arXiv:2401.17197, 2024.

16.Lin X, Wang W, Li Y, et al. A multi-facet paradigm to bridge large language model and recommendation[J]. arXiv preprint arXiv:2310.06491, 2023.

17.Li Z, Ji J, Ge Y, et al. PAP-REC: Personalized Automatic Prompt for Recommendation Language Model[J]. arXiv preprint arXiv:2402.00284, 2024.

18.Hua W, Xu S, Ge Y, et al. How to index item ids for recommendation foundation models[C]//Proceedings of the Annual International ACM SIGIR Conference on Research and Development in Information Retrieval in the Asia Pacific Region. 2023: 195-204.

19.Geng S, Tan J, Liu S, et al. VIP5: Towards Multimodal Foundation Models for Recommendation[C]//Findings of the Association for Computational Linguistics: EMNLP 2023. 2023: 9606-9620.

20.Geng S, Liu S, Fu Z, et al. Recommendation as language processing (rlp): A unified pretrain, personalized prompt & predict paradigm (p5)[C]//Proceedings of the 16th ACM Conference on Recommender Systems. 2022: 299-315.

21.Cui Z, Ma J, Zhou C, et al. M6-rec: Generative pretrained language models are open-ended recommender systems[J]. arXiv preprint arXiv:2205.08084, 2022.

22.Chu Z, Hao H, Ouyang X, et al. Leveraging large language models for pre-trained recommender systems[J]. arXiv preprint arXiv:2308.10837, 2023.

23.Bao K, Zhang J, Wang W, et al. A bi-step grounding paradigm for large language models in recommendation systems[J]. arXiv preprint arXiv:2308.08434, 2023.

24.Xu S, Hua W, Zhang Y. Openp5: Benchmarking foundation models for recommendation[J]. arXiv preprint arXiv:2306.11134, 2023.

25.Li L, Zhang Y, Liu D, et al. Large language models for generative recommendation: A survey and visionary discussions[J]. arXiv preprint arXiv:2309.01157, 2023.

26.Li Y, Lin X, Wang W, et al. A Survey of Generative Search and Recommendation in the Era of Large Language Models[J]. arXiv preprint arXiv:2404.16924, 2024.

27.Wei T, Jin B, Li R, et al. Towards Universal Multi-Modal Personalization: A Language Model Empowered Generative Paradigm[C]//The Twelfth International Conference on Learning Representations. 2023.

28.Kenton J D M W C, Toutanova L K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of NAACL-HLT. 2019: 4171-4186.

審核編輯 黃宇