<blockquote>
<p>金磊 發自 凹非寺</p>
<p>量子位 | 公眾號 QbitAI</p>
</blockquote>
<p><strong>馬斯克</strong>的 “開源承諾”，終於如約而至。</p>
<p>就在剛剛，馬斯克正式宣佈：</p>
<blockquote>
<p>大部分（Twitter 的）<strong>推薦算法</strong>將在今天開源，剩下的也會跟進。</p>
</blockquote>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/9f44cbb40dda48fd8ba3ca3ab934bc44~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVRjZmFKd1UwWklMcEtVL2RsU29zS09GV0pHWT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="161" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/9f44cbb40dda48fd8ba3ca3ab934bc44~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVRjZmFKd1UwWklMcEtVL2RsU29zS09GV0pHWT0"/></div>
<p>而且馬斯克緊接着亮出了 GitHub 上 Twitter 推薦算法源代碼的地址。</p>
<p>僅僅數小時，便攬獲<strong>上萬</strong>個 Star：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c45e0998b2e94bb9b93a53a13b72e07e~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUo5eEZvaTVrUEErZFBrc0hNK0FNYlppY2JxWT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="409" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c45e0998b2e94bb9b93a53a13b72e07e~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUo5eEZvaTVrUEErZFBrc0hNK0FNYlppY2JxWT0"/></div>
<p>除此之外，馬斯克還表示：</p>
<blockquote>
<p>推特將每 24 到 48 小時更新一次基於用户建議的推薦算法。</p>
</blockquote>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/031c866baaa6419dac1bb66cd6e8d96d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPS91ejJ4Tzc0c0s1ZzllYnJ2MGJLUWdHYXp2UT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="546" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/031c866baaa6419dac1bb66cd6e8d96d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPS91ejJ4Tzc0c0s1ZzllYnJ2MGJLUWdHYXp2UT0"/></div>
<p>至此，這個號稱每天從 5 億條推文做推薦的大算法的廬山真面目，終於得以露出。</p>
<h1>Twitter 的推薦算法長什麼樣？</h1>
<p>據介紹，Twitter 的推薦系統基於一組核心模型和功能，可以從推文、用户和互動數據中提取潛在信息。</p>
<p>這些模型的作用是回答 Twitter 網絡中的重要問題，例如，“未來你與另一個用户互動的概率是多少？” 或者，“Twitter 上有哪些社區以及其中的趨勢推文是什麼？”</p>
<p>若是能夠準確回答這些問題，就可以讓 Twitter 提供更多相關的推薦。</p>
<p>Twitter 的推薦系統由三大部分構成：</p>
<ul>
<li>從不同的推薦源獲取最好的推文，這個過程稱為候選源。</li>
<li>使用機器學習模型對每條推文進行排名。</li>
<li>應用 heuristics 和 filters，例如過濾來自已屏蔽用户的推文、NSFW 內容和已看到的推文。</li>
</ul>
<p>負責構建和提供 “For You” 時間軸的服務被稱為 “Home Mixer”。</p>
<p>“Home Mixer” 建立在 “Product Mixer” 之上，這是定製的 Scala 框架，有助於構建內容的動態流。</p>
<p>這項服務作為軟件主幹，連接不同的候選源、評分函數、heuristics 和 filters。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f6b52cc4d0d245138ed0119fb0dc0a90~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVV2dm5IUTZna2hCUUJtb0pVYWtTVDgzU3NnST0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="205" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/f6b52cc4d0d245138ed0119fb0dc0a90~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPVV2dm5IUTZna2hCUUJtb0pVYWtTVDgzU3NnST0"/></div>
<h1>候選源（Candidate Sources）</h1>
<p>Twitter 使用多個候選源來為用户檢索最近和相關的推文。</p>
<p>對於每個請求，推特嘗試通過這些源從數億條推文池中提取最佳的 1500 條。</p>
<p>從您關注的人（內部網絡）和不關注的人（外部網絡）中尋找候選人。</p>
<p>如今，“為您推薦” 時間軸平均由 50％的內部網絡推文和 50％的外部網絡推文組成（儘管這可能因用户而異）。</p>
<h1>內部網絡資源（In-Network Source）</h1>
<p>內部網絡資源是最大的候選來源，旨在提供關注的用户最相關、最新的推文。</p>
<p>它使用邏輯迴歸模型高效地對關注的人的推文進行排名，以其相關性為基礎。然後將排名最高的推文發送到下一階段。</p>
<p>排名內部網絡推文最重要的組成部分是 Real Graph。</p>
<p>Real Graph 是一種模型，用於預測兩個用户之間的互動可能性。用户和推文作者之間的 Real Graph 分數越高，就會包括更多他們的推文。</p>
<p>內部網絡來源最近成為 Twitter 的研究對象。最近 Twitter 停止使用 Fanout 服務，這是一個 12 年前用來從每個用户的推文緩存中提供內部網絡推文的服務。</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a9fae1aa32954aefa2acff02f0a0880d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUZHSHVQYzJiamRpeE9uaWhkTS9zTlQzR0d2az0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="327" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/a9fae1aa32954aefa2acff02f0a0880d~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPUZHSHVQYzJiamRpeE9uaWhkTS9zTlQzR0d2az0"/></div>
<h1>外部網絡資源（Out-of-Network Sources）</h1>
<p>在用户網絡之外尋找相關的推文是一個棘手的問題。</p>
<p>因為如果你不關注作者，怎麼知道某條推文是否與你相關？</p>
<p>為此，Twitter 採取了兩種方法來解決這個問題。</p>
<p>一個是社交圖（Social Graph）。</p>
<p>這個方法是通過分析你關注的人或有相似興趣的人的活動，來估計你會發現什麼是相關的。</p>
<p>主要遍歷參與的圖，並按照以下步驟回答以下問題：</p>
<ul>
<li>我關注的人最近在 Twitter 上發了什麼消息？</li>
<li>誰和我一樣喜歡類似的推文，他們最近還喜歡什麼？</li>
</ul>
<p>團隊根據這些問題的答案生成候選推文，並使用 Logit 模型對產生的推文進行排名。</p>
<p>這種類型的圖形遍歷對於外部網絡推薦是必不可少的；團隊開發了 GraphJet，一個維護用户和推文之間實時交互圖的圖形處理引擎，來執行這些遍歷。</p>
<p>雖然這種搜索 Twitter 參與和關注網絡的啓發式方法已經被證明是有用的，但嵌入式空間方法已經成為外部網絡推文的更大來源。</p>
<p>第二個是嵌入空間（Embedding Spaces）。</p>
<p>嵌入式空間方法旨在回答一個關於內容相似性的更普遍的問題——什麼推文和用户與我的興趣相似？</p>
<p>Embeddings 通過生成用户興趣和推文內容的數字表示來工作。然後可以計算這個嵌入空間中任意兩個用户之間的相似度，推文或用户 - 推文 對。</p>
<p>只要生成準確的 embedding，就可以使用這種相似性作為相關性的替代。</p>
<p>Twitter 最有用的嵌入空間之一是 SimClusters。</p>
<p>SimClusters 使用自定義矩陣分解算法發現由一羣有影響力的用户錨定的社區（有 14.5 萬個社區，每三週更新一次）。</p>
<p>用户和推文在社區空間中表示，並且可以屬於多個社區。社區的規模從個人朋友羣的幾千名用户到新聞或流行文化的數億用户不等：</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c9a943f778da45c5aa49b5af3e4346c6~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPXYzblU5VCtvSGRlaWVScHNzQ1lLVUMvRXhHUT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="419" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/c9a943f778da45c5aa49b5af3e4346c6~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPXYzblU5VCtvSGRlaWVScHNzQ1lLVUMvRXhHUT0"/></div>
<p>……</p>
<p>更多與之相關的詳細內容，可戳文末鏈接～</p>
<h1>One More Thing</h1>
<p>Twitter 的算法開源了，然後手快的網友吧……都已經開始根據算法總結怎麼成為大 V 了：</p>
<p>你關注的人數和關注你的人數比例很重要、訂閲 TwitterBlue 有一定作用……</p>
<div><img src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/854265c705574ceb9fb7d14354c5c66c~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPU9Sa1Z6QWtwZlhhUzErOVRmV2Y2WDdCOFRqQT0?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="640" height="663" original-src="https://imageproxy.pbkrs.com/https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/854265c705574ceb9fb7d14354c5c66c~tplv-tt-shrink:640:0.image/query-dHJhY2VpZD0yMDIzMDQwMTEyNDY1NDE4OTM2NTY0MjJFMTE5QUNGRDBDJngtZXhwaXJlcz0yMTQ3NDgzNjQ3Jngtc2lnbmF0dXJlPU9Sa1Z6QWtwZlhhUzErOVRmV2Y2WDdCOFRqQT0"/></div>
<p>參考鏈接：<br/>[1] https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm<br/>
[2] https://github.com/twitter/the-algorithm<br/>
[3] https://twitter.com/elonmusk/status/1641874582473695246<br/>
[4] https://twitter.com/steventey/status/1641892386564640768?s=46&amp;t=iTysI4vQLQqCNJjSmBODPw</p>

<p>網友已經在總結怎麼成大 V 了</p>

馬斯克開源 Twitter 推薦算法，GitHub 秒破萬星，還承諾每 24-48 小時進化一次