導(dǎo)語

集智俱樂部、集智學(xué)園創(chuàng)始人，北京師范大學(xué)張江教授開設(shè)了，致力于打破學(xué)科壁壘，將復(fù)雜系統(tǒng)與人工智能深度融合。從神經(jīng)網(wǎng)絡(luò)到因果推斷，從世界模型到多尺度建模，甚至包含最前沿的“氛圍編程（Vibe Coding）”實戰(zhàn)，帶你親手落地AI項目。

作為系列課程的第四講，張江教授將以「表示學(xué)習」為主題，講解深度學(xué)習與表示學(xué)習的關(guān)系、詞向量技術(shù)原理、遷移學(xué)習原理，以及預(yù)訓(xùn)練與微調(diào)范式。正式分享將于3月30日（周一）13:30-16:15騰訊會議線上直播，北師大海淀區(qū)線下授課（助教可協(xié)助入校）。

課程簡介

深度學(xué)習這個名字有些誤導(dǎo)——核心不在于層數(shù)有多深，而在于兩件事同時成立：自動微分讓任意可微結(jié)構(gòu)都能端到端訓(xùn)練，表示學(xué)習讓模型從數(shù)據(jù)中自動抽取有用特征，無需人工設(shè)計。正是這兩者的結(jié)合，使當下的 AI 系統(tǒng)能夠處理文字、圖結(jié)構(gòu)、圖像等不同形態(tài)的數(shù)據(jù)。

本節(jié)課程沿三條主線展開。詞嵌入部分從 one-hot 編碼的缺陷出發(fā)，推導(dǎo)出用稠密向量表示語義的必要性，覆蓋 NPLM、Word2Vec（CBOW 與 Skip-gram）、GloVe 及其訓(xùn)練技巧（層次 softmax、負采樣）。圖表示部分把同樣的思路延伸到結(jié)構(gòu)化數(shù)據(jù)，從 DeepWalk、Node2Vec 到圖卷積網(wǎng)絡(luò)（GCN），再到知識圖譜嵌入，展示表示學(xué)習如何捕捉圖中的拓撲關(guān)系。遷移學(xué)習與預(yù)訓(xùn)練微調(diào)部分則回答一個更根本的問題：一個領(lǐng)域?qū)W到的表示，能否遷移到另一個領(lǐng)域？從 CNN 特征復(fù)用到預(yù)訓(xùn)練加微調(diào)的訓(xùn)練范式，說明表示的可遷移性是現(xiàn)代大模型得以規(guī)模化的前提條件。學(xué)完這門課，能看清表示學(xué)習是一條貫穿不同數(shù)據(jù)模態(tài)和不同任務(wù)的主線。

課程大綱

1. 表示學(xué)習基礎(chǔ)

• Autoencoder的編碼器-解碼器結(jié)構(gòu)與降維原理

• 自動微分與表示學(xué)習作為深度學(xué)習的兩大并列支柱

詞向量：文本的表征學(xué)習

• One-hot 編碼的局限：稀疏性與無法度量相似性

• NPLM：Bengio 2003 年的神經(jīng)概率語言模型

• Word2Vec：CBOW（上下文預(yù)測中心詞）與 Skip-gram（中心詞預(yù)測上下文）

• 訓(xùn)練加速：Hierarchical Softmax 與 Negative Sampling

• GloVe：基于全局共現(xiàn)統(tǒng)計的詞向量

圖表示學(xué)習

• 圖的表示方式：鄰接矩陣與節(jié)點特征

• DeepWalk：隨機游走 + Word2Vec，將圖節(jié)點映射為向量

• Node2Vec：BFS/DFS 可調(diào)的有偏隨機游走（同質(zhì)性 vs 結(jié)構(gòu)等價性）

• 圖卷積網(wǎng)絡(luò)（GCN）：鄰居消息聚合的矩陣形式

• 知識圖譜嵌入：TransE / TransH 的平移模型

遷移學(xué)習

• 遷移學(xué)習的定義：源任務(wù)知識遷移到目標任務(wù)

• CNN 中的遷移：預(yù)訓(xùn)練特征層 + 新任務(wù)輸出層

• 應(yīng)用案例：衛(wèi)星遙感圖像 → 非洲貧困程度預(yù)測

預(yù)訓(xùn)練與微調(diào)

• 預(yù)訓(xùn)練（Stage I）：基礎(chǔ)模型 + 自監(jiān)督學(xué)習

• 微調(diào)（Stage II）：下游任務(wù)適配 + 遷移學(xué)習

• 圖注意力網(wǎng)絡(luò)（GAT）用于鏈路預(yù)測與節(jié)點分類

關(guān)鍵術(shù)語

1. 表示學(xué)習（Representation Learning）：讓模型自動學(xué)習數(shù)據(jù)的低維稠密表示，而非人工設(shè)計特征

2. 自編碼器（Autoencoder）：通過重建輸入來學(xué)習壓縮表示的無監(jiān)督神經(jīng)網(wǎng)絡(luò)

3. 詞嵌入（Word Embedding）：將詞映射為稠密實數(shù)向量，使語義相近的詞在空間中距離相近

4. CBOW / Skip-gram：Word2Vec 的兩種訓(xùn)練方式；CBOW 用上下文預(yù)測中心詞，Skip-gram 反之

5. 負采樣（Negative Sampling）：將 Softmax 分類問題轉(zhuǎn)化為二分類問題以加速訓(xùn)練

6. DeepWalk：對圖做隨機游走生成節(jié)點序列，再用 Skip-gram 訓(xùn)練節(jié)點向量

7. Node2Vec：通過 p/q 參數(shù)控制游走策略，在同質(zhì)性與結(jié)構(gòu)等價性之間平衡

8. 圖卷積網(wǎng)絡(luò)（GCN）：通過鄰居特征聚合在圖結(jié)構(gòu)上做卷積運算的神經(jīng)網(wǎng)絡(luò)

9. 知識圖譜嵌入（KG Embedding）：將實體和關(guān)系映射為向量，并進行約束訓(xùn)練

10. 預(yù)訓(xùn)練 + 微調(diào)（Pretrain + Fine-tune）：先在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練基礎(chǔ)模型，再在特定任務(wù)上微調(diào)

課程信息

課程主題：表示學(xué)習

課程時間：2026年3月30日（周一） 13:30-16:15

課程形式：騰訊會議（會議信息見群內(nèi)通知）/北師大海淀區(qū)線下授課（助教可協(xié)助入校）；集智學(xué)園網(wǎng)站錄播（3個工作日內(nèi)上線）

課程主講人

張江，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授，集智俱樂部、集智學(xué)園創(chuàng)始人，集智科學(xué)研究中心理事長，曾任騰訊研究院、華為戰(zhàn)略研究院等特聘顧問。主要研究領(lǐng)域包括因果涌現(xiàn)、復(fù)雜系統(tǒng)分析與建模、規(guī)模理論等。

個人主頁：https://jake.swarma.org/

課程適用對象

1. 理工科背景高年級本科生

2. 理工科背景碩士、博士研究生

報名須知

1. 課程形式：

1. 參與方式：付費學(xué)員可參與騰訊會議直播/北師大海淀區(qū)線下授課（助教可協(xié)助入校）

2. 授課形式：

1. 平時：課堂討論與內(nèi)容共創(chuàng)

2. 結(jié)課：項目匯報

2. 課程周期：2026年3月2日-2026年6月22日，每周一 13:30-16:15進行。

3. 課程定價：399元

課程鏈接：https://campus.swarma.org/v3/course/5684?from=wechat

付費流程：

2. 課程頁面添加學(xué)員登記表，添加助教微信入群；

3. 課程可開發(fā)票。

課程共創(chuàng)任務(wù)：課程字幕

為鼓勵學(xué)員深度參與、積極探索，我們致力于形成系列化知識傳播成果，并構(gòu)建課程知識共建社群。為此，我們特別設(shè)立激勵機制，讓您的學(xué)習之旅滿載收獲與成就感。

課程以老師講授為主，每期結(jié)束后，助教會于課程群內(nèi)發(fā)布字幕共創(chuàng)任務(wù)。學(xué)員通過參與這些任務(wù)，不僅能加深對內(nèi)容的理解，還可獲得積分獎勵。積分可兌換其他讀書會課程或?qū)嵨铼勂罚δ某掷m(xù)成長。

推薦課程

參考課程

1. 吳恩達：Build with Andrew https://www.deeplearning.ai/courses/build-with-andrew/

2. Jure Leskovec: Machine Learning with Graphs, StanfordCS224W.https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

3. Steve Brunton: Data Driven Science and Engineering, University of Washingtonhttps://www.youtube.com/playlist?list=PLMrJAkhIeNNRpsRhXTMt8uJdIGz9-X_1-

4. Karthik Duraisamy: DATA-DRIVEN ANALYSIS AND MODELING OF COMPLEX SYSTEMS, Michigen institute for computational discovery and engineering, Michigen University.https://micde.umich.edu/academic-programs-old/data-driven-course/

5. Sergey Levine: Deep Reinforcement Learning, CS 285 at UC Berkeley.http://rail.eecs.berkeley.edu/deeprlcourse/

【集智學(xué)園網(wǎng)站資源】

1. 對復(fù)雜系統(tǒng)連續(xù)變化自動建?！狽eural Ordinary Differential Equations解讀https://campus.swarma.org/course/2046

2. 復(fù)雜網(wǎng)絡(luò)自動建模在大氣污染中的應(yīng)用https://campus.swarma.org/course/1998

3. 兩套因果框架深度剖析：潛在結(jié)果模型與結(jié)構(gòu)因果模型https://campus.swarma.org/course/2526

4. 穩(wěn)定學(xué)習：發(fā)掘因果推理和機器學(xué)習的共同基礎(chǔ)https://campus.swarma.org/course/2323

5. 因果強化學(xué)習https://campus.swarma.org/course/2156

6. 張江：因果與機器學(xué)習能夠破解涌現(xiàn)之謎嗎https://campus.swarma.org/course/4540

7. 因果涌現(xiàn)理論提出者：Erik Hoel主題報告https://campus.swarma.org/course/4317

8. 如何從數(shù)據(jù)中發(fā)現(xiàn)因果涌現(xiàn)——神經(jīng)信息壓縮器https://campus.swarma.org/course/4874

9. 標準化流技術(shù)簡介https://campus.swarma.org/course/1999

10. 帶隱狀態(tài)的強化學(xué)習世界模型https://campus.swarma.org/course/4848