北京
斯坦福大學(xué) CME 295 “Transformer 與大語(yǔ)言模型”課程從 9 月 26 日到 12 月 10 日期間，課程分多講依次展開。首先從 Transformer 基礎(chǔ)講起，包括 NLP 背景、分詞、向量表示等基礎(chǔ)概念以及 Transformer 架構(gòu)。后續(xù)各講分別深入探討基于 Transformer 的模型與技巧、大規(guī)模語(yǔ)言模型的定義架構(gòu)與相關(guān)策略、LLM 的訓(xùn)練、調(diào)優(yōu)、推理、賦予能動(dòng)性、評(píng)估等方面，最后一講聚焦于結(jié)論與未來(lái)趨勢(shì)。
涵蓋：
Transformer：自注意力機(jī)制、架構(gòu)、變體、優(yōu)化技術(shù)（如稀疏注意力、低秩注意力、Flash Attention）
大語(yǔ)言模型 (LLM)：提示 (prompting)、微調(diào)（SFT、LoRA）、偏好調(diào)優(yōu)、優(yōu)化技術(shù)（混合專家模型、知識(shí)蒸餾、量化）
應(yīng)用：LLM 作為評(píng)判者、檢索增強(qiáng)生成 (RAG)、智能體、推理模型（來(lái)自 DeepSeek-R1 的訓(xùn)練時(shí)與測(cè)試時(shí)縮放技術(shù)）
PPT下載：https://cme295.stanford.edu/syllabus/
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
