国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

《線性代數(shù):一名合格科研人的筑基課》第三課丨Transformer如何計(jì)算注意力?

0
分享至


導(dǎo)語(yǔ)

為何AI領(lǐng)域的Transformer模型(如GPT、BERT),能實(shí)現(xiàn)文本生成、圖像識(shí)別、多模態(tài)對(duì)齊等復(fù)雜任務(wù)?其核心并非復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),而是一連串矩陣乘法。以注意力機(jī)制為例,模型通過Query、Key矩陣計(jì)算不同單詞的關(guān)聯(lián)權(quán)重,再通過Value矩陣聚合信息——這一過程本質(zhì)是用矩陣表示“信息關(guān)聯(lián)”,用矩陣乘法實(shí)現(xiàn)“信息編織”。矩陣已成為AI系統(tǒng)處理關(guān)系、傳遞信息的通用工具。


矩陣可以理解為線性映射的數(shù)值表示——當(dāng)兩個(gè)線性空間的基確定后,每個(gè)線性映射都唯一對(duì)應(yīng)一個(gè)矩陣,線性映射的的運(yùn)算則對(duì)應(yīng)的矩陣對(duì)應(yīng)的運(yùn)算。本講將從注意力機(jī)制出發(fā),展示矩陣如何表示用戶偏好、多模態(tài)對(duì)齊乃至社交網(wǎng)絡(luò),并深入探討坐標(biāo)變換背后的哲學(xué)——同一系統(tǒng)在不同視角下呈現(xiàn)不同面貌,而矩陣正是連接這些視角的橋梁。理解這一點(diǎn),你就掌握了現(xiàn)代數(shù)據(jù)科學(xué)的通用語(yǔ)法。


集智學(xué)園聯(lián)合清華大學(xué)數(shù)學(xué)博士諸葛昌靖老師推出「」,并邀請(qǐng)武漢大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院周進(jìn)教授于1月20日、1月27日就特征值與特征向量在復(fù)雜網(wǎng)絡(luò)中的應(yīng)用做特別加餐分享。課程已于12月20日開啟,歡迎加入課程群交流。

主題:線性映射的表示:矩陣與坐標(biāo)變換

課程簡(jiǎn)介

Transformer 模型如何實(shí)現(xiàn)多模態(tài)對(duì)齊?其背后的注意力機(jī)制(Attention Mechanism)其實(shí)是一個(gè)優(yōu)雅的線性代數(shù)過程:模型通過 Query、Key 矩陣計(jì)算不同單詞的關(guān)聯(lián)權(quán)重,再通過 Value 矩陣聚合信息。在這里,矩陣不再僅僅是數(shù)字的方陣,而是承載“關(guān)注點(diǎn)”、“標(biāo)簽”與“信息內(nèi)容”的容器,矩陣乘法則是將這些分散信息“編織”在一起的算子。

如果說前兩講我們構(gòu)建了“向量空間”這一舞臺(tái),討論了線性映射這一連接兩個(gè)空間的橋梁,隨后又引入“內(nèi)積”賦予了其幾何度量,那么本講將聚焦于舞臺(tái)上的具體表演——線性映射的矩陣表示。矩陣的本質(zhì)是線性映射的具體表示——當(dāng)兩個(gè)線性空間的基(坐標(biāo)系)確定后,每個(gè)抽象的線性映射都唯一對(duì)應(yīng)一個(gè)具體的矩陣。這意味著,矩陣是我們通過特定坐標(biāo)系觀察世界的結(jié)果。

圍繞“矩陣運(yùn)算與坐標(biāo)變換”這一核心,課程將深入探討變換背后的哲學(xué):同一系統(tǒng)在不同視角(基底)下會(huì)呈現(xiàn)不同的矩陣面貌,但其內(nèi)在性質(zhì)不變。矩陣乘法通過行與列的運(yùn)作,在代數(shù)上實(shí)現(xiàn)了線性映射的復(fù)合;而逆矩陣、行列式等特殊運(yùn)算,則分別對(duì)應(yīng)著變換的可逆性與體積的縮放,構(gòu)成了我們理解空間變形與刻畫的幾何直覺。

從 Transformer 的注意力計(jì)算到物理學(xué)中的參考系變換,本講將展示矩陣語(yǔ)言的普適性。通過學(xué)習(xí),學(xué)習(xí)者將理解為何“坐標(biāo)變換”是數(shù)據(jù)科學(xué)與物理學(xué)中描述不變性的核心手段,并掌握如何利用矩陣運(yùn)算,在復(fù)雜系統(tǒng)中實(shí)現(xiàn)從局部視角到全局關(guān)系的精確轉(zhuǎn)換。

課程大綱

1. 線性映射的表示:矩陣

  • 實(shí)際應(yīng)用:網(wǎng)絡(luò) (圖) 的表示、計(jì)算機(jī)圖形學(xué)中的世界坐標(biāo)、局部坐標(biāo)和觀察者坐標(biāo)及其相互轉(zhuǎn)換

  • 數(shù)學(xué)應(yīng)用:線性方程組與矩陣的相等

  • 向量組與矩陣的關(guān)系、用矩陣表示線性映射

  • 線性變換與坐標(biāo)變換:不同基下同一個(gè)線性映射的不同表示形式、物理中的坐標(biāo)系

  • 單位矩陣的幾何意義

2、矩陣運(yùn)算

  • 實(shí)際應(yīng)用:生物信息學(xué)中的解卷積、圖的連通性分析

  • 矩陣乘法的定義

  • 核心邏輯:矩陣乘法即線性映射的復(fù)合

3、方陣的特殊運(yùn)算

  • 逆矩陣的存在性與意義

  • 行列式與積分換元公式

  • 三維空間中的叉乘與幾何解釋



課程關(guān)鍵詞

Transformer、注意力機(jī)制、矩陣乘法、線性映射、坐標(biāo)變換、逆矩陣、行列式、基底變換

概念解析|注意力機(jī)制(Attention Mechanism

注意力機(jī)制的 Query–Key–Value 結(jié)構(gòu)本質(zhì)是一組線性映射:Query 表示“我在關(guān)注什么”Key 表示“每個(gè)信息點(diǎn)攜帶的標(biāo)簽”,Value 表示“信息本身”。通過矩陣乘法QK?,模型計(jì)算Query與Key的相似度,得到注意力權(quán)重;再通過權(quán)重與 Value 線性組合達(dá)到“信息提取”的效果。這整個(gè)過程是嚴(yán)格的線性代數(shù)操作,不涉及復(fù)雜非線性。

課程信息

  • 課程主題:Transformer如何計(jì)算注意力?——矩陣乘法如何編碼信息關(guān)聯(lián)與變換

  • 課程時(shí)間:1月10日(周六)晚 18:30–21:30(??特別提示:為彌補(bǔ)元旦停更一周的遺憾,諸葛老師本周“加量不加價(jià)”,請(qǐng)大家提前一小時(shí)上線~下周恢復(fù)19:30開始)

  • 課程形式

    • 騰訊會(huì)議(會(huì)議信息見群內(nèi)通知)

    • 集智學(xué)園網(wǎng)站錄播(3 個(gè)工作日內(nèi)上線)

課程主講人

北京工業(yè)大學(xué)數(shù)學(xué)統(tǒng)計(jì)學(xué)與力學(xué)學(xué)院副研究員,清華大學(xué)數(shù)學(xué)博士,研究方向:計(jì)算系統(tǒng)生物學(xué)。致力于數(shù)學(xué)與生物醫(yī)學(xué)的交叉研究,聚焦癌癥的演化機(jī)制及放化療、血液病、網(wǎng)絡(luò)藥理學(xué)及傳染病等復(fù)雜生物醫(yī)學(xué)問題的多尺度動(dòng)力學(xué)建模與分析。

特別加餐預(yù)告

課程簡(jiǎn)介:

在復(fù)雜網(wǎng)絡(luò)的量化分析與結(jié)構(gòu)解析中,矩陣是刻畫網(wǎng)絡(luò)拓?fù)涮卣鞯暮诵墓ぞ撸删仃囇苌奶卣髦蹬c特征向量,更是解鎖網(wǎng)絡(luò)內(nèi)在規(guī)律的關(guān)鍵鑰匙。那么,究竟有哪些矩陣與特征值、特征向量與復(fù)雜網(wǎng)絡(luò)緊密相關(guān)?這些核心數(shù)學(xué)元素又如何為網(wǎng)絡(luò)節(jié)點(diǎn)與邊的重要性排序提供科學(xué)依據(jù),進(jìn)而幫助我們精準(zhǔn)識(shí)別網(wǎng)絡(luò)中的關(guān)鍵核心與薄弱環(huán)節(jié)?特別加餐將圍繞上述問題展開探討,深入剖析復(fù)雜網(wǎng)絡(luò)語(yǔ)境下矩陣、特征值與特征向量的內(nèi)涵,及其在網(wǎng)絡(luò)重要性排序中的核心作用。

加餐時(shí)間:1 月 20 日、1 月 27 日19:30-21:30(具體安排見群內(nèi)通知)

形式:騰訊會(huì)議(會(huì)議信息見課程群內(nèi)通知)

面向?qū)ο螅?/strong>本課程學(xué)員

主講人:周進(jìn)

武漢大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院教授,博士生導(dǎo)師。二十年來,開展數(shù)學(xué)、復(fù)雜性科學(xué)、智能科學(xué)交叉研究,聚焦于復(fù)雜系統(tǒng)的集群控制和動(dòng)力學(xué)分析。曾獲國(guó)家自然科學(xué)二等獎(jiǎng),教育部自然科學(xué)一等獎(jiǎng),湖北省自然科學(xué)一等獎(jiǎng),獲全國(guó)優(yōu)秀博士論文提名及湖北省優(yōu)秀博士論文。共發(fā)表學(xué)術(shù)論文71篇,其中第一作者/獨(dú)立通訊作者論文65篇,全部為SCI或EI收錄,包括物理學(xué)頂刊Physical Review Letters, 控制學(xué)三大頂刊IEEE Transactions on Automatic Control (長(zhǎng)文和短文)、Automatica及SIAM Journal on Control and Optimization。所發(fā)表論文被國(guó)內(nèi)國(guó)際引用總計(jì)近四千次。主持國(guó)家自然科學(xué)基金項(xiàng)目5項(xiàng);參與專項(xiàng)研究項(xiàng)目1項(xiàng),面上項(xiàng)目多項(xiàng)。指導(dǎo)的博士生獲得國(guó)家自然科學(xué)基金青年學(xué)生基礎(chǔ)研究項(xiàng)目 (博士研究生) 1項(xiàng)。作為骨干成員參與科技部國(guó)家重點(diǎn)研發(fā)計(jì)劃1項(xiàng)。受邀在2024年第二十屆全國(guó)復(fù)雜網(wǎng)絡(luò)大會(huì)、2021年第十七屆中國(guó)網(wǎng)絡(luò)科學(xué)論壇及2016年第十二屆全國(guó)復(fù)雜網(wǎng)絡(luò)大會(huì)上做大會(huì)特邀報(bào)告;2021年在“集智俱樂部”組織的第二期和第三期復(fù)雜網(wǎng)絡(luò)課程中,分別作了題為“復(fù)雜網(wǎng)絡(luò)的同步”和“多層網(wǎng)絡(luò)及其動(dòng)力學(xué)”的專題講座。

  • 加餐主題:透視復(fù)雜網(wǎng)絡(luò)的核心——特征值與特征向量初探

  • 加餐大綱:

    • 復(fù)雜網(wǎng)絡(luò)與矩陣特征。從網(wǎng)絡(luò)的鄰接矩陣與Laplacian矩陣出發(fā),理解網(wǎng)絡(luò)結(jié)構(gòu)如何通過矩陣形式被刻畫。介紹特征值與特征向量在描述網(wǎng)絡(luò)整體結(jié)構(gòu)、連通性與穩(wěn)定性中的基本作用。

    • 復(fù)雜網(wǎng)絡(luò)動(dòng)力學(xué)與矩陣特征。討論網(wǎng)絡(luò)動(dòng)力學(xué)過程(如同步、擴(kuò)散、穩(wěn)定性)與矩陣特征之間的關(guān)系,重點(diǎn)說明關(guān)鍵特征值及特征向量如何影響系統(tǒng)演化行為,以及特征值譜在動(dòng)力學(xué)分析中的解釋意義。

    • 透視復(fù)雜網(wǎng)絡(luò)“核心邊”:討論與網(wǎng)絡(luò)結(jié)構(gòu)和動(dòng)力學(xué)有關(guān)的邊中心性,展示如何利用矩陣特征刻畫網(wǎng)絡(luò)中對(duì)信息傳播與動(dòng)力學(xué)過程起關(guān)鍵作用的邊,幫助理解網(wǎng)絡(luò)中“重要連接”的形成機(jī)制。

    • 透視復(fù)雜網(wǎng)絡(luò)“核心節(jié)點(diǎn)”:從點(diǎn)中心性的角度出發(fā),介紹基于特征向量的中心性指標(biāo),如PageRank、LeaderRank等,說明這些方法如何揭示網(wǎng)絡(luò)中具有全局影響力的關(guān)鍵節(jié)點(diǎn)。

課程適用對(duì)象

  • 數(shù)學(xué)基礎(chǔ)扎實(shí),希望理解線性代數(shù)本質(zhì)及系統(tǒng)應(yīng)用的學(xué)生

  • 對(duì)生物信息學(xué)、系統(tǒng)生物學(xué)、復(fù)雜網(wǎng)絡(luò)與復(fù)雜系統(tǒng)科學(xué)感興趣的跨學(xué)科學(xué)習(xí)者

  • 希望在數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)分析、系統(tǒng)建模領(lǐng)域深入應(yīng)用線性代數(shù)的人

  • 對(duì)邏輯、抽象思維和系統(tǒng)性分析有長(zhǎng)期興趣的公眾學(xué)習(xí)者

報(bào)名須知

  • 課程形式:騰訊會(huì)議,前兩課線上同步直播;集智學(xué)園網(wǎng)站錄播;部分課程設(shè)置線下課

  • 課程周期:2025年12月20日—2026年2月,每周六 19:30–21:30

  • 課程定價(jià)

  • 全部課程原價(jià) 599 元(注:早鳥優(yōu)惠已于第二講結(jié)束時(shí)截止)

可開發(fā)票

https://campus.swarma.org/course/5657

付費(fèi)流程

1. 掃碼付費(fèi);

2. 課程頁(yè)面添加學(xué)員登記表,添加助教微信入群;

3. 課程可開發(fā)票。

線性代數(shù):一名合格科研人的筑基課

在科研世界中,無論你研究的是人工智能、生物信息、網(wǎng)絡(luò)科學(xué),還是物理與工程,幾乎所有復(fù)雜系統(tǒng)的建模與推理,最終都會(huì)指向同一種底層語(yǔ)言——線性代數(shù)。

它不僅是一組計(jì)算公式,更是一名科研人理解“結(jié)構(gòu)”、刻畫“變換”、判斷“穩(wěn)定性”、提取“有效信息”的基本思維框架。本課程以系統(tǒng)科學(xué)的視角重新解構(gòu)線性代數(shù),帶你越過技巧,直達(dá)本質(zhì),在跨學(xué)科的真實(shí)問題中建立起堅(jiān)實(shí)而可遷移的數(shù)學(xué)基礎(chǔ)。


詳情請(qǐng)見:

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
太刺激了!歐冠16強(qiáng)抽簽前瞻:沒有回避原則,皇馬曼城恐提前廝殺

太刺激了!歐冠16強(qiáng)抽簽前瞻:沒有回避原則,皇馬曼城恐提前廝殺

凌晨四點(diǎn)馬德里
2026-02-26 11:03:36
3月,6款新車一旦公布價(jià)格,18款車可能會(huì)降價(jià)

3月,6款新車一旦公布價(jià)格,18款車可能會(huì)降價(jià)

魚湯趣視界
2026-02-26 11:01:45
被北京制裁后,日本一片哀嚎,高市下決心:5年內(nèi)從中國(guó)東邊反擊

被北京制裁后,日本一片哀嚎,高市下決心:5年內(nèi)從中國(guó)東邊反擊

輝哥說動(dòng)漫
2026-02-26 05:11:27
被對(duì)手貼臉挑釁,伊萬(wàn)-托尼:我這輩子都沒聞過這么臭的口氣

被對(duì)手貼臉挑釁,伊萬(wàn)-托尼:我這輩子都沒聞過這么臭的口氣

懂球帝
2026-02-25 12:49:05
中方:對(duì)英方有關(guān)做法強(qiáng)烈不滿!

中方:對(duì)英方有關(guān)做法強(qiáng)烈不滿!

占豪
2026-02-26 00:02:47
周躍龍4-1勝世界第2,16強(qiáng)對(duì)陣賽程出爐中國(guó)5席趙心童VS世界冠軍

周躍龍4-1勝世界第2,16強(qiáng)對(duì)陣賽程出爐中國(guó)5席趙心童VS世界冠軍

求球不落諦
2026-02-26 06:28:55
吳京的X取向有問題!?

吳京的X取向有問題???

八卦瘋叔
2026-02-26 10:46:18
【新春走基層】“搭積木”闖三大難關(guān) 4650米“生命禁區(qū)”綻放“太陽(yáng)花”

【新春走基層】“搭積木”闖三大難關(guān) 4650米“生命禁區(qū)”綻放“太陽(yáng)花”

閃電新聞
2026-02-25 08:48:33
3-10到13-11!國(guó)乒女雙超級(jí)大逆轉(zhuǎn),馬琳卻搓臉不敢看

3-10到13-11!國(guó)乒女雙超級(jí)大逆轉(zhuǎn),馬琳卻搓臉不敢看

曹老師評(píng)球
2026-02-25 14:36:16
江蘇兩條雙向十車道高速建設(shè)取得突破性進(jìn)展,都完成半幅建設(shè)任務(wù)

江蘇兩條雙向十車道高速建設(shè)取得突破性進(jìn)展,都完成半幅建設(shè)任務(wù)

水泥土的搞笑
2026-02-25 11:38:47
連爆大冷16強(qiáng)決出11席:常冰玉出局!趙心童4-2豪取11連勝

連爆大冷16強(qiáng)決出11席:常冰玉出局!趙心童4-2豪取11連勝

求球不落諦
2026-02-26 05:04:46
雷克薩斯ES雙色特別版上市 售30.79萬(wàn)元起

雷克薩斯ES雙色特別版上市 售30.79萬(wàn)元起

車質(zhì)網(wǎng)
2026-02-26 09:20:11
“80后”廳官王正儒,被查!

“80后”廳官王正儒,被查!

阜陽(yáng)發(fā)布
2026-02-25 20:18:18
一路走好!2026春節(jié)才過7天,已有6位大佬離世,最年輕的才40歲

一路走好!2026春節(jié)才過7天,已有6位大佬離世,最年輕的才40歲

鯨探所長(zhǎng)
2026-02-24 19:34:36
浴缸陪睡只是冰山一角,多位助理服務(wù)明星方式曝光,一個(gè)個(gè)太離譜

浴缸陪睡只是冰山一角,多位助理服務(wù)明星方式曝光,一個(gè)個(gè)太離譜

完善法
2026-02-26 01:16:24
不出意外!2026年3月起,房子、車子、存款或?qū)⒂瓉碇卮蟾淖?>
    </a>
        <h3>
      <a href=財(cái)經(jīng)保探長(zhǎng)
2026-02-23 19:40:52
“姐夫月薪上萬(wàn),讓他拿50萬(wàn)給我買房”姐姐:滾,你還沒那個(gè)資格

“姐夫月薪上萬(wàn),讓他拿50萬(wàn)給我買房”姐姐:滾,你還沒那個(gè)資格

廣西秦胖胖
2026-02-25 10:19:46
離岸人民幣匯率升破6.84創(chuàng)36個(gè)月新高,專家:有三個(gè)原因

離岸人民幣匯率升破6.84創(chuàng)36個(gè)月新高,專家:有三個(gè)原因

觀察者網(wǎng)
2026-02-26 10:26:10
為避伯納烏飛象,穆里尼奧隱身大巴,拒絕溫情重逢

為避伯納烏飛象,穆里尼奧隱身大巴,拒絕溫情重逢

體壇周報(bào)
2026-02-26 10:46:13
1942年潛伏在日偽心臟的中共特工送來手繪圖,粟裕:槍斃電報(bào)科長(zhǎng)

1942年潛伏在日偽心臟的中共特工送來手繪圖,粟裕:槍斃電報(bào)科長(zhǎng)

讓時(shí)間說真話
2024-05-13 22:06:58
2026-02-26 11:47:00
集智俱樂部 incentive-icons
集智俱樂部
科普人工智能相關(guān)知識(shí)技能
5674文章數(shù) 4664關(guān)注度
往期回顧 全部

科技要聞

單季營(yíng)收681億凈利429億!英偉達(dá)再次炸裂

頭條要聞

"霍金與比基尼女性同游照"現(xiàn)愛潑斯坦檔案 曾被"辟謠"

頭條要聞

"霍金與比基尼女性同游照"現(xiàn)愛潑斯坦檔案 曾被"辟謠"

體育要聞

從排球少女到冰壺女神,她在米蘭冬奧練出6塊腹肌

娛樂要聞

尼格買提撒貝寧滑雪被偶遇 17年老友情

財(cái)經(jīng)要聞

短劇市場(chǎng)風(fēng)云突變!有人投百萬(wàn)賠得精光

汽車要聞

第五代宏光MINIEV煥新 四門玩趣代步車來襲

態(tài)度原創(chuàng)

時(shí)尚
家居
藝術(shù)
房產(chǎn)
軍事航空

倫敦時(shí)裝周|2026秋冬流行趨勢(shì)早知道

家居要聞

歸隱于都市 慢享自由

藝術(shù)要聞

2025年百家金陵畫展 | 油畫作品選刊

房產(chǎn)要聞

2.2萬(wàn)/m2起!三亞主城性價(jià)比標(biāo)桿 海墾·桃花源實(shí)景現(xiàn)房春節(jié)被瘋搶

軍事要聞

美政府給新伊核協(xié)議設(shè)限內(nèi)容遭披露

無障礙瀏覽 進(jìn)入關(guān)懷版