平行運算：加了核心為什麼沒變快｜記憶體｜多核心｜快取｜Stanford 公開課｜CS149｜上集

大家好，我是 Jim，這裡是 AI Notebook。今天這一集，帶你把史丹佛平行運算 CS149 的前六堂課一起上完，主講的是 Kayvon Fatahalian。這六堂課在回答同一個問題：你換了一台核心數更多的機器，程式為什麼沒有變快多少。第一堂課沒有從投影片開始，講台上放了十六張紙，一個人加完花了四十秒；換成兩個人，四十一點七秒。多出來的時間，都花在把一張紙條從教室這頭送到那頭。這一集從那張紙條出發，看硬體為什麼被逼著走上平行這條路，一顆晶片裡的核心長什麼樣子（超純量、SIMD、多核心、多執行緒），快取為什麼是車庫與書桌，頻寬為什麼是一條撐不起需求的水管，以及工作要怎麼分才不會有人站在旁邊等。真正決定成敗的，從來不是算，是搬。

📌 章節
00:00 開場：一個人四十秒，兩個人四十一點七秒
01:10 Kayvon Fatahalian（Stanford）：真正決定成敗的是搬東西
04:06 Kayvon：十核心只快兩倍，開除還是加薪
07:37 Kayvon：多核心是先做減法，再複製
09:47 Kayvon：SIMD，一個控制器配八個算術單元
12:49 Kayvon：快取是車庫與書桌，一次搬一整排
14:16 Kayvon：硬體多執行緒，卡住就換下一條
17:50 Kayvon：頻寬是水管，頂級卡只用到百分之一
20:03 Kayvon：ISPC，一次派出一整組
21:34 Kayvon：工作怎麼分，靜態切還是動態拿
23:58 Kayvon：Cilk，平行度一層一層長出來
24:45 Kayvon：固有通訊與人為通訊
25:29 總結：每一個想法都在處理搬東西

📎 資料來源
• Stanford CS149 Parallel Computing（2023 秋）課程影片播放清單 https://www.youtube.com/playlist?list=PLoROMvodv4rMp7MTFr4hQsDEcX7Bx6Odp
• CS149 第 1 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=V1tINV2-9p4
• CS149 第 2 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=CKmNpAO5rS4
• CS149 第 3 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=F4bVSyz_jxo
• CS149 第 4 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=0-ztm8SKq70
• CS149 第 5 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=mmO2Ri_dJkk
• CS149 第 6 講（Kayvon Fatahalian） https://www.youtube.com/watch?v=Mhdny2JNhmc

下一集進到繪圖處理器，看它怎麼把這些想法推到極端。

#CS149 #平行運算 #Stanford公開課 #SIMD #多核心 #GPU #JimAINotebook