1.?OpenAI掌門人Sam Altman：AI的下一個發(fā)展階段
各種AI工具已顯現(xiàn)出巨大的日常應(yīng)用潛力，可以實現(xiàn)人類的各種想法，改善人類的工作方式，比如由Stability.ai發(fā)布的開源Stable Diffusion模型，Microsoft和OpenAI聯(lián)合打造的AI編程工具Copilot，OpenAI開發(fā)的語言生成模型GPT-3和圖像生成平臺DALL-E以及爆火的聊天機器人模型ChatGPT。
肩負著宏偉使命且極富遠見的Altman就曾預(yù)言：AI即將迎來下一個發(fā)展階段。如今，大型語言模型越來越先進，也出現(xiàn)了可以實現(xiàn)文本-圖像相互轉(zhuǎn)換的多模態(tài)模型，一些AI應(yīng)用還可令科學(xué)家如虎添翼。在他眼中，AI是一個可以孵化出無數(shù)工具，推動各行各業(yè)前進的基礎(chǔ)平臺。
(資料圖片)
鏈接：
https://mp.weixin.qq.com/s/Ek5Xyj2gg-sA8ZIepx0PKA
3. 人工智能300年：LSTM之父詳解現(xiàn)代AI和深度學(xué)習(xí)發(fā)展史
最近，LSTM之父Jürgen Schmidhuber梳理了17世紀以來人工智能的歷史。在這篇萬字長文中，Schmidhuber為讀者提供了一個大事年表，其中包括神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、人工智能等領(lǐng)域的重要事件，以及那些為AI奠定基礎(chǔ)的科學(xué)家們。
鏈接：
https://mp.weixin.qq.com/s/TfwA4x8dU_rMhC0fuE-xYw
4.?編程的終結(jié)
作者Matt Welsh相信“編寫程序”的傳統(tǒng)想法正在走向終結(jié)，事實上，除了非常專業(yè)的應(yīng)用程序之外，我們所知道的大多數(shù)軟件將被經(jīng)過訓(xùn)練而不是編程的人工智能系統(tǒng)所取代。在需要“簡單”程序的情況下（畢竟，并非所有內(nèi)容都需要在GPU集群上運行數(shù)千億個參數(shù)的模型），這些程序本身將由AI生成，而不是手動編碼。
鏈接：
https://mp.weixin.qq.com/s/EYWR1o-CoDTBvqgIGOl5Ww
5. ChatGPT的一小步，NLP范式轉(zhuǎn)變的一大步
在此前《ChatGPT進化的秘密》一文中，本文作者剖析了ChatGPT的技術(shù)路線圖。而在ChatGPT發(fā)布前，作者詳細介紹了大模型的突現(xiàn)能力、以及它在NLP/ML任務(wù)中的潛在優(yōu)勢，以此來探討大模型所帶來的“潛在的”范式轉(zhuǎn)變。顯然，后來ChatGPT所展現(xiàn)出的強大能力，將這種轉(zhuǎn)變的步伐扎實地推進了一大步。
鏈接：
https://mp.weixin.qq.com/s/g_zKgURavorkvS7FoOVg3g
6. 熱議：2023年AI系統(tǒng)方向會有哪些新的進展？
2023年，討論新的一年AI系統(tǒng)方向會有哪些新的進展，包括硬件、軟件，模型優(yōu)化、系統(tǒng)優(yōu)化，單設(shè)備優(yōu)化、scale-out優(yōu)化。
@齊俊：AI System很大程度上是由AI workload來推動向前發(fā)展的，講一個發(fā)展方向：提高被集成的能力。
@楊軍：關(guān)注了最近非常hot的ChatGPT，除了了解從模型角度這個技術(shù)所能帶來的增益，以及其背后的技術(shù)淵源，也在結(jié)合自己的從業(yè)角度思考支撐這類模型技術(shù)演化以及更進一步支撐未來AI領(lǐng)域模型演化，會對AI系統(tǒng)提出哪些要求。
鏈接：
https://www.zhihu.com/question/576114739/answer/2826097569
7.?對比PyTorch、TensorFlow、JAX、Theano，我發(fā)現(xiàn)都在關(guān)注兩大問題
最近，作者在處理 PyTorch 分布式和 TorchRec 相關(guān)的工作，為此，他開始學(xué)習(xí) PyTorch 2.0。在業(yè)余時間，我也在跟著Alpa作者學(xué)習(xí)JAX和XLA。
如今回顧這些技術(shù)，他發(fā)現(xiàn)它們的關(guān)注點似乎都是如下兩個問題：1. 包含自動求導(dǎo)和并行在內(nèi)的函數(shù)轉(zhuǎn)換，例如 vmap, pmap 和 pjit 等；2.異構(gòu)計算，CPU 負責(zé)控制流，GPU/TPU 負責(zé)張量計算和集合通信。
鏈接：
https://mp.weixin.qq.com/s/BfgirrHFDNpTxbhCz1qqlg
8.?如何看待PyTorch 2.0（TorchDynamo）？
Graph capture把用戶Python寫的模型代碼變成graph，是一切編譯的根基。而PyTorch在試了這么多方案之后似乎已經(jīng)鎖定TorchDynamo作為graph capture的未來方向了，所以寫一點關(guān)于 TorchDynamo 的內(nèi)容，主要是解釋到底為什么要做這個東西。
鏈接：
https://mp.weixin.qq.com/s/VM3tPbmxHVOBWDvoo2U4hQ
9.?TorchDynamo初探：Python ByteCode的動態(tài)修改
本文對 Python 的執(zhí)行和 TorchDynamo 的主要原理做了初探，主要是自定義 Eval Frame 的實現(xiàn)技巧。其它相關(guān)的 Python ByteCode 標準，ByteCode 到 FX Graph 的轉(zhuǎn)換，ByteCode 的改寫等內(nèi)容還沒涉及。
鏈接：
https://mp.weixin.qq.com/s/6eK9wtUU_jpuJTWfXdW6xg
10.?聊聊 PyTorch 2.0（Inductor）
年末在疫情的籠罩下，人工智能領(lǐng)域發(fā)布了不少新進展。最火的當(dāng)然是 AIGC(ChatGPT, Diffusion Models)，不過PyTorch 2.0也賺足了眼球。
借此機會來聊聊PyTorch 2.0里面大家比較關(guān)注但是還沒有足夠重視的部分TorchInductor：Inductor 的進展速度不容小覷，它僅在計劃發(fā)布后短短的幾個月便在 huggingface, timm_models, torchbench 等諸多模型上面取得1.6~2.2倍的加速(Nv A100 GPU)。那么Inductor取得高效迭代和性能收益依靠的是什么？
鏈接：
https://zhuanlan.zhihu.com/p/595996564
11.?如何寫一個深度學(xué)習(xí)編譯器？
編譯器本質(zhì)上是一種提高開發(fā)效率的工具，將高級語言轉(zhuǎn)換為低級語言（通常是二進制機器碼），使得程序員不需要徒手寫二進制。轉(zhuǎn)換過程中，首要任務(wù)是保證正確性，同時需要進行優(yōu)化以提升程序的運行效率。
傳統(tǒng)意義上的編譯器的輸入通常是某種高級語言，輸出是可執(zhí)行程序。在實際工作中接觸到了深度學(xué)習(xí)編譯器開發(fā)，其設(shè)計思想與傳統(tǒng)編譯器非常類似，所以本文以深度學(xué)習(xí)編譯器的開發(fā)、結(jié)合我們實際開發(fā)的深度學(xué)習(xí)編譯器MegCC為例，來說明如何寫一個編譯器。
鏈接：
https://zhuanlan.zhihu.com/p/594619136
12.?GPGPU架構(gòu)，編譯器和運行時
鏈接：
https://zhuanlan.zhihu.com/p/592975749
13.?CUDA筆記（二）：解析OneFlow BatchNorm相關(guān)算子實現(xiàn)
在CUDA優(yōu)化中常見的一個技巧是，將一些ElementWise的算子融合到之前的計算密集型算子如卷積、矩陣乘等。在OneFlow中，針對上述兩種情況并且cudnn無法fuse時分別進行了fuse和優(yōu)化，本篇文章就來解析一下這里的代碼實現(xiàn)，體會其中的CUDA優(yōu)化技巧。
鏈接：
https://mp.weixin.qq.com/s/NbSs8Rxu3-CebJpoHN_D_w
14.?YOLOv5全面解析教程②：如何制作訓(xùn)練效果更好的數(shù)據(jù)集
本文主要介紹 One-YOLOv5 使用的數(shù)據(jù)集格式以及如何制作一個可以獲得更好訓(xùn)練效果的數(shù)據(jù)集。
鏈接：
https://mp.weixin.qq.com/s/t4Ppf2qokpClRwCN52zF-g
15.?1月12日直播｜機器之心“科技年會”之AIGC技術(shù)應(yīng)用論壇
作為內(nèi)容生產(chǎn)效率工具，AIGC 將在各領(lǐng)域各場景催生怎樣的范式變化？進入商業(yè)化階段，圖文多模態(tài)大模型的技術(shù)能力邊界及未來發(fā)展可能？作為 AI 基礎(chǔ)設(shè)施的預(yù)訓(xùn)練模型，及其安全可控、開源普惠……1 月 12 日，「AIGC 技術(shù)應(yīng)用論壇」將深入分享 AIGC 相關(guān)技術(shù)最新進展，以及領(lǐng)域企業(yè)前沿實踐?！窤IGC 技術(shù)應(yīng)用論壇」全日程已正式公布。鏈接：
https://mp.weixin.qq.com/s/8d_ANUSe5CvLUb7r67lIow
其他人都在看
OneFlow源碼解析：靜態(tài)圖與運行時
ChatGPT的一小步，NLP范式轉(zhuǎn)變的一大步
2023年AI十大展望：GPT-4領(lǐng)銜大模型變革
李白：你的模型權(quán)重很不錯，可惜被我沒收了
OpenAI掌門Sam Altman：AI下一個發(fā)展階段
比快更快，開源Stable Diffusion刷新作圖速度
OneEmbedding:單卡訓(xùn)練TB級推薦模型不是夢
關(guān)鍵詞：
營業(yè)執(zhí)照公示信息