報告簡介：目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的内容主要涵蓋以下4部分内容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展曆程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下遊任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模态模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。
報告人介紹：邱錫鵬，複旦大學計算機科學技術學院教授，博士生導師。于複旦大學獲得理學學士和博士學位。主要從事自然語言處理、深度學習等方向的研究，發表CCF A/B類論文70餘篇，獲得ACL 2017傑出論文獎（CCF A類）、CCL 2019最佳論文獎。出版開源專著《神經網絡與深度學習》，Github關注人數1.3萬，豆瓣評分9.6分。曾獲得國家優秀青年科學基金、首屆中國科協青年人才托舉工程項目、錢偉長中文信息處理科學技術獎青年創新一等獎、Aminer2020年度AI 2000人工智能全球最具影響力提名學者等。培養學生曾獲中國中文信息學會優博、中國人工智能學會優博、微軟學者、微軟學者提名、百度獎學金、上海市優博提名等。
