Foundational Models 基礎模型是什麼？

基礎模型是一大型機器學習模型，使用大量資料進行大規模訓練，使其可以適應廣泛的下游任務。基礎模型已經帶來了人工智慧（AI）系統建構方式的重大轉變，例如為著名的聊天機器人和其他面向用戶的 AI 提供動力。史丹佛的人本人工智慧研究所（HAI）的基礎模型研究中心（CRFM）推廣了這個術語。

1. 基礎模型定義:
   • 基礎模型是大型機器學習（ML）模型，利用大量資料進行大規模訓練，使其能適應各種下游任務。
   • 由史丹佛的人本人工智慧研究所（HAI）的基礎模型研究中心（CRFM）於 2021年8月首次提出和定義。
   • 這不是一個真正的新概念，但近年的發展規模使得有必要提出一個新術語。
2. 早期與現代實例:
   • 文本模型：如 Google 的 BERT、OpenAI 的 GPT-n 系列。
   • 視覺和多模態模型：如 DALL-E、Flamingo、Florence、NOOR 和 Segment Anything。
   • 增強學習代理：例如 Google DeepMind 的 GATO。
3. 基礎模型的特性:
   • 模型性質是自然出現且未經人類明確編碼。
   • 可能會呈現出沒有預期的性質，如生成故事或算數運算。
   • 有「單點故障」的可能性。
4. 個人化基礎模型:
   • 基礎模型無法處理特定的「個人」概念。
   • 一系列的方法已被設計來增強這些模型，如向視覺-語言基礎模型（CLIP）的詞彙表中添加新概念。
5. 機會和風險:
   • 2021年的 arXiv 報告闡述了基礎模型的技術原則、應用和潛在社會影響。
   • 有擔憂這技術可能會集中經濟和政治權力。

< 蘋果 99 >官網 ：獲取更多科技訊息、學習 AI 知識、Apple 產品應用。
< 蘋果 99 >FB粉專 ：追蹤圖文內容，吸收新知。
< 蘋果 99 >IG動態：短影片教學、新聞重點大綱都在這裡。