Open Source - BLLM

建置本地化的大語言模型－以Meta Llama3與國科會Llama-TAIDE為例

Building a localized large language model – Taking Meta Llama3 and NSTC Llama-TAIDE as examples
  • 時數：7小時
  • 費用：NT$ 8,000
  • 點數：2.0

選擇查詢分區開課時間

地點 班號 日期 時間 預約
台北 252507 班 2025/04/02 ~ 2025/04/02 每週三 09:00~17:00 預約

目前查無開課時段

詳細開課時間請洽詢業務
新竹、台中、高雄如有上課需求，請參考台北開課日期，洽當地服務人員依需求加開遠距開課日期

聯絡恆逸

教材

恆逸專用教材

課程目標

本課程將介紹如何使用工具(Ollama與OpenWeb UI)將開放原始碼的大語言模型部署在本地端，使用時不需要連接網際網路以避免資安相關風險。此外還將介紹如何使用提示工程讓大語言模型的回應更符合預期，以及使用RAG將公司私有資料與大語言模型整合，讓大語言模型能夠基於私有資料回應相關問題。

適合對象

想要在本地端部署生成式AI的相關人員

課程內容

  1. 大語言模型介紹
  2. 安裝與設定本地端部署工具(Ollama與OpenWeb UI)
  3. 下載與部署開放原始碼的大語言模型(Llama3與Llama-TAIDE)
  4. 提示工程(Prompt Engineering)介紹
  5. 設定與使用檢索增強生成(Retrieval Augmented Generation)

學會技能

  1. 生成式AI的基本概念
  2. 大語言模型的基本概念
  3. 在本地端部署大語言模型
  4. 使用提示工程得到想要的回答
  5. 搭配RAG得到基於私有資料的回答