資料儲存及管理

資料儲存服務簡介

NSTCCore 提供多種儲存空間與資料傳輸服務，以支援研究計算、資料共享與長期保存需求。

• 儲存空間總覽

  儲存空間	路徑	預設容量
  家目錄（DiCOS Home）	/dicos_ui_home/<DiCOS account>	100 GB
  群組工作空間	/ceph/work/<Your group name>	3 TB
  備份空間（Project Space）	/ceph/project/<Your group name>	依申請容量

儲存空間介紹

• DiCOS 家目錄

  DiCOS 家目錄提供使用者個人工作環境，適合存放環境設定、程式碼及少量測試資料。

  • 容量限制為 100 GB
  • 超過容量會無法登入與系統環境初始化
  • 此空間屬於暫存性儲存，不保證長期保存
  • 定期將重要資料備份至群組工作空間或其他儲存設備

• 群組工作空間

  群組工作空間採用 Ceph 分散式儲存系統，提供高效能且可共享的研究資料儲存環境，可由群組成員共同存取，並作為 SLURM 與 DiCOSApp 的主要工作目錄。

  • 預設提供 3 TB 群組配額
  • 可依研究需求申請擴充容量（以 TB 為單位），請由PI至服務網站點選 「Subscribe」 進行線上申請。
  • 建議將計算輸入、輸出及研究資料存放於此空間
  ⚠ 注意事項：
  為避免 Ceph Metadata Server（MDS）負載過高，請避免於單一目錄中存放過多檔案。建議適當規劃目錄結構，以維持良好的存取效能。
  

• 備份空間（Project Space）

  備份空間提供長期資料保存服務，採用磁帶（Tape）備份系統。

  • 適合保存重要研究成果及原始資料
  • 需另行申請並依方案計費

資料傳輸方式

• 資料傳輸端點（Data Transfer Endpoint）

  可透過下列主機進行資料傳輸：

  • slurm-ui.twgrid.org
  • dicos-sftp.twgrid.org

• 命令列工具：本地端 ⇄ HPC

  傳輸指令	特點	指令範例
  scp	適合小量傳輸、簡單指令	scp file.txt <DiCOS account>@slurm-ui.twgrid.org:目標路徑
  rsync	大量資料同步、支援斷點續傳	rsync -avh file/ <DiCOS account>@slurm-ui.twgrid.org:目標路徑
  sftp	互動式檔案管理	sftp <DiCOS account>@slurm-ui.twgrid.org:目標路徑

• 圖形化介面工具

  除了命令列工具外，本中心亦支援使用圖形化檔案傳輸工具（GUI）透過 SFTP（SSH File Transfer Protocol）進行資料傳輸。使用者可依作業系統及使用習慣，選擇適合的 SFTP 用戶端工具。

  建立連線時，請使用下列設定：

  項目	設定值
  Protocol	SFTP
  Host	slurm-ui.twgrid.org 或 dicos-sftp.twgrid.org
  Port	22

  常見的 SFTP 用戶端工具如下:

  工具	支援平台
  FileZilla	Windows、macOS、Linux
  MobaXterm	Windows
  WinSCP	Windows

  關於二階段認證連線設定可參考：

  • 二階段認證設定指南：FileZilla
  • 二階段認證設定指南：MobaXterm

備份空間 (Project Space) : Tape

目前磁帶備份服務採專案制提供，由 ASGC 協助進行備份作業，並於備份完成後提供使用者自行還原資料。

• 備份申請

  目前磁帶備份服務僅提供專案申請。如需使用本服務，請來信至 DiCOS-Support@twgrid.org 申請，並提供下列資訊：

  • 預計備份資料容量
  • 備份資料夾位置
  • 備份需求與使用規劃

  申請完成後，ASGC 將協助規劃磁帶空間並安排備份作業。

• 備份流程

  1. 使用者提出備份申請。
  2. ASGC 規劃磁帶空間並執行備份。
  3. 備份完成後，使用者可於 Client 端自行進行資料還原。

• 磁帶系統規格

  項目	規格
  總磁帶數量	560 捲
  單捲容量	18 TB
  總可用容量	約 10.08 PB

• 功能說明

  • 查看備份檔案清單

    使用以下指令開啟專案的備份檔案清單：

    vim /ceph/project/common_use/{Project Name}_amadmin.txt
    
    

  • 搜尋備份資料

    可利用 grep 或 awk 搜尋欲還原的檔案。

    單一條件搜尋

    grep "目標文字" filename
    
    

    多條件搜尋（OR）

    grep -E "條件1|條件2|條件3" filename
    
    

    多條件搜尋（AND）

    grep "條件1" filename | grep "條件2" | grep "條件3"
    
    

    或使用 awk：

    awk '/條件1/ && /條件2/ && /條件3/' filename
    
    

  • 還原指定時間點的資料

    請先透過備份檔案清單確認欲還原的備份時間，再執行還原指令：

    recover "$input_disk" YYYY-mm-dd hh:mm:ss
    
    

    其中：

    • $input_disk：可還原的專案目錄。
    • YYYY-mm-dd hh:mm:ss：欲還原的備份時間。

  • 查看目前還原佇列

    可使用下列指令查看目前等待還原的人數：

    cat /ceph/project/common_use/online_user_count{n}.txt
    
    

    其中 {n} 為專案所對應的 Driver 編號，目前提供：

    • Driver 0
    • Driver 1
    • Driver 3

最後更新：2026年6月

📬 聯絡我們
    Email：DiCOS-Support@twgrid.org
    電話：02-2789-8313（週一至週五 09:00–17:00）