SLURM 計算服務

互動式提交作業 salloc

• 申請資源
  • GPU

     salloc --partition=<partition name> --gres=gpu:<# of boards>

  • CPU

    salloc --partition=<partition name> --ntasks=<number> --tasks-per-node=<number> --cpus-per-task=<number>

• 實際範例：

  $ salloc --partition=edr1-al9_short --ntasks=1 --tasks-per-node=1 --cpus-per-task=1
  salloc: Granted job allocation 3429295
  $ srun hostname
  hpa-wn07.twgrid.org
  $ exit
  exit
  salloc: Relinquishing job allocation 3429295
  salloc: Job allocation 3429295 has been revoked.

  成功申請資源後，系統會回傳Job ID，並取得互動式資源配置。此時可透過srun在已分配到的節點上執行指令，其效果等同於直接於該節點進行操作。使用完畢後，輸入exit即可離開互動式環境，並釋放資源。

提交批次作業 sbatch

建議使用腳本方式提交作業，因此需先建立作業腳本。

• 腳本 job.sh範例

#!/bin/bash
#SBATCH --job-name=hello_world                # Job name
#SBATCH --partition=intel-g4-al9_short        # Partition name
#SBATCH --nodes=1                             # Number of nodes
#SBATCH --ntasks-per-node=1                   # Number of tasks per node
#SBATCH --cpus-per-task=1                     # Number of CPUs per task
#SBATCH --mem=1G                              # Maximum memory 
#SBATCH --output=%j.out                       # Standard output file (%j: Job ID)
#SBATCH --error=%j.err                        # Standard error file (%j: Job ID)
#SBATCH --time=00-01:00:00                    # Time limit
#SBATCH --mail-type=ALL                       # Email notifications = BEGIN, END, FAIL, ALL
#SBATCH --mail-user=<your email>              # Email address to send notifications

date
echo "Hello DiCOS Users!"
echo "Hello World!"
hostname 

說明：
腳本主要分為兩個部分：
1. Slurm 指令區 (#SBATCH) : 用於定義資源需求與作業參數
2. 執行區 (command section) : 使用者實際執行的程式

參數說明：
• --job-name : 工作名稱
• --partition: 指定提交作業的佇列
• --nodes: 使用的節點數量
• --ntasks-per-node: 每個節點上要執行的任務數量
• --cpus-per-task: 每個任務使用的CPU核心數量
• --gres=gpu:<number of boards> : 指定GPU資源數量
• --mem: 工作的記憶體總量
• --output : 標準輸出檔案
• --error : 標準錯誤輸出檔案
• --time=<Days-Hours:Minutes:Seconds>: 工作最大執行時間
• --mail-type: 寄送通知信件的條件，可設定為NONE,BEGIN, END, FAIL, ALL
• --mail-user: 接收通知的電子郵件，請務必填寫完整有效的電子郵件，否則通知信件將無法成功寄送。
  

• 提交作業

sbatch job.sh

提交後，系統會回傳 JOB ID，後續可以根據此Job ID追蹤工作狀態。

Submitted batch job 812234

執行完工作後，會在腳本中指定的標準輸出檔案中看到輸出結果

Tue May 26 02:53:28 UTC 2026
Hello DiCOS Users!
Hello World!
hpi-wn01.twgrid.org

查看提交的作業 sacct

顯示過去24小時內工作清單

sacct

JobID           JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
812234       helloworld edr1-al9_+       asgc          1  COMPLETED      0:0
812234.batch      batch                  asgc          1  COMPLETED      0:0
812234.0           echo                  asgc          1  COMPLETED      0:0

其他用法

• 查看特定工作狀態

  sacct -j <JOB ID>

  JobID           JobName  Partition    Account  AllocCPUS      State ExitCode
  ------------ ---------- ---------- ---------- ---------- ---------- --------
  812234       helloworld edr1-al9_+       asgc          1  COMPLETED      0:0
  812234.batch      batch                  asgc          1  COMPLETED      0:0
  812234.0           echo                  asgc          1  COMPLETED      0:0

• 指定時間區間，範例為過去7天的工作紀錄。

  sacct --starttime $(date -d "7 days ago" +%Y-%m-%d)

查看排隊資訊 squeue

squeue

     JOBID PARTITION      NAME  USER ST       TIME  NODES NODELIST(REASON)
   3503901 intel-g4-     job_a user1 PD       0:00      2 (Resources)
   3504615 intel-g4-     job_b user1 PD       0:00      1 (Priority)
   3504770 intel-g4-     job_c user1 PD       0:00      1 (Priority)
   3508093  a100-al9     job_d user3  R 3-03:26:14      1 hp-teslaa01
   3512280 intel-g4-     job_e user1 PD       0:00      1 (Priority)
   3526197  a100-al9     job_f user4  R 1-01:05:49      1 hp-teslaa01
   3526202  a100-al9     job_g user4  R 1-01:04:15      1 hp-teslaa03
3532468_15  a100-al9 array_job user2  R      19:12      1 hp-teslaa01
3532468_19  a100-al9 array_job user2  R      18:39      1 hp-teslaa03
      ...

其他用法

• 查看自己的工作狀態

  squeue -u <DiCOS account> 

刪除已提交作業 scancel

scancel <Job ID> 

• 實際範例：

  $ sbatch job
  Submitted batch job 949585
  $ scancel 949585
  $ squeue -u user1
     JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)

用來控制工作的執行順序，根據先前的工作執行狀態來決定是否開始啟動後續的工作，從而實現多個工作的流程化或批次順序執行。

• 所有指定條件都必須滿足，使用,，工作才會被釋放執行

sbatch --dependency=type:job_id[:job_id][,type:job_id[:job_id]] 

• 只要任一條件滿足，使用?，工作即可被釋放執行

sbatch --dependency=type:job_id[:job_id][?type:job_id[:job_id]] 

• 實際範例：

工作成功後才執行下一個工作。以下以job1.sh與job2.sh為例，示範如何使用afterok Dependency，使 job2.sh 在 job1.sh 成功完成後才開始執行。提交作業時可搭配--parsable選項，使sbatch僅回傳工作ID，並將其儲存於Shell變數中，以供後續 Dependency 設定使用。

job1.sh job2.sh workflow.sh

#!/bin/bash
#SBATCH --job-name=preprocess                 # Job name
#SBATCH --partition=intel-g4-al9_short        # Partition name
#SBATCH --nodes=1                             # Number of nodes
#SBATCH --ntasks-per-node=1                   # Number of tasks per node
#SBATCH --cpus-per-task=1                     # Number of CPUs per task
#SBATCH --mem=1G                              # Maximum memory
#SBATCH --output=%j.out                       # Standard output file (%j: Job ID)
#SBATCH --error=%j.err                        # Standard error file (%j: Job ID)
#SBATCH --time=00-01:00:00                    # Time limit
#SBATCH --mail-type=ALL                       # Email notifications = BEGIN, END, FAIL, ALL
#SBATCH --mail-user=Dicos-Support@twgrid.org  # Email address to send notifications

echo "[$(date)] Start preprocessing"
hostname
sleep 30
echo "[$(date)] Preprocessing finished" 

#!/bin/bash
#SBATCH --job-name=analysis                   # Job name
#SBATCH --partition=intel-g4-al9_short        # Partition name
#SBATCH --nodes=1                             # Number of nodes
#SBATCH --ntasks-per-node=1                   # Number of tasks per node
#SBATCH --cpus-per-task=1                     # Number of CPUs per task
#SBATCH --mem=1G                              # Maximum memory
#SBATCH --output=%j.out                       # Standard output file (%j: Job ID)
#SBATCH --error=%j.err                        # Standard error file (%j: Job ID)
#SBATCH --time=00-01:00:00                    # Time limit
#SBATCH --mail-type=ALL                       # Email notifications = BEGIN, END, FAIL, ALL
#SBATCH --mail-user=Dicos-Support@twgrid.org  # Email address to send notifications

echo "[$(date)] Start analysis"
hostname
sleep 60
echo "[$(date)] Preprocessing analysis" 

#!/bin/bash

# submit preprocessing job
JOB1=$(sbatch --parsable job1.sh)
echo "Preprocess Job ID = $JOB1"

# submit analysis job (only runs if preprocess succeeds)
JOB2=$(sbatch --parsable --dependency=afterok:$JOB1 job2.sh)
echo "Analysis Job ID = $JOB2"
                

目前提供的軟體模組可分為以下類別：

若您有任何軟體需求，請聯絡DiCOS-Support@twgrid.org。

列出已經載入的模組

module list

  Currently Loaded Modules:
  1) gcc/13.1.0

載入模組

module load <package>

$ module load cuda/13.1.0
$ module list

Currently Loaded Modules:
  1) cuda/13.1.0

卸載模組

module unload <package>

$ module unload cuda/13.1.0
$ module list
No modules loaded

移除所有載入的模組

module purge

$ module load cuda/13.1.0 mpi/openmpi-5.0.5/cuda-12.4/gcc-13.1.0 
$ module list

Currently Loaded Modules:
  1) cuda/12.4.0   2) gcc/13.1.0   3) mpi/openmpi-5.0.5/cuda-12.4/gcc-13.1.0
$ module purge
$ module list
No modules loaded
    

由於本服務同時提供AMD和Intel架構的計算節點，建議使用者在編譯程式時，先進入slurm的互動式環境，並選擇與預計執行程式相同CPU架構的partition，使用srun在配置的節點中進行編譯，以確保編譯結果與執行環境相容，並獲得最佳效能。

• 進入slurm的互動式環境

  salloc -—partition=(edr1-al9_short / intel-g4-al9_short) --ntasks=1 --tasks-per-node=1 

• 選擇適合的編譯器環境
  • AMD AOCC compiler

    module load aocc

  • Intel compiler

    module load icc

  • GNU Compiler Collection

    module load gcc

  • NVIDIA HPC SDK

    module load nvhpc