Cách xây dựng cụm Slurm HPC trên một máy đơn

Trong phân tích dữ liệu quy mô lớn, việc sử dụng hệ thống hàng đợi job/phân tán là điều thiết yếu. Vì vậy, chúng ta cần một cơ chế cho phép người dùng truy cập tài nguyên của cụm và yêu cầu CPU, RAM, GPU phù hợp cho các tác vụ của họ. Nếu họ sử dụng bộ nhớ nhiều hơn mức đã yêu cầu, giải pháp đơn giản nhất là kill job. Điều này giúp tránh các vấn đề out-of-memory khiến máy bị treo. Slurm là thiết lập cụm phổ biến nhất, nhưng hiểu cách tạo một cụm Slurm không hề dễ dàng. Vì vậy, tôi đã tạo chuỗi blog này để hướng dẫn bạn thiết lập nó trên một máy đơn trước, rồi mở rộng sau đó và sử dụng nó một cách hiệu quả và tối ưu.

Đây là Phần 1 của chuỗi 3 phần, nơi chúng ta sẽ xây dựng một cụm Slurm hoàn chỉnh từ đầu. Trong bài viết đầu tiên này, chúng ta sẽ tìm hiểu các kiến thức nền tảng bằng cách thiết lập một cụm Slurm đơn node và hiểu các khái niệm cốt lõi.

Tổng quan chuỗi bài

• Phần 1 (bài này): Giới thiệu, kiến trúc và thiết lập đơn node
• Phần 2: Mở rộng lên production với Ansible
• Phần 3: Quản trị và các best practice

Tại sao chọn Slurm?

Khi nói đến lập lịch job trong môi trường HPC, có nhiều lựa chọn bao gồm PBS, Grid Engine và LSF của IBM. Tuy nhiên, Slurm (Simple Linux Utility for Resource Management) nổi bật vì một số lý do thuyết phục:

• Mã nguồn mở: Miễn phí sử dụng với một cộng đồng lớn và năng động
• Khả năng mở rộng: Được thiết kế để mở rộng từ các cụm nhỏ đến những siêu máy tính lớn nhất thế giới
• Tính linh hoạt: Kiểm soát chi tiết việc lập lịch job, phân bổ tài nguyên và thiết lập độ ưu tiên
• Khả năng tích hợp: Hoạt động liền mạch với MPI, các framework tính toán phân tán (Spark, Ray, Dask) và các công cụ giám sát
• Hiệu năng: Được tối ưu cho thông lượng cao với chi phí overhead tối thiểu

Tìm hiểu kiến trúc Slurm

Hình 1: Kiến trúc chuẩn của một cụm Slurm đa node

Các node cốt lõi

Chức năng chính của Slurm hay bất kỳ cụm nào là kết nối các máy tính với số lượng lớn CPU, bộ nhớ và GPU. Nó có một hệ thống quản lý nơi người dùng có thể yêu cầu tài nguyên tính toán (ví dụ 16 core, 32GB RAM). Hệ thống tìm các máy tính còn khả dụng và phân bổ tài nguyên cho người dùng. Vậy làm thế nào chúng ta có thể thiết kế một hệ thống làm được điều này ở mức tổng quan?

Chúng ta có thể chia thành 3 loại máy: login node, controller node và compute node:

Controller node: Chúng đóng vai trò bộ điều khiển, nhận yêu cầu từ người dùng, phân bổ và quản lý tài nguyên. Ngoài ra, việc cấu hình chúng cùng một database (SQL database) để lưu thông tin kế toán là một thực hành tốt. Điều này giúp theo dõi ai đã chạy job, họ đã sử dụng tài nguyên tính toán như thế nào, v.v.

Login node: Chúng đóng vai trò cổng vào, thường được truy cập qua mạng công cộng. Người dùng có thể SSH để đăng nhập vào máy và yêu cầu tài nguyên tính toán. Login node gửi yêu cầu đến controller để quyết định xem có tài nguyên tính toán khả dụng hay không. Sau đó nó phân bổ tài nguyên hoặc yêu cầu người dùng chờ. Thông thường, nếu không có sự cho phép của controller, người dùng không thể "đứng" trên các compute node — nơi thực sự chứa tài nguyên lớn.

Compute node: Đơn giản là có tài nguyên lớn và kết nối với controller để chờ được phân bổ.

Các thành phần cốt lõi

Từ phần trước và Hình 1, giờ chúng ta có thể xác định các dịch vụ (phần mềm) liên quan giúp cụm kết nối với nhau và hoạt động đúng cách

slurmctld (Controller Daemon): Bộ não của cụm, chạy trên controller node. Nó xử lý việc lập lịch job, theo dõi tài nguyên và giao tiếp với các compute node.

slurmd (Node Daemon): Chạy trên các compute node để thực thi job và báo cáo trạng thái về controller.

slurmdbd (Database Daemon): Không bắt buộc nhưng được khuyến nghị để lưu dữ liệu kế toán job, theo dõi mức sử dụng tài nguyên và lập lịch fair-share.

Tất cả trong một - Thiết lập đơn node

Hình 2: Kiến trúc cụm Slurm đơn node

Bắt đầu với thiết lập đơn node giúp bạn hiểu cách Slurm hoạt động trước khi mở rộng. Cách tiếp cận này rất phù hợp để học tập và phát triển cục bộ. Với nhu cầu cá nhân, bạn có thể cấu hình nó để dùng Slurm cho việc phân bổ tài nguyên. Theo Hình 2, giờ chúng ta sẽ cài đặt mọi thứ trên một máy duy nhất.

Máy ảo và Docker

Để thiết lập thủ công cụm Slurm đơn node, thay vì dùng máy tính của chính bạn, tốt hơn là dùng máy ảo hoặc Docker:

Vagrant:

• Để thiết lập máy ảo, cài đặt Vagrant: https://developer.hashicorp.com/vagrant
• Cấu hình máy ảo mới: https://developer.hashicorp.com/vagrant/tutorials/networking-provisioning-operations/getting-started-provisioning
• Để tái hiện hướng dẫn này, hãy đổi box của máy ảo thành "alvistack/ubuntu-20.04"

Docker:

• Cài đặt Docker: https://docs.docker.com/engine/install
• Tạo container với base image: ubuntu:20.04
• Với Docker, bạn là root user, nên bạn không cần dùng sudo để chạy lệnh

Cài đặt các dependency của Slurm

Đầu tiên, cài đặt các thành phần Slurm cần thiết:

1
sudo apt-get update -y && sudo apt-get install -y slurmd slurmctld

Xác minh cài đặt:

1
# Locate slurmd and slurmctld
2
which slurmd
3
which slurmctld
4
# Output: /usr/sbin/slurmctld

Cấu hình slurm.conf

Tệp slurm.conf là trái tim trong cấu hình Slurm của bạn. Tệp này phải giống hệt nhau trên tất cả các node trong một cụm (nhưng hiện tại, chúng ta chỉ có một node).

Tạo slurm.conf của bạn:

1
cat <<EOF > slurm.conf
2
# slurm.conf for a single-node Slurm cluster
3
ClusterName=localcluster
4
SlurmctldHost=localhost
5
MpiDefault=none
6
ProctrackType=proctrack/linuxproc
7
ReturnToService=2
8
SlurmctldPidFile=/run/slurmctld.pid
9
SlurmctldPort=6817
10
SlurmdPidFile=/run/slurmd.pid
11
SlurmdPort=6818
12
SlurmdSpoolDir=/var/lib/slurm-llnl/slurmd
13
SlurmUser=slurm
14
StateSaveLocation=/var/lib/slurm-llnl/slurmctld
15
SwitchType=switch/none
16
TaskPlugin=task/none
17

18
# TIMERS
19
InactiveLimit=0
20
KillWait=30
21
MinJobAge=300
22
SlurmctldTimeout=120
23
SlurmdTimeout=300
24
Waittime=0
25

26
# SCHEDULING
27
SchedulerType=sched/backfill
28
SelectType=select/cons_tres
29
SelectTypeParameters=CR_Core
30

31
# ACCOUNTING (not enabled yet)
32
AccountingStorageType=accounting_storage/none
33
JobAcctGatherType=jobacct_gather/none
34
JobAcctGatherFrequency=30
35

36
# LOGGING
37
SlurmctldDebug=info
38
SlurmctldLogFile=/var/log/slurm-llnl/slurmctld.log
39
SlurmdDebug=info
40
SlurmdLogFile=/var/log/slurm-llnl/slurmd.log
41

42
# COMPUTE NODES (adjust CPUs and RealMemory to match your system)
43
NodeName=localhost CPUs=2 Sockets=1 CoresPerSocket=2 ThreadsPerCore=1 RealMemory=1024 State=UNKNOWN
44

45
# PARTITION CONFIGURATION
46
PartitionName=LocalQ Nodes=ALL Default=YES MaxTime=INFINITE State=UP
47
EOF
48

49
sudo mv slurm.conf /etc/slurm-llnl/slurm.conf

Khởi động các dịch vụ

Khởi động các daemon của Slurm:

1
# Start slurmd (compute daemon)
2
sudo service slurmd start
3
sudo service slurmd status
4

5
# Start slurmctld (controller daemon)
6
sudo service slurmctld start
7
sudo service slurmctld status

Kiểm tra thiết lập của bạn bằng cách submit một job tương tác đơn giản:

1
srun --mem 500MB -c 1 --pty bash
2

3
# Check job details
4
squeue -o "%i %P %u %T %M %l %D %C %m %R %Z %N" | column -t

Bật giới hạn tài nguyên với cgroups

Hãy thử vấn đề này trước. Submit một job yêu cầu 500MB và thử cấp phát nhiều hơn hẳn:

1
srun --mem 500MB -c 1 --pty bash
2

3
# Try to allocate 1GB of memory (exceeding the 500MB limit)
4
declare -a mem
5
i=0
6
while :; do
7
    mem[$i]=$(head -c 100M </dev/zero | tr '\000' 'x')
8
    ((i++))
9
    echo "Allocated: $((i * 100)) MB"
10
done

Trước khi submit job, mức sử dụng bộ nhớ dưới 200MB:

Sau khi cấp phát 1GB, job không bị kill do thiếu cấu hình control group (cgroup):

Bạn sẽ nhận thấy job vẫn tiếp tục chạy ngay cả khi đã vượt 500MB - đó chính là vấn đề!

Giờ hãy sửa nó bằng cgroups:

1
cat <<EOF > cgroup.conf
2
CgroupAutomount=yes
3
CgroupMountpoint=/sys/fs/cgroup
4
ConstrainCores=yes
5
ConstrainRAMSpace=yes
6
ConstrainDevices=yes
7
ConstrainSwapSpace=yes
8
MaxSwapPercent=5
9
MemorySwappiness=0
10
EOF
11

12
sudo mv cgroup.conf /etc/slurm-llnl/cgroup.conf

Cập nhật slurm.conf để dùng các plugin cgroup:

1
sudo sed -i -e "s|ProctrackType=proctrack/linuxproc|ProctrackType=proctrack/cgroup|" \
2
            -e "s|TaskPlugin=task/none|TaskPlugin=task/cgroup|" /etc/slurm-llnl/slurm.conf

Bật cgroup trong GRUB và reboot:

1
sudo sed -i 's/^GRUB_CMDLINE_LINUX="/GRUB_CMDLINE_LINUX="cgroup_enable=memory swapaccount=1 /' /etc/default/grub
2
sudo update-grub
3
sudo reboot

Sau khi reboot, khởi động lại các dịch vụ Slurm:

1
sudo service slurmctld restart
2
sudo service slurmd restart

Giờ hãy kiểm tra lại với cùng script cấp phát bộ nhớ - lần này, job sẽ bị kill khi vượt quá giới hạn!

Bật kế toán (Accounting)

Kế toán job là thiết yếu để:

• Theo dõi ai đang sử dụng tài nguyên
• Giám sát việc hoàn thành và thất bại của job
• Thực thi giới hạn tài nguyên theo người dùng/nhóm
• Lập lịch fair-share

Cài đặt các package cần thiết:

1
sudo apt-get install slurmdbd mariadb-server -y

Tạo database và user:

1
sudo service mysql start
2

3
sudo mysql -e "CREATE DATABASE slurm_acct_db;"
4
sudo mysql -e "CREATE USER 'slurm'@'localhost' IDENTIFIED BY 'slurm';"
5
sudo mysql -e "GRANT ALL PRIVILEGES ON slurm_acct_db.* TO 'slurm'@'localhost';"
6
sudo mysql -e "FLUSH PRIVILEGES;"

Xác minh database đã được tạo:

1
sudo mysql -e "SHOW DATABASES;"
2
sudo mysql -e "SELECT User, Host FROM mysql.user;"

Cấu hình slurmdbd:

1
cat <<EOF > slurmdbd.conf
2
PidFile=/run/slurmdbd.pid
3
LogFile=/var/log/slurm/slurmdbd.log
4
DebugLevel=error
5
DbdHost=localhost
6
DbdPort=6819
7

8
# DB connection data
9
StorageType=accounting_storage/mysql
10
StorageHost=localhost
11
StoragePort=3306
12
StorageUser=slurm
13
StoragePass=slurm
14
StorageLoc=slurm_acct_db
15
SlurmUser=slurm
16
EOF
17

18
sudo mv slurmdbd.conf /etc/slurm-llnl/slurmdbd.conf
19
sudo service slurmdbd start

Cập nhật slurm.conf để bật accounting:

1
sudo sed -i -e "s|AccountingStorageType=accounting_storage/none|AccountingStorageType=accounting_storage/slurmdbd\nAccountingStorageEnforce=associations,limits,qos\nAccountingStorageHost=localhost\nAccountingStoragePort=6819|" /etc/slurm-llnl/slurm.conf
2

3
sudo sed -i -e "s|JobAcctGatherType=jobacct_gather/none|JobAcctGatherType=jobacct_gather/cgroup|" /etc/slurm-llnl/slurm.conf
4

5
sudo systemctl restart slurmctld slurmd

Thêm cluster và user của bạn vào accounting:

1
# Add cluster
2
sudo sacctmgr -i add cluster localcluster
3

4
# Add account for your user
5
sudo sacctmgr -i add account $USER Cluster=localcluster
6

7
# Add your user to the account
8
sudo sacctmgr -i add user $USER account=$USER DefaultAccount=$USER
9

10
sudo systemctl restart slurmctld slurmd

Giờ hãy kiểm tra accounting bằng cách submit một job và xem chi tiết của nó:

1
# Submit a test job
2
srun --mem 500MB -c 1 hostname
3

4
# View accounting information
5
sacct

Những điểm chính

Trong phần đầu tiên của chuỗi bài, chúng ta đã đề cập:

1. Tại sao chọn Slurm: Hiểu các ưu điểm của Slurm so với các lựa chọn thay thế
2. Kiến trúc: Các thành phần cốt lõi (slurmctld, slurmd, slurmdbd) và vai trò của chúng
3. Thiết lập cơ bản: Cài đặt và cấu hình một cụm đơn node
4. cgroups quan trọng: Tại sao giới hạn tài nguyên là thiết yếu (và cách bật nó)
5. Accounting: Thiết lập theo dõi job và giám sát tài nguyên

Tài liệu tham khảo

1.Slurm Overview — Tài liệu chính thức cho Slurm workload manager

2.NVIDIA/deepops — Bộ công cụ triển khai cụm mã nguồn mở (giấy phép BSD-3-Clause)

3.elasticluster — Công cụ cung cấp cụm đàn hồi (giấy phép GPL-3.0)

Đây là Phần 1 của chuỗi Omicslab về xây dựng cụm Slurm HPC. Tiếp tục đến Phần 2 để tìm hiểu về triển khai production với Ansible.