P10チーム DeepSeek-R1 専用環境構築・推論ガイド

概要

DeepSeek-R1-0528 (671B) を 2ノード × 8GPU（各80GB） で安定動作させるための完全手順です。 HLEベンチマークでの実推論まで動作確認済みの最新版です。

非推奨ですが、もしどうしてもsbatchで推論したい場合には以下をご利用ください。

sbatch

Part 1: DeepSeek専用環境構築

Step 1 – 1GPUノードを取得

srun --partition P10 \
     --nodes=1 --gpus-per-node=1 \
     --cpus-per-task=60 --time=02:00:00 \
     --job-name="deepseek_env_setup" --pty bash -i

Step 2 – モジュール & Conda初期化

module reset
# 🆕 NCCL 2.24.3に更新（ncclCommInitRankScalable対応）
module load nccl/2.24.3
module load hpcx/2.18.1-gcc-cuda12/hpcx-mt
# 🆕 cuDNN システムモジュール追加
module load cudnn/9.4.0
module load miniconda/24.7.1-py311
source /home/appli/miniconda3/24.7.1-py311/etc/profile.d/conda.sh

Step 3 – Conda環境作成

export DEEPSEEK_ENV="$HOME/conda_env_deepseek"
# 既存環境があれば削除（任意）
[ -d "$DEEPSEEK_ENV" ] && conda env remove --prefix "$DEEPSEEK_ENV" -y && rm -rf "$DEEPSEEK_ENV"
conda create --prefix "$DEEPSEEK_ENV" python=3.11 -y
conda activate "$DEEPSEEK_ENV"

Step 4 – CUDA Toolkit + 開発ツール

# 🆕 conda-forgeチャネル優先でcuda-toolkit導入
conda install cuda-toolkit=12.6 -c conda-forge -y
# 🆕 システムcuDNNを使用するためconda版は不要
# conda install -c conda-forge cudnn -y  # コメントアウト
conda install gcc_linux-64 gxx_linux-64 -y
pip install --upgrade pip wheel cmake ninja

Step 5 – vLLM / PyTorch / Ray

pip cache purge && rm -rf ~/.cache/pip/*
# vLLM 0.9.2
pip install vllm==0.9.2
# 🆕 GPU版PyTorch 2.7.0（cu126）- torchvisionバージョン修正
pip install --index-url https://download.pytorch.org/whl/cu126 torch==2.7.0 torchvision==0.22.0+cu126 torchaudio==2.7.0
# Ray（vLLM互換）
pip install "ray[cgraph,data,train,tune,serve]==2.43.0"
# 追加依存
pip install transformers==4.53.2 accelerate==1.2.1 sentencepiece==0.2.0 \
           protobuf==4.25.5 pydantic==2.10.3 aiohttp==3.11.10 \
           numpy==2.2.6 scipy==1.14.1
# 🆕 HLEベンチマーク用依存関係
pip install datasets requests tqdm psutil gputil