2025.03.17 2025.04.25

【CUDA12.8 対応 xformers】 CUDA12.8でxformersをビルドする方法【Python】

えりる

記事内に商品プロモーションを含む場合があります

この記事ではCUDA12.8, Pytorch 2.8環境でxformersを無理やりビルドして使用する方法について情報共有します。
（注意: 自己責任でお願いします。）

Contents

環境
xformersのビルド環境構築
xformers のインストール (トラブルシューティングを含む)
xformersのビルドと他環境での利用方法
参考文献

環境

検証環境は以下の通りです。PyTorchの開発は Linux 環境への対応の方が早いという噂を聞いたのでOSは Ubuntu を選択します。

OS = Ubuntu 24.04.2 LTS
- WSL（Windows PC上で簡単にLinuxを動かすことができる機能）上で動作
CPU = Intel Core Ultra 285k
GPU = NVIDIA RTX 5070
pyenv+venvなどの仮想環境を作れる環境
- Python 3.10.6 (Stable Diffusion が対応しているバージョン) を使用する
CUDA Toolkit 12.8, CUDA 12.8に対応したcuDNNはインストール済み
Pytorch 2.8はインストール済み

pyenv+venvを使ったPythonの仮想環境の作り方は以下の記事で解説しています。

xformersのビルド環境構築

まず、Ubuntu に必要な開発ツールとライブラリをインストールします。

sudo apt update
sudo apt install python3-dev build-essential cmake

次に、CUDA 12.8 と cuDNN の環境変数を確認します。

環境変数は以下の通りに設定しました。

export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
export CUDA_HOME=/usr/local/cuda-12.8
export CUDNN_INCLUDE_DIR=/usr/local/cuda/include
export CUDNN_LIB_DIR=/usr/local/cuda/lib64

環境変数設定は.bashrc記載されているので、そのファイルの末尾に追加しました。

変更したので以下のコマンドで有効化。

source ./.bashrc

その後、PyTorchが自分のGPUに適したCUDAバージョンを認識しているかを確認します。

以下のコマンドの出力結果で確認することができます。

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_arch_list())"

出力例は以下のとおりです。

2.8.0
True
['sm_90']

RTX5070の場合はsm_90が含まれていればよいそうです。

次に、xformersのGitHubリポジトリからソースコードを取得します。

git clone https://github.com/facebookresearch/xformers.git

mainブランチを使用します。

その後、Python 3.10.6を有効化し、仮想環境を作成して有効化します。

pyenv local 3.10.6
python -m venv venv
source venv/bin/activate

次に必要なPythonパッケージをrequirement.txtからインストールします。

requirement.txtは先ほど取得したソースコード一式が入っているフォルダ（xformers）にあるので、

cd xformers

でディレクトリを移動しておきます。

その後、以下のコマンドでrequirement.txtからパッケージをインストールします。

pip install -r requirements.txt

これで大体の環境はできました。

xformers のインストール (トラブルシューティングを含む)

カレントディレクトリがxformersであることを確認後、以下のコマンドでxformersを直接ソースコードからインストールすることができます。

pip install .

ここまでの状態でインストールをすると

ModuleNotFoundError: No module named 'torch'

というエラーがでます。

これはtorchが無いよってことなんですが、ここまででPyTorchはインストールですし、先ほど以下のコマンドでtorchがインポートできることは確認済みです。

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_arch_list())"

これを回避するには以下のコマンドでwheelをインストールすると解消されます。

pip install ninja packaging wheel

この状態でインストールを試みると下記のエラーがでます。

Did you forget to run `git submodule update --init --recursive` ?

これは以下のコマンドを実行するようにと言われているので指示に従います。

git submodule update --init --recursive

この状態でインストールをすると無事成功しました。

pip install .

xformersのビルドと他環境での利用方法

ここまででCUDA12.8, Pytorch 2.8環境でxformersをインストールできました。

作ったxformersをほかの環境で利用する方法を説明します。

以下のコマンドでビルドしたxformersをビルドします。

python setup.py bdist_wheel

成功すると、dist/ ディレクトリ内に .whl ファイルが生成されます。

このときファイル名は変えないでください。

作業フォルダに.whl ファイルを移動させたあと、ほかの仮想環境を有効化した状態で、

pip install ビルドして生成されたファイル名.whl

を行うことでインストールできます。

参考文献

xformersのGitHubリポジトリ: no model named ‘torch’ #740
https://github.com/facebookresearch/xformers/issues/740
NVIDIA: cuDNN 9.8.0 Downloads
https://developer.nvidia.com/cudnn-downloads?

えりるさんが気になっている商品紹介コーナー

Minisforum のミニPC UN150P です。CPUは Intel N150 というもので基本的な消費電力は6Wくらいとかなり低消費電力でありながら、ネットサーフィンやYouTubeの動画視聴くらいなら困らないくらいの性能があります。Raspberry Pi 5 よりも性能が良いそうです。
消費電力が少ないので、Ubuntu等を入れてサーバー的に使うこともできますね。同じような用途だとRaspberry Piでもできますが、ケース等を買っていると結局同じくらいの値段になるので、それだったらミニPCにした方がいいかなと思います。
えりるさんはサーバー運用のお勉強に買ってみようかなあと計画中です。（Raspberry Pi 4 1GBだとちょっとスペックが足りなかった…）