updated 2024/04/21
続き
2022/06にOMEN 40L(RTX3080)を買ったものの、1年経過した現在、既に原形が残っていない。
この記事は決して元の構成が悪いとか、改造を推奨するとかを意図していません。ただ自己満足を進めていった愚かな記録です。
元の構成
| CPU | Intel Core i7-12700K |
| CPU cooler | OMEN 120mm AIO |
| RAM | Kingston Fury DDR4-3733 16GB x2 |
| MB | HP Blizzard OC Z690 |
| SSD | WD Black SN810 PCIe4x4 1TB |
| GPU | NVIDIA RTX3080 10GB |
| PSU | Cooler Master 850W |
| Case | OMEN 40L |
| Fans | front x2, rear x1 |
今の構成
| CPU | Intel Core i7-12700K |
| CPU cooler | Deepcool AK-400 |
| RAM | Kingston Fury DDR4-3733 16GB x2 + crucial DDR4-3200 32GB x2 |
| MB | ASUS TUF Gaming H670 Plus WiFi D4 |
| SSD C: | Hiksemi Future PCIe 4x4 2TB |
| SSD D: | Samsung 980Pro PCIe 4x4 2TB |
| SSD | N/A |
| SSD E: | WD Black SN810 PCIe4x4 1TB |
| SSD | N/A |
| SSD H: | Samsung 870Evo SATA 4TB |
| GPU | Gainward Phantom NVIDIA RTX4090 24GB |
| PSU | Corsair RM1000x |
| Case | OMEN 40L |
| Fans | front x2, rear x1, top x2 |
交換した理由とか困ったこととか
大規模言語モデル(LLMs)と画像生成AI Stable Diffusionを動かしたいがためにどんどん改造されていきました。
電源ユニット: Corsair RM1000x
OMEN 40L付属のPSUはPCIe補助電源が8pin x2しかないため、TGP350W以上のモデルは基本的に動かせません。
RTX4090のためにCorsair RM1000xに交換。Corsairは旧モデルでも使える12VHPWR-2x PCIe 8pinケーブルを売っているため、RM1000xはATX 3.0ネイティブ対応ではないが全く問題なく使用可能です。買いました。
ただし、標準装備の850W電源よりも大きいため、配線がやや厳しくなります。
RTX4090の最大が450-480W程度、i7-12700Kの最大が200W程度であるため、もし万が一両方に最大負荷をかけたとしても800W程度までで、850Wくらいの容量があれば動くはずです。実態としてはRTX4090にPL=360W、i7-12700KにPL=160Wをかけている上に両方が同時に100%になることはないため、500W以下で動くことが多いです。
それではなぜ1000Wを買ったのかというと、RM850xが売り切れていたからです。
CPUクーラー: Deepcool AK400
付属の120mm簡易水冷とAK400にそれほど大きな冷却性能の差はないです。どちらも150W前後までは比較的静かで問題なく運用可能。それでも空冷にしたのはポンプ音がしなくなってより静かになるから。
Power Limitを160W設定。Raptor LakeやZen4のほうがマルチスレッド性能や電圧特性は格段に優秀なため、OCしたり低電圧化したりを頑張るよりもCPUを買い替えたほうが効率的にも静音性的にも良いでしょう。自分の用途では電力制限したi7-12700Kで99%の用途で足りているので続投です。
ちなみにOMEN 40Lのケースは上部スペースがなさすぎて水冷は前面に240mmしかつきません。また、水冷化すると大型GPUとラジエータが干渉するリスクが大きいです。
マザーボード: ASUS TUF H670 Pro WiFi
HP Blizzard OC Z690マザーはBIOSが不自由すぎるのと、自分の用途(大規模言語モデル: LLMs)的にm.2 x2では足りなかったので交換しました。MB交換は配線全部やり直し&OSライセンスも切れるため特に面倒です。パーツ交換の中でも特におすすめしない。愚か。
MB上のヘッダの位置的に、電源スイッチが届かないので延長ケーブルが必要でした。また、もともと背面についていたLEDコントローラも使えないため、OMENロゴを光らせることができなくなります。
ASUS TUF H670-Plusはm.2 x4のMBの中では最安クラスでした。上述の通り今更i7-12700KをOCしても旨味が少ないため、OC不可なH670でも困ることはほとんどないです。
GPU: Gainward Phantom NVIDIA RTX4090 24GB
LLMなどの生成AIを動かす上でVRAM10GBは足りないため交換。
OMEN 40Lにはケースに固定するサポートステイが付属してますが、初期搭載グラボにぴったりサイズで作られているのでグラフィックボードを交換すると使えなくなります。適切なものを買いましょう。
また、RTX4080/4090は極めて大きいため、ボードの高さ方向（ケースの横幅）がギリギリになります。Gainward Phantom RTX4090だと付属の電源変換ケーブルを噛ませているとサイドパネルがギリギリで閉まるか閉まらないかくらい。無理に閉めるとコネクタに負荷がかかりそうなので、ケーブルが細く曲げやすい12VHPWRケーブルを直に繋ぐほうがテンションがかからなくて良いと思って買いました。
HP Blizzard OCマザーボードの場合、3.5スロット占有のRTX4080/4090をつけると物理的干渉で空きPCIeスロットが使用不能になる上に、4つあるSATAコネクタのうち上側2つも使用不能になるため注意。
PL=360Wとしていますが、クロック推移を見るに450Wの時からの性能低下は10%以内と思われます。Stable Diffusionで全開にしたときにPL=360Wでは2500MHz前後、PL=450Wでは2730MHz前後でした。
llama.cpp, AutoGPTQなどのLLM推論用途ではメモリ帯域が律速になっている場合が多く、そもそもPLまで達しません。そのため、推論速度はメモリ帯域が同じであるRTX3090Tiと近いだろうなと想像します（もちろん、消費電力やメモリ温度は圧倒的に低くなります）。
メモリ: JEDEC 3200MHz 96GB
LLMのモデル変換などに膨大なメモリを要求されるため追加。合計96GB。これでも恒常的に足りていない。
64GBのOCモデルは高すぎるし、4枚ではOC不安定と思われるため安定安心のJEDEC準拠3200MT/s。
因みにOMEN付属のマザーボードだと手動でパラメータを設定しない限り4枚だと2966MT/sになります。
DDR5で256GBが達成できるようになったら環境移行したい。
ストレージ
マザーボードの交換によってm.2 x4になったので大量に増設ができるようになりました。
LLMsは量子化しても一つ一つが数十GB単位な上に雨後の筍のように新しいものが出てくるためTB単位で容量を食います。使用時に大データの読み出しが必要になるだけでなく、使用頻度が落ちたモデルをアーカイブしたり、96GBでもメモリが足りなくてスワップに頼ったりとSSDの性能への依存度が一般的な使い方よりもずっと高いです。
消えたら困るデータは信頼のSamsung SSDたちに担ってもらって、一番性能が生きるCドライブにHiksemi Futureを起用。今のところ元気です。
ファン
気分的に追加。たぶん初期の3つでもなんとかなる*。
PL=360Wにしている限り、RTX4090の温度はRTX3080よりも低いです。AIなどの高負荷時には確かに上限まで行きますが、負荷が下がった瞬間に消費電力も下がるので平均するとRTX3080よりも電気を食いません（Ampareは低負荷でも消費電力が高い）。
*追記：CFDの練習でPCケース内の気流を概算してみたことがありますが、天面前方と前面上方のファンは短絡してケース内の気流にほとんど寄与しないため、前面設置の簡易水冷以外では、あってもなくてもそんなに変わりません。
