おぼえておきたい

記憶力がないのでおぼえておきたいことを書いています。

eGPUを使ったLLM推論環境を作る

ただLLMが面白いからという理由だけで推論用環境を増築しました。

この記事はOMEN 40Lの原形が残ってない話の続きです。

ten-meteor.hatenablog.com

システム構成

MB: ASUS TUF Gaming H670 Plus WiFi D4

CPU: Intel Core i7-12700K

RAM: DDR4-3200 16GB x2 + 32GB x2

SSD: 2TB x2, 1TB, 4TB

GPU: Gainward Phantom GeForce RTX4090 24GB

Extension: ASUS ThunderboltEX4

eGPU: Razer Core X

GPU: NVIDIA RTX A6000

デスクトップマシンなのにeGPUの構成がユニーク？だと思います。

A6000をeGPUにしてるのは自分でもおかしいと思ってます。

パーツ選定

MB ASUS TUF Gaming H670 Plus WiFi D4

購入時の2023年前半の時点で、2万円台かつM.2スロットが4つを達成できるのはこれくらいしかありませんでした。LLMの容量えげつないので。

CPU i7-12700K

流用。元々OMEN 40Lだった名残り。

LLMにCPUはあまり必要ないため、i7-12700Kで足りている、と思ってます。

RAM DDR4-3200 96GB

コスト的にも安定性的にもJEDEC準拠のDDR4。足りていないので本当は128GBにしたい。

OMEN時代の名残り16GBx2にcrucial 32GBx2です。

SSD HIKSEMI Future 2TB, Samsung 980 Pro 2TB, WD SN810 1TB, Samsung 870 4TB

LLMはとにかく膨大なSSD容量を食う上に、ロード時やモデル変換時などは読み込み速度、書き込み速度も必要なので高性能なSSDが必要です。SATAの870は倉庫です。

GPU Gainward Phantom GeForce RTX 4090

2023/01の時点で最安だったモデル。3.5スロットで大きすぎるので少し後悔がある。

RTX4090は非常に省電力で高性能なので、使い道があるのであれば非常に良い。

拡張カード ASUS Thunderboltex4, eGPU Razer Core X

元々面白いからRazer Core Xは持っていました。

ASUSのIntel用マザーは多くがThunderboltヘッダーを備えているのでThunderboltex4カードを搭載できます。

TUFのマザーには2枚目に2スロット占有グラフィックカードを挿せるようなスロットは元からない上、仮にあったとしても、3.5スロット占有のRTX4090があると2枚目は入るところがケース内に物理的にないため外に出しました。RTX4090でかすぎ。

eGPUは相性問題や原因不明の挙動との戦いなので頑張りましょう。

GPU NVIDIA RTX A6000

Ampare世代のプロフェッショナル用グラフィックカード。VRAM 48GB。性能的にはRTX3090相当。GPU 2つでVRAM 72GBを実現するには必要なパーツでした。

Xを見ている限り、RTX3090x2のほうがRTX A6000x1よりも遥かにパフォーマンスが良いため(1枚と2枚の比較なので当たり前といえばそう)、システムに繋げられてスペースに収まるならば、コスパはRTX3090を並べるほうが遥かに良いと思います。

困ったこと

ブートのバグ

何故かわからないのですが、RTX4090とRTX A6000が両方とも接続されているとシステムがブートに失敗します（マザーボードのVGAエラーで止まるためOSが起動しない）。これはeGPUは関係なくて、PCIeに直接繋いでも起こります。

幸い？eGPUだとオンオフが容易な上、電源がついている状態でも抜き差しできるのがTBの仕様なので、起動してから接続すれば問題は起きません。

この2つ以外の組み合わせ(たとえば、RTX3060とRTX A6000)であれば繋ぎっぱなしでも起動できるので本当に謎です。

RTX4090のデカさと電力

RTX4090は外付けできません。Razer Core Xに3スロット以上のボードは入らず、電源も足りないためです。

かと言ってケース内にあるともう他のスペースが全くありません。

結果RTX A6000が外に追い出されました。

ドライバ

GdForceのドライバとRTX/Quadroのドライバは別物として提供されており、共存の場合どうすればよいのかよくわかりませんでした。

なんとかなるやろとGeForce GameReadyドライバのまま繋ぎましたが、普通に両方認識します。問題は起きていないのでこれでよいのだと思います。

その他

PCIeの帯域について

「eGPUは性能が下がるのでもったいない」とよく言われますが、あまりそうは思っていません。

まず第一として、コンシューマー向けのマザーボードでPCIe x16が2つ以上あるマザーボードはおそらくありません。(x16とx8があるものはZ790/B670にあります。)そのため、端からマルチGPUを前提としている時点で帯域は確実に足りません。XeonとかThreadripperであれば大量のPCIeレーンを確保できますが、非常に高価であるため、その予算でRTX3090を増やす方が効率が良いです。

2つめに、性能低下は主にレイテンシの増加によるゲームのフレームレート低下です。一度計算し始めたらGPUのみで処理が進む機械学習では影響は少ないです。実際A6000を両方に繋いで実験しましたが、直に繋いでもeGPUでもLLMの推論速度に差はありません。当然ですが、RTX4090があるのにRTX A6000でゲームはしません。

コスパ

考えたら負け。そもそも一番コスパが良いのはchatGPT Plusでは？

BM40を組みました

自分が一番テンションが上がる配列はPlanckなので、この配列の別のキーボードを買ってみることにしました。

BM40とは

中国KPrepblicが販売する4x12のOrtholinearキーボードのPCBです。Orthoキーボードとして非常に有名なPlanckとほぼ同じ配列です。

基本的にPCBとスタビライザーのみで販売されており、組み立てるためには別途好みのケースとキースイッチ、キーキャップ、スイッチプレートを購入して組む必要があります。ホットスワップスケットが半田付け済なので、半田付け不要でスイッチをはめるだけでできます。

セールなどで価格が変動しますが、概ね$40程度で販売されています。

Poseidonとは

KPrepublicが販売するアルミニウム製キーボードケースのシリーズです。手前が低い傾斜がついた、重厚なフォルムのシリーズです。ケース単体の販売で、単体PCBとセットで使用します。

PSD40はそのうちBM40及びjj40用のモデルです。かなり色の展開が多くあるのも特徴だと思います。今回はベーシックなホワイトを選択しました。

価格は$50-60程度で、やや高めです。

ちなみに、PCB, ケース、プレート合わせて約$110で、ギリギリPlanck v7とプレート($129+$15)よりも安いくらいです。

構成

  • BM40
  • Poseidon PSD40 case
  • BM40 carbon fiber plate
  • Durock Black Lotus
  • XDA Mac keycaps

PCBの下に3mmのスポンジシートを敷き詰めたところホットスワップソケットと微妙に干渉してネジ締めに非常に苦戦したのでネジ周辺はうまく避けたほうがよさそうです。

ファームウェアはKPrepublic公式ページを参照して該当するBM40 V2のhexファイルをダウンロードしてQMK toolboxで書き込みます。左上のキーを押しっぱなしでケーブルを接続するとDFUモードに入れました。一度書き込めばVIAに対応します。

使ってみて

ほぼPlanckとして使えます。配列も同じにしているので当然ではあります。もちろん、とても良いです。論理JP配列です。

私は47キーで問題なく日本語も英語も入力できますが、Ortholinearは一般的なロウスタッガード配列とは根本的に異なりますし、横に並んでいるキーの数がかなり少ないため変態配列にせざるを得ません。ベストな配列は人によって異なるので試行錯誤しましょう。実際私も自分と同じ並びを見たことはありませんし、今の配列がベストとも思っていません。

Poseidonは非常に重量があるケースなのでPlanckに比べて安定感や響きにくさで優れています。デスクで使うなら高さ、傾斜含めてPoseidonが良いです。持ち運ぶならPlanckですが、軽さをとるとminipeg48という重さ半分の強いやつがいますね…

Planckが543g, Poseidon+BM40が793g, minipeg48が249gなので結構差があります。同じ配列でもキャラクターがあります。

 

使用したDurock Black Lotusは確かに滑らかで、重めのリニアとして優秀だと思うものの、軸が横に動くときに独特のカンカンという音が鳴る個体があり、それがちょっと気になる…全部じゃないんだよなぁ…

ステムがトップハウジングに当たって鳴るらしいのですが、これをいちいち直して使うくらいなら同じDurockのFull POM PianoやAlpaca、Vertexe V1でいいじゃんという気がしてしまうので悩ましいところ。

金型由来な気がするので、おそらくSea Glass, Ice Kingも同じだと予想されます。 

 

 

この記事はminipeg48+Kailh choc V1 red proとBM40+Poseidon+Durock Black Lotusで書きました。

Keychron Q9を気に入りました

キーボード熱が再燃したので、持っていないタイプのキーボードとしてKeychron Q9を買ってみました。

上がKeychron Q2, 下が今回のQ9

Keychron Q9とは

カスタムキーボードで有名になったKeychronが販売するガスケットマウントのフルメタルキーボードシリーズであるQシリーズの9番目、40%キーボードです。（52キーあるので40%の割にはキー多めですが）

Qシリーズはアルミの塊なので見た目の小ささに反してかなり重い（カスタムキーボードの世界では安定性を求めて重いほうが好まれます）、ガスケットマウント、南向きLEDなど高級仕様は大体備えており、価格に対して質感は良いです。

65%に当たるQ2からさらに数字行を削除したモデルで、キー数は52です。Q9 Plusとしてスプリットスペースバーを採用したモデルもあります。私が買ったのは一番安い無印Q9のロータリーエンコーダーなしのベアボーンです。

見るからに人気のないマイナー配列になっていて、KeychronではQシリーズ以外存在しない配列な上、オプションパーツが存在しなかったりします。むしろよくこんなの商品化したな、という感じです。

 

親指の役割を増やすことができるスプリットスペースが運指効率の面で優れているのはわかっているのですが、単に最も大きいキーである6.5Uスペースバーの華やかな見た目が好きなのでこのモデルにしています。気分が良い方が良い。

販路

Keychronはヨドバシカメラなどの日本の量販店でも入手可能になっているモデルもありますが、Q2は前述の通りマイナー機種なのでKeychron直販のみです。

Q9は作りの割に非常に安く、ベアボーンはセールも相まって$111、送料もDHLで$16、輸入消費税10%が課税されると考慮してもJPY21,000前後でだいぶ安いです。そもそも国内販路があるモデルでも直販から買ったほうがだいぶ安いので、多少英語を読めるなら輸入してみるのもよいです。

配列

Keychron Q2から一番上を削除しただけかな…と思いきや、実は微妙にアローキーが中央に寄って余白が狭くなっていたりします。

40%までくるとレイヤー機能を使うことが前提になります。会社支給のラップトップがJP配列固定のため、いつも通り物理ANSI配列で論理JP配列に近くなるように設定します。変態配列上等。

暫定でこのキーマップですが、Escを配置していないという凡ミスをしているのでやり直します。

一般的なテンキーレス配列から移行しようとした場合に壁になりそうなのは

  1. 数字行がない
  2. Backspaceがない

になるかなと思います。気合です。納得行くところに割り振りましょう。まだレイヤー余っていますし、感覚的には52キーあればむしろキーが余ります。

スイッチとキーキャップ

好きなのつけましょう。

今回はどっちも余り物で、

スイッチ：Alpaca

キーキャップ：XVX

です。Alpacaは本当に裏切らない優秀なリニアスイッチだと再認識しました。思いがけず気に入ってしまいました。

 

この記事はPlanck v6+Gateron Oil Kingで書きました。まだQ9は調整中です。

 

見た目だけでminipeg48を買いました

見た目が好き、それだけですが買ってみました。良いと思ったものがいつまでも売っている見込みなんてないので、買える時に。

（アフィリエイトはありませんし、全て自分で買ったものです）

 

minipeg48とは

Chosfoxから販売されているKailh choc V1専用かつ狭ピッチのCFXプロファイル専用の4x12のortholinearキーボードです。説明を見るからにキワモノです。ただでさえキーが少なく非常に小さい形状な上にロープロファイルスイッチと狭ピッチでめちゃくちゃ小さいです。

カスタムキーボードとは言いつつも縛りが強くて自由度が非常に低いので悩んでいたのですが、やっぱり見た目が良すぎるので買っちゃいました。

Planckも愛用していますが、4x12 orthoはとても美しい配列だと思います。見た目だけは。

talpkeyboard.net

Chosfoxから直接購入($95)もできそうでしたが、TALPKEYBOARDさんが取り扱っている(JPY16,000税込 送料無料)上に、高いどころか却って安いので、「いいぞもっとやってくれ」というつもりで購入しました。CFXのキーキャップも扱ってくださっているのでありがたい。

talpkeyboard.net

ケース

厳密にはminipeg48のPCBはオープンソースらしいので、ケースこそがchosfoxの製品ですね。

箱の時点で冗談のように軽く、小さいです。普通のトレイマウントのアルマイト加工のケースです。加工がよく、とても美しいケースです。余白がほとんどないため、小ささが際立ちます。思想が強い。

17mmピッチなので一般的な19mmピッチよりも1割以上狭く、その分小さくなっています。

PCB裏になにもないので反響します。何か詰めるか…

注意点としてはスイッチプレートがないです。PCBに直接スイッチが乗るだけになるので、5ピンのスイッチでないと安定しないと思います。

完成時点でもたったの250g。

スイッチ

Kailh choc V1 Red Pro

前述の通りKailh choc V1専用です。choc V1はたぶん16種類ありますが、今回は王道であるKailh choc V1 Red Proを買いました。自分の好みがリニアであることはわかっていましたし、chocはトラベルが短くて実際の作動圧よりも重く感じるように自分は思えたので、軽めのRed Proです。

ややカサカサした印象があるスイッチですが、分解してルブするのはかなり難しいし、そもそもchocは選択肢がないのでひとまず妥協します。そんなに打ちやすい形もしていませんしね。

一番左の列だけスイッチの向きが上下逆なのと、スペースの位置に2Uを仕込む場合は上下が逆になります。

キーキャップ

Chocfox BoW Alpha

CFXプロファイルしか入らないので、ほとんど選択肢はないです。BoWか、WoBか、ブランクか、アクセントセット2色か、自作するかです。

個人的にはレジェンドの見た目が好きなので、今回はBoWを買いました。Planckに配列を揃えて、スペースだけ2つ分の横幅にするために1.75Uのブランクを買いました（このキーボードのピッチが狭すぎるせいで2Uだと入らないそうです）。

PBT製で、作りは良さそうです。印字も読みやすく美しいのでいいキャップだと思います。

1辺16.5mmの小さいキーキャップを使い17mmピッチで敷き詰めるのでかなり視覚的な特徴があります。ギチギチです。

ファームウェア

vialが使えるらしいのでやってみましょう。

今はminipeg48の設計者の方がvial対応のファームウェアをgithubで公開してくださっているので、ダウンロードします。

https://github.com/ChrisChrisLoLo/bancouver40/tree/main/firmware

QMK toolboxでダウンロードしたhexファイルを指定してflashします。

書き込み終われば、VIALでキーマップを変更可能になります。

Home - Vial

キーマップ

vialは今回初めて使いましたが、JP配列に対応できたり、タップダンスなどの高度な機能も実現可能なので、慣れは必要ですが良いアプリケーションだと思いました。思想としてvial側にキーボードのデータをマージしないのが拡張性高くて良いですね。

基本的な使い方はVIAに倣うのでサリチル酸さんの記事を読めばわかるでしょう…

salicylic-acid3.hatenablog.com

実際にキーマップどうするかはもう少し試行錯誤します。

 

この記事はminipeg…ではなくPlanckとPreonicで書きました。まだキーマップが固まってないので…

OLKB Preonicを組み直しました

2022にOLKB Preonicを買ったわけですが、そこまでGateron Ink V2 Blackを好きになれなかったのもあり、組み直すことにしました。

ten-meteor.hatenablog.com

 

従来の構成

  • OLKB Preonic V3
  • Gateron Ink V2 Black, 一部Gateron G Pro Red
  • Epomaker XDA Dye-sub Dawn

新しい構成

  • OLKB Preonic V3
  • JWK V2 Black
  • VXV Horizon V2 Low Profile Double Shot keycap

スイッチ: JWK V2 Black

Durockブランドで有名なJwickの廉価ブランドのリニアスイッチ。国内でも比較的安価に入手可能ですし、Aliexpressなどを使えば更に安くできる可能性もあります。

かなり安いのでナメていたのですが、全然使えるスイッチでした。優等生なリニアスイッチの定番Alpacaを十分代替できる。結構好き。また買おう。

キーキャップ: XVX low profile

普通のCherry互換のキーキャップですが、とにかくペラペラで高さがない形状をしています。材質はPBTらしい。

これもAmazonで売っている有象無象だと思ってナメていたのですが、時々買わせて頂いているTALPKEYBOARDさんが取り上げていて、実際に仕入れた方が褒めていたので大ハズレではないだろうと思って買ってみました。

 

 

で、よかったです。めちゃくちゃ薄く、トップが広いのでミチミチに詰まったような特徴のある見た目になりますし、作り自体も問題があるようには感じませんでした。中国はシンプルに人口が多く、市場を期待できるのでGBのような形に頼らなくても作れちゃうということなのかもしれません。

Preonicはケースに傾斜がないのもありそもそも薄っぺらいキーボードなので、キーキャップが薄くなるとなおさら全体的にペラペラに感じられます。良い。

形状的に仕方がないですが、フルハイトのPBTのものと比較して高い音がします。コトコト低い音がするのが好みであればやめておきましょう。

 

この記事は新生Preonicで書きました。

2023年に買ったもの

2023年もウクライナ戦争は終わらず、イスラエル-パレスチナも開戦してしまったので昨年に引き続き戦争の年でした。一方でCOVIDの影響が薄まり、復興の年でもありました。

個人的には今年はAIの年であり、「知能とは何か」と問い続けた1年でした。

ベストバイ: RTX4090 (Gainward RTX4090 Phantom)

今年のベストバイは悩む余地なく4090。昨年RTX3080をベストのひとつに挙げておいてとは思いますが、これ以外にあり得ません（昨年RTX3080に対して「数年は戦える」とか言いましたが嘘でした）。

RTX4090がもたらしたもの

リアルタイムでAIの進化を体験することができました。

そもそも購入のきっかけは高速にStable Diffusionの画像生成をしたいことでした。2023/01に約¥265,000で購入しました。

2月にFlexgenが発表され、ローカルLLMという夢を見ることができるようになりました。ローカルで動くAIと会話する奇妙な体験をこの時点でできたことは代え難いことでした。

それからわずか2週間ほどでMetaからLLaMAがリリースされ、そこからローカルLLMの世界は急激に進んでいくことになります。わずか半年程度の間に信じられないほど多くのモデルが生まれ、GPTQやllama.cppなどの量子化・推論環境が開発されていきました。もはや年初とは別の世界のようです。

この日々世界が塗り替わる驚くべき世界をリアルタイムで試し体験できたのは、ひとえにRTX4090あってこそでした。VRAMが弱すぎるのでこの用途ではRTX4080はお話にならない。私はこの体験に値段はつけられないです。

（Stable Diffusionはfp16の論理性能に比例する傾向が強く、LLMはメモリ帯域に比例する傾向が強い、と理解しています。ゲームとは異なりCPUボトルネックが発生しないため、ほぼGPUの性能通りになります。RTX4080との性能差はどちらであっても30-50%ほどある上、VRAM不足はエラーなので代替できません。もちろん買えるならRTX6000 AdaやH100が圧倒的です。）

後述のROG AllyによってゲーミングPCとしての役割がほぼなくなってしまいましたが、それでもなおAI実行環境として替え難く、稼働率は高いままです。

入手性

2023/10ころから、RTX4090は品薄と価格高騰が起きています。中国のAI開発を脅威と見たUSの対中輸出規制により中国内で今後RTX4090が入手しづらくなることから、需給バランスがおかしくなってしまったらしいです。

私が買った当時はまだやや高く品薄気味でしたが、それでも普通に買えました。今年自分が体験した時間の面白さを考えれば本当に良い時に買ったと満足しています。

おまけ

LLMなどを早い段階で試していくために必然的にLinuxやPythonについて勉強せざるを得なくなり、何も知らないど素人から日曜プログラマー程度までランクアップしました。GPUに大枚叩いてしまったプレッシャーが駆り立てたのかもしれません。

 

ten-meteor.hatenablog.com

次点: ASUS ROG Ally

これも非常に良い買い物でした。

Allyがもたらしたもの

デスクトップPCでゲームをすることがほとんどなくなりました。

私はほぼRPGしかやらないのでFPSのようなシビアな操作を要求することがなく、Allyで99%のゲームは快適にプレイできてしまいます。音も良く、電力も食わず、非常に良いです。

Steam Deckも持っており、あちらの方が操作性や電池持ちなど良い点も多いですが、Windowsゆえの利用可能タイトルの多さによってAllyを使っていることが多かったです（特に原神や崩壊スターレイルはSteam Deck不可）。

ランク外: Apple iPhone 15 Pro Max

価格に見合う素晴らしい完成度のスマートフォンだと思っていますし、ほとんど不満はありません。強化されたメインカメラや望遠性能も期待に沿うものでした。

しかし、生活は変わらないし、新たな体験ができるわけでもないのでこれまでの延長線上に過ぎません。

OMEN 40Lの原形が残ってない話

updated 2024/04/21

続き

ten-meteor.hatenablog.com

2022/06にOMEN 40L(RTX3080)を買ったものの、1年経過した現在、既に原形が残っていない。

この記事は決して元の構成が悪いとか、改造を推奨するとかを意図していません。ただ自己満足を進めていった愚かな記録です。

元の構成

   
CPU Intel Core i7-12700K
CPU cooler OMEN 120mm AIO
RAM Kingston Fury DDR4-3733 16GB x2
MB HP Blizzard OC Z690
SSD WD Black SN810 PCIe4x4 1TB
GPU NVIDIA RTX3080 10GB
PSU Cooler Master 850W
Case OMEN 40L
Fans front x2, rear x1

今の構成

   
CPU Intel Core i7-12700K
CPU cooler Deepcool AK-400
RAM Kingston Fury DDR4-3733 16GB x2 + crucial DDR4-3200 32GB x2
MB ASUS TUF Gaming H670 Plus WiFi D4
SSD C: Hiksemi Future PCIe 4x4 2TB
SSD D: Samsung 980Pro PCIe 4x4 2TB
SSD N/A
SSD E: WD Black SN810 PCIe4x4 1TB
SSD N/A
SSD H: Samsung 870Evo SATA 4TB
GPU Gainward Phantom NVIDIA RTX4090 24GB
PSU Corsair RM1000x
Case OMEN 40L
Fans front x2, rear x1, top x2

交換した理由とか困ったこととか

大規模言語モデル(LLMs)と画像生成AI Stable Diffusionを動かしたいがためにどんどん改造されていきました。

電源ユニット: Corsair RM1000x

OMEN 40L付属のPSUはPCIe補助電源が8pin x2しかないため、TGP350W以上のモデルは基本的に動かせません。

RTX4090のためにCorsair RM1000xに交換。Corsairは旧モデルでも使える12VHPWR-2x PCIe 8pinケーブルを売っているため、RM1000xはATX 3.0ネイティブ対応ではないが全く問題なく使用可能です。買いました。

ただし、標準装備の850W電源よりも大きいため、配線がやや厳しくなります。

RTX4090の最大が450-480W程度、i7-12700Kの最大が200W程度であるため、もし万が一両方に最大負荷をかけたとしても800W程度までで、850Wくらいの容量があれば動くはずです。実態としてはRTX4090にPL=360W、i7-12700KにPL=160Wをかけている上に両方が同時に100%になることはないため、500W以下で動くことが多いです。

それではなぜ1000Wを買ったのかというと、RM850xが売り切れていたからです。

CPUクーラー: Deepcool AK400

付属の120mm簡易水冷とAK400にそれほど大きな冷却性能の差はないです。どちらも150W前後までは比較的静かで問題なく運用可能。それでも空冷にしたのはポンプ音がしなくなってより静かになるから。

Power Limitを160W設定。Raptor LakeやZen4のほうがマルチスレッド性能や電圧特性は格段に優秀なため、OCしたり低電圧化したりを頑張るよりもCPUを買い替えたほうが効率的にも静音性的にも良いでしょう。自分の用途では電力制限したi7-12700Kで99%の用途で足りているので続投です。

ちなみにOMEN 40Lのケースは上部スペースがなさすぎて水冷は前面に240mmしかつきません。また、水冷化すると大型GPUとラジエータが干渉するリスクが大きいです。

マザーボード: ASUS TUF H670 Pro WiFi

HP Blizzard OC Z690マザーはBIOSが不自由すぎるのと、自分の用途(大規模言語モデル: LLMs)的にm.2 x2では足りなかったので交換しました。MB交換は配線全部やり直し&OSライセンスも切れるため特に面倒です。パーツ交換の中でも特におすすめしない。愚か。

MB上のヘッダの位置的に、電源スイッチが届かないので延長ケーブルが必要でした。また、もともと背面についていたLEDコントローラも使えないため、OMENロゴを光らせることができなくなります。

ASUS TUF H670-Plusはm.2 x4のMBの中では最安クラスでした。上述の通り今更i7-12700KをOCしても旨味が少ないため、OC不可なH670でも困ることはほとんどないです。

GPU: Gainward Phantom NVIDIA RTX4090 24GB

LLMなどの生成AIを動かす上でVRAM10GBは足りないため交換。

OMEN 40Lにはケースに固定するサポートステイが付属してますが、初期搭載グラボにぴったりサイズで作られているのでグラフィックボードを交換すると使えなくなります。適切なものを買いましょう。

また、RTX4080/4090は極めて大きいため、ボードの高さ方向（ケースの横幅）がギリギリになります。Gainward Phantom RTX4090だと付属の電源変換ケーブルを噛ませているとサイドパネルがギリギリで閉まるか閉まらないかくらい。無理に閉めるとコネクタに負荷がかかりそうなので、ケーブルが細く曲げやすい12VHPWRケーブルを直に繋ぐほうがテンションがかからなくて良いと思って買いました。

HP Blizzard OCマザーボードの場合、3.5スロット占有のRTX4080/4090をつけると物理的干渉で空きPCIeスロットが使用不能になる上に、4つあるSATAコネクタのうち上側2つも使用不能になるため注意。

PL=360Wとしていますが、クロック推移を見るに450Wの時からの性能低下は10%以内と思われます。Stable Diffusionで全開にしたときにPL=360Wでは2500MHz前後、PL=450Wでは2730MHz前後でした。

llama.cpp, AutoGPTQなどのLLM推論用途ではメモリ帯域が律速になっている場合が多く、そもそもPLまで達しません。そのため、推論速度はメモリ帯域が同じであるRTX3090Tiと近いだろうなと想像します（もちろん、消費電力やメモリ温度は圧倒的に低くなります）。

メモリ: JEDEC 3200MHz 96GB

LLMのモデル変換などに膨大なメモリを要求されるため追加。合計96GB。これでも恒常的に足りていない。

64GBのOCモデルは高すぎるし、4枚ではOC不安定と思われるため安定安心のJEDEC準拠3200MT/s。

因みにOMEN付属のマザーボードだと手動でパラメータを設定しない限り4枚だと2966MT/sになります。

DDR5で256GBが達成できるようになったら環境移行したい。

ストレージ

マザーボードの交換によってm.2 x4になったので大量に増設ができるようになりました。

LLMsは量子化しても一つ一つが数十GB単位な上に雨後の筍のように新しいものが出てくるためTB単位で容量を食います。使用時に大データの読み出しが必要になるだけでなく、使用頻度が落ちたモデルをアーカイブしたり、96GBでもメモリが足りなくてスワップに頼ったりとSSDの性能への依存度が一般的な使い方よりもずっと高いです。

消えたら困るデータは信頼のSamsung SSDたちに担ってもらって、一番性能が生きるCドライブにHiksemi Futureを起用。今のところ元気です。

ファン

気分的に追加。たぶん初期の3つでもなんとかなる*。

PL=360Wにしている限り、RTX4090の温度はRTX3080よりも低いです。AIなどの高負荷時には確かに上限まで行きますが、負荷が下がった瞬間に消費電力も下がるので平均するとRTX3080よりも電気を食いません（Ampareは低負荷でも消費電力が高い）。

*追記：CFDの練習でPCケース内の気流を概算してみたことがありますが、天面前方と前面上方のファンは短絡してケース内の気流にほとんど寄与しないため、前面設置の簡易水冷以外では、あってもなくてもそんなに変わりません。