もう実験ですらないです。（なんでも書いてくれるとわかったので） ローカルマシンで実行しています。 command-r-plus-Q4_K_S.gguf バックエンド: ollama (K-quantモデルはollamaの標準レポジトリにないので、自力でollama createしています) GPU: GeForce R…

どうやらcommand-r-plusはガードが甘いらしいので、gpt-4が書いてくれなさそうな話を振ってみた。 ローカルマシンで実行しています。 使用モデル: command-r-plus-Q4_K_S.gguf バックエンド: ollama (K-quantモデルはollamaの標準レポジトリにないので、自力…

ただLLMが面白いからという理由だけで推論用環境を増築しました。 この記事はOMEN 40Lの原形が残ってない話の続きです。 ten-meteor.hatenablog.com システム構成 パーツ選定 MB ASUS TUF Gaming H670 Plus WiFi D4 CPU i7-12700K RAM DDR4-3200 96GB SSD HI…