Threadripper 3960X ROG Zenith II Extreme Alpha 2x Suprim Liquid X 4090 1x 4090 Founders Edition 128GB DDR4 @ 3600 1600W PSU GPU 電力は 300W に制限
しかし、ケースを閉じることができません。
Llama 3.2 70B + 30K ～ 40K ワード プロンプトを実行して、インターネットに接続できない機密性の高いマテリアルを入力するために構築されています。約 10 T/s で実行されますが、すべてのプロンプト評価を非常に高速に実行することに優れています。 Ollama + AnythingLLM
ビデオのアップスケーリングと強化にも対応