AIモデルを実行するには十分な容量のVRAMを備えたグラフィックボードやAI処理チップなどが必要です。無料で使えるウェブアプリ「LLM Inference: VRAM ＆ Performance Calculator」には各種デバイスのVRAM容量やAIモデルのVRAM使用量が登録されており、「自分の環境でAIを動かせるか」や「任意のAIモデルを実行するにはどんな環境を用意すればいいのか」をサクッと計算できます。
AIモデルを実行するには十分な容量のVRAMを備えたグラフィックボードやAI処理チップなどが必要です。無料で使えるウェブアプリ「LLM Inference: VRAM ＆ Performance Calculator」には各種デバイスのVRAM容量やAIモデルのVRAM使用量が登録されており、「自分の環境でAIを動かせるか」や「任意のAIモデルを実行するにはどんな環境を用意すればいいのか」をサクッと計算できます。「LLM Inference: VRAM ＆ Performance Calculator」ではAIモデルと使用デバイスを指定して、VRAM容量をもとにAIモデルを実行可能か否かを調べることができます。AIモデルは画面左上の選択欄から選び、デバイスは画面中段の選択欄から選べばOK。AIモデルとデバイスを選択すると、画面左側にAIモデルのVRAM消費量とデバイスのVRAM使用率が表示されます。初期状態だとAIモデルは「DeepSeek-R1 3B」、デバイスは「RTX 3060 」が選択されており、VRAM使用率は66.
8％で問題なく実行できることが分かります。「Llama 3.1 8B」を実行するには18.38GB以上のVRAMが必要ですが、「RTX 3060 」のVRAM容量は12GBしかないので実行できません。「LLM Inference: VRAM ＆ Performance Calculator」ではH100やH200などのデータセンター向けデバイスに関するシミュレーションも可能です。AIモデルを「LLaMA 3 70B」、デバイスを「H100 」に設定してみたところ、1台の「H100 」では「LLaMA 3 70B」を実行できないことが分かりました。 デバイス選択欄の右隣にはデバイス台数選択欄が用意されており、デバイスを並列動作させた際の結果を算出できます。「H100 」の台数を1台ずつ増やしたところ、3台で並列処理すれば「LLaMA 3 70B」を実行できることが分かりました。 なお、「LLM Inference: VRAM ＆ Performance Calculator」の画面下部にはAIモデルのトークン処理速度デモも用意されており、選択したAIモデルとデバイスの組み合わせでのテキスト出力速度を疑似的に体感できます。
United States Latest News, United States Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
最先端の大規模言語モデル(LLM)が難解なコーディング問題を1発で正解する確率はゼロ％、競技プログラマーなどの熟練スキルを持つ人間には依然として歯が立たないことが明らかにテクノロジー企業のトップから「AIがコードを書くのでもうプログラミングを学ぶ必要はない」や「コーディングを学ぶのは時間の無駄」といった言葉が飛び出すほど、大規模言語モデル(LLM)のコーディング能力は高く、既にMicrosoft製品のコードの30％がAIにより書かれていることが明らかになっています。しかし、LLMは競技プログラミングなどで出題される難解な問題においては、依然として熟練のスキルを持った人間の専門家には歯が立たないことが明らかになりました。
Read more »
【超入門】グーグルが解説、AIを賢くする「推論」とは？グーグルは6月23日（現地時間）、AIの能力を支える重要なプロセスである「推論（Inference）」について、同社の専門家による解説を公式ブログで公開した。
Read more »
NTT、LLMが持つ「学習データからの情報漏えいリスク」を低減しつつ高い応答精度も保つ新技術を開発NTT株式会社は7月7日、大規模言語モデル（LLM）の応答精度を維持しつつ、学習データからの情報漏えいリスクを低減する新技術「PTA」（Plausible Token Amplification）を発表した。
Read more »
ELYZA、国産の日本語版”医療”特化LLM基盤「ELYZA-LLM-Med」を開発ELYZA、国産の日本語版”医療”特化LLM基盤「ELYZA-LLM-Med」を開発 株式会社ELYZAのプレスリリース
Read more »
経産省、楽天の生成AI開発を支援 “長期記憶”で複雑な日本語文脈に対応するLLM構築へ楽天グループは、経済産業省とNEDOによる国内の生成AI開発支援プロジェクト「GENIAC」の第3期公募に採択されたと発表した。8月から、日本語向けの大規模言語モデル（LLM）の開発を始める。
Read more »
AIがそれらしい嘘をつくのは「創造性がありすぎるから」？ AIのさらなる進化のため必要なこととは＜大規模言語モデル（LLM）は非常に有能に見えるが、文法の規則に頼らず意味を汲み取る能力は人間にも遠く及ばない＞ 大規模言語モデル（LLM）や画像生成モデルなどの生成AIは、医師や弁護士の国家試験を突...
Read more »