Brave Web ブラウザには RTX で高速化された AI が統合され、ユーザーは Leo AI 経由で AI ツールにアクセスできるようになりました。クラウド上でも、Ollama 経由でローカル PC 上でも実行できます。 Nvidia によると、ローカル バージョンは Tensor コアを備えた RTX グラフィックス カードが使用されているため、特に興味深いとのことです。 Ollama のローカル LLM サポートと組み合わせることで、少なくとも素晴らしい結果が約束されます。
私たちは、Ollama などのツールを自社のハードウェアに合わせて最適化することに継続的に取り組んでいます。目標は、RTX グラフィックス カードでの AI 応答時間を改善することです。現在、1 秒あたり最大 149 トークンの速度が可能で、これは 1 秒あたり約 110 ワードに相当します。オープンソースのライブラリおよびフレームワークである Llama.cpp は、これにおいて重要な役割を果たします。 Nvidia のソフトウェア プログラミング インターフェイスである CUDA を通じて、Llama.cpp は高速化のために RTX グラフィック カードの Tensor コアを使用します。
