NVIDIA、PC上でローカルに動作するAIチャットボット「Chat with RTX」を無料公開

　NVIDIAは、「GeForce RTX」を搭載したPC上でローカルに動作する、新しい人工知能（AI）チャットボットのデモアプリ「Chat with RTX」を公開した。無償でダウンロードしてAIチャットボットをパーソナライズし、PC上で動かせるというものだ。

提供：NVIDIA

　このアプリには、同社の推論高速化ライブラリーである「NVIDIA TensorRT-LLM」が使われており、ユーザーが選んだコンテンツを使用してトレーニングすることができる。トレーニングには、.txt、.pdf、.doc/.docx、.xmlなどの形式のファイルが使用できるほか、YouTube動画のURLまで指定できる。

　選択したコンテンツを使用したトレーニングが終わったら、チャットボットにそのコンテンツについて質問できるようになる。例えば、YouTubeのハウツー動画の中で説明されている手順を要約させたり、自分の買い物リストにメモしてある電池の種類を答させるようなこともできる。

　重要なのは、すべてがローカルで処理されるため、データの秘密を守ることができる点だ。Chat with RTXではすべてがローカルで処理され、クラウドサービスを利用しないため、レスポンスが速く、インターネット接続が利用できない環境でも使用できる。

　このチャットボットを動かすには、「NVIDIA GeForce RTX 30」シリーズ以上のGPUと8GB以上のVRAMが必要になる。また、「Windows 10」または「Windows 11」と、NVIDIAの最新のGPUドライバーも必要だ。

　NVIDIAによれば、Chat with RTXでは、TensorRT-LLM、検索拡張生成（RAG）、RTXアクセラレーションの技術を使用することで、ローカルファイルをデータセットとして「Mistral」や「Llama 2」などのオープンソースの大規模言語モデルと接続し、適切な答えを返すことを可能にしているという。