NVIDIA、PC上でローカルに動作するAIチャットボット「Chat with RTX」を無料公開

Maria Diaz (ZDNET.com) 翻訳校正: 編集部2024年02月15日 12時23分

 NVIDIAは、「GeForce RTX」を搭載したPC上でローカルに動作する、新しい人工知能(AI)チャットボットのデモアプリ「Chat with RTX」を公開した。無償でダウンロードしてAIチャットボットをパーソナライズし、PC上で動かせるというものだ。

NVIDIAのGPUを搭載したPC
提供:NVIDIA

 このアプリには、同社の推論高速化ライブラリーである「NVIDIA TensorRT-LLM」が使われており、ユーザーが選んだコンテンツを使用してトレーニングすることができる。トレーニングには、.txt、.pdf、.doc/.docx、.xmlなどの形式のファイルが使用できるほか、YouTube動画のURLまで指定できる。

 選択したコンテンツを使用したトレーニングが終わったら、チャットボットにそのコンテンツについて質問できるようになる。例えば、YouTubeのハウツー動画の中で説明されている手順を要約させたり、自分の買い物リストにメモしてある電池の種類を答させるようなこともできる。

 重要なのは、すべてがローカルで処理されるため、データの秘密を守ることができる点だ。Chat with RTXではすべてがローカルで処理され、クラウドサービスを利用しないため、レスポンスが速く、インターネット接続が利用できない環境でも使用できる。

 このチャットボットを動かすには、「NVIDIA GeForce RTX 30」シリーズ以上のGPUと8GB以上のVRAMが必要になる。また、「Windows 10」または「Windows 11」と、NVIDIAの最新のGPUドライバーも必要だ。

 NVIDIAによれば、Chat with RTXでは、TensorRT-LLM、検索拡張生成(RAG)、RTXアクセラレーションの技術を使用することで、ローカルファイルをデータセットとして「Mistral」や「Llama 2」などのオープンソースの大規模言語モデルと接続し、適切な答えを返すことを可能にしているという。

NVIDIAの発表
Chat with RTX

この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。

CNET Japanの記事を毎朝メールでまとめ読み(無料)

-PR-企画広告

企画広告一覧

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]