NVIDIAは、「GeForce RTX」を搭載したPC上でローカルに動作する、新しい人工知能(AI)チャットボットのデモアプリ「Chat with RTX」を公開した。無償でダウンロードしてAIチャットボットをパーソナライズし、PC上で動かせるというものだ。
このアプリには、同社の推論高速化ライブラリーである「NVIDIA TensorRT-LLM」が使われており、ユーザーが選んだコンテンツを使用してトレーニングすることができる。トレーニングには、.txt、.pdf、.doc/.docx、.xmlなどの形式のファイルが使用できるほか、YouTube動画のURLまで指定できる。
選択したコンテンツを使用したトレーニングが終わったら、チャットボットにそのコンテンツについて質問できるようになる。例えば、YouTubeのハウツー動画の中で説明されている手順を要約させたり、自分の買い物リストにメモしてある電池の種類を答させるようなこともできる。
重要なのは、すべてがローカルで処理されるため、データの秘密を守ることができる点だ。Chat with RTXではすべてがローカルで処理され、クラウドサービスを利用しないため、レスポンスが速く、インターネット接続が利用できない環境でも使用できる。
このチャットボットを動かすには、「NVIDIA GeForce RTX 30」シリーズ以上のGPUと8GB以上のVRAMが必要になる。また、「Windows 10」または「Windows 11」と、NVIDIAの最新のGPUドライバーも必要だ。
NVIDIAによれば、Chat with RTXでは、TensorRT-LLM、検索拡張生成(RAG)、RTXアクセラレーションの技術を使用することで、ローカルファイルをデータセットとして「Mistral」や「Llama 2」などのオープンソースの大規模言語モデルと接続し、適切な答えを返すことを可能にしているという。
NVIDIAの発表この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス