Skip to content

Use Kanaries Cloud for free as students and educators

PrivateGPT：安全・プライバシー保護を実現したオフラインGPT-4

Viktor Zinchenko
Name
Viktor Zinchenko

Published on

人工知能(AI)と自然言語処理(NLP)の世界では、特に機密データを扱う場合には、プライバシーが最重要課題となっています。そのような状況に対応する革新的なツールであるPrivateGPTが登場しました。PrivateGPTは、インターネット接続なしでローカルで実行できることにより、データが実行環境から出ることを防止することにより、完全なプライバシーを保証することができます。

PrivateGPTとは？

PrivateGPTは、GPT-4の言語理解能力と厳格なプライバシー対策を融合させた革新的なツールです。LangChain、GPT4All、LlamaCpp、Chroma、そしてSentenceTransformersの強みを活用し、ユーザーが完全にローカルでGPT-4とやりとりできるようになっています。PrivateGPTのセットアップの細かい点や効率的な使用方法について詳しく見ていきましょう。

PrivateGPTのセットアップ手順

PrivateGPTをセットアップするには、主に2つの手順が必要です。必要なものをインストールすることと、環境を設定することです。最初に、マシンにPython 3.10以上がインストールされていることを確認してください。

手順 1： リクエストのインストール

pip3 install -r requirements.txt

手順 2： 言語学習モデル(LLM)をダウンロードして任意のディレクトリに配置してください。これは基本的に ggml-gpt4all-j-v1.3-groovy.bin ですが、GPT4All-J に互換性のあるモデルならどれでも使用できます。

手順 3： example.env を .env に名前を変更して環境変数を編集します。

  • MODEL_TYPE：LlamaCpp または GPT4All を指定します。
  • PERSIST_DIRECTORY：ベクターストア用のフォルダを設定します。
  • MODEL_PATH：LLM のパスを指定します。
  • MODEL_N_CTX：LLM モデルの最大トークン数を決定します。
  • EMBEDDINGS_MODEL_NAME：SentenceTransformers の embeddings モデル名を指定します。
  • TARGET_SOURCE_CHUNKS：質問に回答するために使われるチャンクの数を決めます。

これで環境が設定できたので、データの読み込みへ進むことができます。

PrivateGPTでデータを読み込む

PrivateGPTは、CSV、Wordドキュメント、HTMLファイルなど、さまざまなファイル形式に対応しています。データを読み込む手順は以下の通りです。

手順 1： ファイルを source_documents ディレクトリに置きます。

手順 2： ingest.py スクリプトを実行してすべてのデータを処理します。

python ingest.py

スクリプトは db フォルダー内にローカルの embeddings データベースを作成します。ドキュメントのサイズに応じて、1つあたり20-30秒ほどかかります。

PrivateGPTでやりとりする

最後に、PrivateGPTを使用してローカルで質問をに対して回答を得る方法を探ってみましょう。

手順 1： privateGPT.py スクリプトを実行します。

python privateGPT.py

**ステップ2：**指示が出たら、クエリを入力してください。

マシンのスピードに応じて、20〜30秒以内に、PrivateGPTはGPT-4モデルを使用して回答を生成し、回答を作成するために使用したドキュメントからソースを提供します。

PrivateGPTのパワーを解き放つ：基本的なメカニクス

PrivateGPTのプライバシーに配慮したローカル操作は、強力なツールのブレンドに基づいています。 ingest.pyはLangChainツールを利用してドキュメントを解析し、HuggingFaceEmbeddings(SentenceTransformersの一部)を使用してローカル埋め込みを作成します。その結果の埋め込みは、Chromaベクターストアを使用してローカルベクターデータベースに格納されます。

privateGPT.pyは、ユーザークエリを理解し、適切な回答を作り出すために、ローカルLLMーGPT4All-JまたはLlamaCppを使用します。ローカルベクターストアを使用して、それらの回答の文脈を抽出し、取り込まれたドキュメントから対応する文脈を検索するために類似性検索を活用します。

システム要件およびトラブルシューティング

PrivateGPTのシステム要件には、Python 3.10以降が必要です。 pip installのプロセス中にC ++コンパイラエラーが発生した場合は、Windows 10/11およびIntelを実行しているMacの両方のインストール手順が提供されます。

あなたはここ (opens in a new tab)からPrivateGPT GitHubにアクセスできます。

結論

PrivateGPTは、GPT-4のような強力なAI言語モデルと厳格なデータプライバシープロトコルの融合の証となっています。外部にデータが共有されないように、ユーザーが自分のドキュメントとやり取りするための安全な環境を提供します。 AI愛好家でもプライバシーに焦点を合わせたユーザーでも、PrivateGPTはプライバシーに配慮したAIアプリケーションの新しい可能性を開拓します。