ChatGPTを使った効果的なPDFサマライザー：詳細ガイド

Name

Viktor Zinchenko

Published on 2023/8/19

(opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab)

人工知能は、言語処理が注目されるなど、多くの領域に急速に進出しています。そうしたアプリケーションの興味深い例は、ChatGPTを使用してPDFファイルを要約することです。 'PDF GPT'は、この技術を活用した魅力的なプロジェクトです。しかし、ChatGPTを強力なPDFサマライザーにするもの、そして何らかの機能を提供するものは何でしょうか。本記事ではそのプロセスを詳しく説明します。

問題の陳述と現在の解決策を明らかにする

大量のテキストデータ、特にPDF形式のデータを扱う場合、しばしば2つの重大な障壁が生じます。1つ目は、OpenAIなどのプラットフォームには4Kトークン制限があるため、PDFファイル全体を入力として受け入れることができないということです。2つ目は、AIが悪いembeddingにより、クエリと関係のない応答を返すことがあることです。

これらの問題に対する現在の解決策には、ChatPDF (opens in a new tab)、BeSpacific (opens in a new tab)、FileChat (opens in a new tab)などのサービスが含まれます。ただし、これらのサービスは、品質の高いコンテンツを維持するのに苦労し、 '幻覚'問題に陥ります-正確性や関連性に欠けるコンテンツを生成します。これらの問題に対処するために、アルゴリズムのUniversal Sentence Encoderファミリーを使用して埋め込みを強化することが提案されています。

解決策の探求：PDF GPTの複雑さ

PDF GPTは、アップロードされたPDFファイルとGPTの機能を使用して対話することを可能にする革新的なソリューションです。これは、ドキュメントを小さな塊に分割し、堅牢なDeep Averaging Network Encoderを使用して埋め込みを生成することで、巨大なテキストや4Kトークン制限の問題を巧妙に避けます。

このアプリケーションは、まずPDFのコンテンツで意味的検索を実行し、次に最も関連性の高い埋め込みをOpenAIにフィードします。それは正確な応答を生成するためのカスタムロジックを利用します。このツールの素晴らしい機能の1つは、情報が格納されているページ番号を引用できることであり、応答を信頼性があり、重要な情報を迅速に特定するのに役立ちます。

たとえば、保険ポリシーを含むPDFから尋ねられた「部屋代の上限は何ですか？」という質問を考えてみてください。AIは次のように答えることができます。「Arogya Sanjeevani Policy [ページ番号1]で規定されているように、部屋代は最大でINR 5,000 /日に対して適用されます。」

PDF GPTは、Langchain-serveによってAPIを本番用にアクティブ化することで、本番用にも拡張機能を提供します。 Demo (opens in a new tab)を提供し、ソースコードはHugging Face (opens in a new tab)で公開されています。

ローカルプレイグラウンドとクラウド展開について調べる

PDF GPTには、Langchain-serveを使用してアクティブにすることができるローカルプレイグラウンドが装備されています。このローカルプレイグラウンドは、次のコマンドを実行して起動できます。

lc-serve deploy local api

別のターミナルで、次のコマンドを実行できます。

python app.py

これにより、ローカルのgradioプレイグラウンドを開始できます。その後、ブラウザで http://localhost:7860 を開いて、アプリケーションと対話を開始できます。

クラウド展開も、アプリケーションを本番用に準備し、以下のコマンドを使用してJina Cloudに展開することによって容易になります。

bash
lc-serve deploy jcloud api

オリジナルのGitHub READMEに提供されている例のように、cURLを介したインタラクションも可能です。

Dockerの利用とlocalhostでの実行

プロジェクトには、Docker Composeコマンドが提供されています。例えば、Docker Composeを使用してアプリケーションを実行する場合は、次のコマンドを使用します。

docker-compose -f docker-compose.yaml up
```以下のコマンドを実行することで、画像を取得できます：
 
```bash
docker pull registry.hf.space/bhaskartripathi-pdfchatter:latest

ローカルで使用する場合、Universal Sentence Encoderをプロジェクトのルートフォルダにダウンロードする必要があります。アプリケーションを実行するたびにランタイムで915 MBのエンコーダをダウンロードすることを回避するために、このダウンロードは重要です。

ローカルにダウンロードした場合は、APIファイルのこの行：

self.use = hub.load('https://tfhub.dev/google/universal-sentence-encoder/4')

を以下で置き換えてください：

self.use = hub.load('./Universal Sentence Encoder/')

PDF-GPTを実行するには、以下のコマンドを入力します：

docker run -it -p 7860:7860 --platform=linux/amd64 registry.hf.space/bhaskartripathi-pdfchatter:latest python app.py

PDF GPTへの貢献の拡大

このプロジェクトのクリエイターは、オープンソースコミュニティからの貢献者を募集しています。バックログアイテムを自発的に引き受け、アプリケーションを共同でメンテナンスする招待状があります。

結論

PDF GPTを使ったChatGPTは、特にPDF要約機能として、AIによる文書処理における大きな飛躍を表しています。埋め込みの強化と簡潔な回答の生成、大量のPDFを効率的に扱うことにより、PDF GPTは文書要約におけるAIの知能的かつ効率的な将来の舞台を築いています。