Skip to content

lab2.dev is launched! Build python web apps with plain English, no code required.

Pinecone AIの解読：Semantic Searchのポテンシャルを解き放とう

Akira Sakamoto
Name
Akira Sakamoto

Updated on

現代のデジタルエコシステムで膨大な量のデータを扱うには、堅牢で効率的なデータストレージと検索システムが不可欠です。このためにPinecone AIが登場するのです。Pinecone AIはベクトルデータベースと洗練された統合機能をコア機能として持ち、データの扱い方を再定義しています。今回は、Pineconeの機能とSemantic Searchの活用方法について深入りしてみましょう。

Pineconeのベクトルデータベースシステムの理解

従来のデータベースとは異なり、Pineconeのユニークなベクトルデータベースは、データの取り扱いに革新的なアプローチを提供します。 このコア機能により、ユーザーはさまざまなソースからデータをこれらのベクトルデータベースにアップロードすることができ、強力なSemantic Search機能を実現することができます。この機能は、従来のキーワードベースの検索よりも、より関連性の高い正確な検索結果を提供するために大幅に改善されています。

さらに、Pineconeはデータの意味と文脈を理解することができるインテリジェントシステムにデータベースの機能を拡張しています。Pineconeが「自然言語処理モデルからのベクトル埋め込み」と呼ぶこのデータのSemantic理解は、チャットボット、推薦システムなどの多数のアプリケーションにとって革新的なものとなっています。

Pineconeの統合機能のパワー

Pineconeの実力は、OpenAI、Haystack、co:hereなどの最先端技術との互換性でさらに高められています。これらの統合により、データオペレーションのカスタマイズやより洗練されたアウトカムの生成が容易になります。人間らしいテキストを生成するためにOpenAIの言語モデルを使用したり、情報検索を改善するためにHaystackの機能を活用したりすることができ、Pineconeはすべてのことを簡単に実現します。

データの統合と検索のプロセスを理解するために、Pineconeでの単純化されたデモを見てみましょう。

Pineconeのデモ：簡単な例

Pineconeクライアントをインストールした後、APIキーと環境設定を使って初期化する必要があります。このAPIキーは、最小限のがちょうど効果的なPineconeマネジメントコンソール内で管理されています。Pineconeクライアントの初期化は、次のようになる可能性があります。

pip install pinecone-client
import pinecone
pinecone.init(api_key="xxxxxxxx-xxxx-xxxx-xxx-xxxx", environment="us-west1-gcp")

ベクトルデータベース、またはPineconeが「インデックス」と呼ぶものを作成するためには、コードを1、2行書くだけで、例えば、名前が「pod1」のインデックスを作成し、ベクトルデータを挿入することができます。

index=pinecone.Index(index_name="pod1")
import pandas as pd
df = pd.DataFrame(
     data={
         "id": ["A", "B", "B", "C", "D", "E"],
         "vector":[
           [1.,1.,1.],
           [1.,2.,3.],
           [2.,1.,1.],
           [3.,2.,1.],
           [2.,2.,2.]]
     })
index.upsert(vectors=zip(df.id,df.vector))
```index.describe_index_stats（）の日本語翻訳は次のとおりです。

ベクトルデータベース内のデータを使用すると、セマンティック検索または「クエリ」を実行して、ベクトルのトップkマッチを取得できます。クエリはスコアと値を返します。これにより、検索結果の関連性が示されます。

index.query(
     queries=[[1.,2.,3.]],
    
 
 top_k=3,
     include_values=True)

この単純なデモは、Pineconeをデータニーズに使用する際の簡単さと強力さを示しています。

Pineconeの提供する機能についてより深く掘り下げるにつれて、データ管理の領域をかき回す可能性が浮かび上がります。強力なベクトルデータベース、堅牢な統合機能、直感的な管理コンソールを組み合わせると、どんなデータ集約的プロジェクトにも魅力的なツールとしてさまざまな恩恵をもたらします。Pinecone AIを使用することで、セマンティック検索の力を完全に発揮して、より正確で関連性が高く、より賢いデータ操作を実現できます。

知識ベースチャットボットのコンポーネントの構築

Webスクレイパー

最初のコンポーネントはWebスクレイパーです。Webスクレイパーを構築するために、Puppeteerを使用します。これは、ヘッドレスChromeまたはChromiumブラウザを制御する高レベルAPIを提供するNode.jsライブラリです。

Puppeteerを使用したWebページからのコンテンツ抽出のサンプル関数は次のとおりです。

async function scrape_researchr_page(url: string, browser: Browser): Promise<string> {
    const page = await browser.newPage();
    await page.setJavaScriptEnabled(false);
    await page.goto(url);
 
    const element = await page.waitForSelector('#content > div.row > div', {
        timeout: 100
    });
 
    // ... more code here ...
 
    return turndownService.turndown(html_of_element);
}

この関数はHTMLコンテンツを収集し、その後、turndownライブラリを使用してHTMLをMarkdownに変換します。これは、後で使用するAIであるGPTがHTMLよりもMarkdownをより理解しやすいためです。

テキスト分割

次に、langchain/text_splitterパッケージのMarkdownTextSplitterクラスを使用して、Markdownテキストを小さなチャンクに分割します。

const textSplitter = new MarkdownTextSplitter({
    chunkSize: 1000,
    chunkOverlap: 20
});
const chunks = await textSplitter.splitText(markdowns.join('\n\n'));

埋め込みジェネレータ

langchain/embeddingsパッケージのOpenAIEmbeddingsクラスを使用して、テキストの部分に対して埋め込みを生成します。これには、OpenAIの埋め込みAPIを使用します。

const embeddingModel = new OpenAIEmbeddings({ maxConcurrency: 5 });

Pineconeベクトルストア

効率的にembeddingを保存・取得するために、Pineconeを私たちのベクトルデータベースとして使用しています：

import {PineconeClient} from "@pinecone-database/pinecone";
 
const client = new PineconeClient();
await client.init({
    apiKey: PINECONE_API_KEY,
    environment: PINECONE_ENVIRONMENT,
});
 
export const pineconeIndex = client.Index(PINECONE_INDEX);

Langchain LLM

最終的には、大規模言語モデル(LLM)をPineconeベクトルデータベースと組み合わせることで、ベクトルデータベースの中身に基づいた質問に答えるための対話システムを実装します：

const model = new ChatOpenAI({ temperature: 0.9, openAIApiKey: OPENAI_API_KEY, modelName: 'gpt-3.5-turbo' });
 
const chain = VectorDBQAChain.fromLLM(model, vectorStore, {
k: 5,
returnSourceDocuments: true
});

これらのコンポーネントを使用して、SvelteKitエンドポイントを作成してユーザーのリクエストを処理します：

export const POST = (async ({ request }) => {
    //... request handling code here...
}) satisfies RequestHandler;

このチュートリアルを通じて、PineconeとOpenAI Embedding APIとlangchain.jsを組み合わせて、革新的な知識ベースのチャットボットを作成できることがわかりました。この使用例により、Pineconeの汎用性だけでなく、高度なAIアプリケーションの動力としての実用的なアプリケーションを示すことができました。

結論

AI技術が進化し続ける中で、チャットボットが顧客エンゲージメントの向上や退屈なタスクの自動化に重要な役割を果たすことは明らかです。Pinecone、OpenAI Embedding API、およびLangchain.jsの力を活用することで、ユーザーのクエリに対して高品質で文脈的に正確な応答を提供する知識ベースのチャットボットを構築できます。実装が最初は複雑に思えるかもしれませんが、このステップバイステップガイドに従うことでプロセスを簡素化できます。このデジタル時代において、AIの可能性を探索し、革新を進めるための潜在的な力を活用しましょう。

よくある質問

Q: ベクトルデータベースとは何ですか？

A: ベクトルデータベースは、ベクトルを効率的に保存およびクエリするために設計されています。高次元空間内でのベクトルの類似性に基づいて、類似するベクトルを検索することができます。Pineconeは、このチュートリアルで使用するベクトルデータベースの例です。

Q: WebスクレイピングでHTMLをMarkdownに変換する理由は何ですか？

A: HTMLからMarkdownに変換することで、GPT-3がコンテンツを理解しやすく処理できるようにテキストを簡素化することができます。また、使用されるトークン数を減らすことで、APIコールのコストを削減することができます。

Q: テキストデータを処理する前に、なぜチャンクに分割する必要がありますか？

A: テキストデータをチャンクに分割することで、モデルが情報を処理しやすくなります。非常に構造化されたMarkdownファイルの場合、1チャンクは1サブセクションに相当する可能性があります。MarkdownがHTMLから取得され、より構造化されていない場合は、固定されたチャンクサイズに頼ることがあります。

Q: Pineconeは、知識ベースのチャットボットの開発にどのように役立ちますか？

A: Pineconeはベクトルデータベースとして機能し、高次元ベクトルを効率的に格納および取得することができます。これは、チャットボット開発プロセスにおいて生成されたembeddingを格納および取得するのに役立ちます。

Q：langchain.jsはこのチャットボットにどのように貢献しているのですか？

A：Langchain.jsは、Large Language Model（LLM）フレームワーク用のJavaScriptライブラリです。PineconeとOpenAIとの作業を容易にし、私たちのチャットボットの質問応答能力を提供するのに役立ちます。