Skip to content

Read our latest paper introducing PyGWalker - On-the-fly Assistant for Exploratory Visual Data Analysis

Pythonにおけるテキストクリーニング：効果的なデータクリーニングチュートリアル

Rajiv Chandra
Name
Rajiv Chandra

Updated on

テキストデータは洞察の宝庫ですが、しばしばノイズの山の下に埋もれています。SNSの投稿、顧客のレビューや科学的な記事など、生のテキストデータは通常乱雑で非構造化されています。これが テキストクリーニングが登場する場所であり、データ前処理パイプラインの重要なステップです。

自然言語処理（NLP）や機械学習の領域では、テキストクリーニングは生のテキストをアルゴリズムが理解しやすい形式に変換します。これは部屋を整理することのようなもので、必要なものを探しやすくします。しかし、服や本ではなく、単語と文章を扱っています。

Python Pandas Dataframeから簡単にデータ可視化を作成したいですか？

PyGWalkerは、可視化と探索的データ解析のためのPythonライブラリです。PyGWalker (opens in a new tab)を使用すると、Jupyter Notebookのデータ分析とデータ可視化のワークフローを簡素化できます。このライブラリは、pandasのデータフレーム（およびpolarsのデータフレーム）をTableauスタイルのユーザーインターフェースに変換し、視覚的な探索ができます。

PyGWalkerのデータ可視化 (opens in a new tab)

Pythonにおけるテキストクリーニングとは何ですか？

テキストクリーニング、またはデータクリーニングまたはデータクレンジングとしても知られているのは、生のテキストデータをさらなる処理や分析に向けて準備するプロセスです。これはNLPや機械学習のプロジェクトで重要なステップであり、モデルの性能に直接影響します。データがよりクリーンで構造化されているほど、モデルはそれから効果的に学習できます。

Pythonは、強力で柔軟なプログラミング言語であり、効率的なテキストクリーニングのためのさまざまなライブラリやツールを提供しています。これには Natural Language Toolkit（NLTK）、**正規表現（regex）**などが含まれます。これらのツールを使用すると、句読点や特殊文字の削除から単語形式の標準化まで、さまざまなテキストクリーニングタスクを実行できます。

なぜ機械学習においてテキストクリーニングが重要ですか？

機械学習モデルはデータから学習します。モデルに与えるデータの品質は、その性能に直接影響します。テキストデータの文脈において、「品質」とはしばしば構造化され、一貫性があり、関係のない情報がないことを意味します。

誤字、一貫性のない用語、関係のない情報が詰まった本から新しい概念を学ぼうとする想像してみてください。混乱するでしょう。同じことが機械学習モデルにも当てはまります。乱雑で一貫性がなく、ノイズの多いデータから効果的に学習するのは困難です。

テキストクリーニングは、次のようにテキストデータの品質を向上させます：

  • 関連のない情報の削除：これにはHTMLタグ、URL、SNSのハンドルなど、テキストの意味を理解するのに寄与しない情報が含まれます。
  • テキストの標準化：これには、すべてのテキストを小文字に変換したり、誤字を修正したり、日付の形式を標準化したりするタスクが含まれます。これにより、データ内で同じ情報が一貫して表現されるようになります。
  • 次元削減：ステミングやレンマ化などの手法により、単語をそのルート形に縮小することで、モデルが学習する必要のある一意の単語の数を減らすことができます。

Pythonでの一般的なテキストクリーニングの技術

Pythonは、テキストクリーニングのためのさまざまなツールやライブラリを提供しています。最も一般的な技術のいくつかを見てみましょう：

特殊文字と句読点の削除

特殊文字と句読点は、しばしばセマンティックな意味を提供せず、テキストデータにノイズを追加します。Pythonの組み込みの文字列メソッドや正規表現ライブラリを使って簡単に削除することができます。以下に例を示します：

import re
text = "Hello, World! @Python #NLP"
clean_text = re.sub(r'[^\w\s]', '', text)
print(clean_text)  ## 出力: "Hello World Python NLP"

テキストの小文字化

すべてのテキストを小文字に変換すると、モデルが「Python」、「python」などの単語を同じ単語として扱います。

## これがPythonでテキストを小文字に変換する方法です：
 
text = "Hello, World! @Python #NLP"
lowercase_text = text.lower()
print(lowercase_text)  ## 出力: "hello, world! @python #nlp"

トークン化

トークン化とは、テキストを個々の単語やトークンに分割するプロセスです。これはテキストクリーニングやNLPの最初のステップの一つです。PythonのNLTKライブラリは、テキストをトークン化するための簡単な方法を提供します：

from nltk.tokenize import word_tokenize
 
text = "Hello, World! @Python #NLP"
tokens = word_tokenize(text)
print(tokens)  ## 出力: ['Hello', ',', 'World', '!', '@Python', '#NLP']

ストップワードの削除

ストップワードとは、「is」、「the」、「and」などの一般的な単語であり、しばしばセマンティックな意味を持ちません。これらを削除することで、データの次元削減に寄与することができます。NLTKは一般的な英語のストップワードのリストを提供しています。

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
 
stop_words = set(stopwords.words('english'))
 
text = "This is a sample sentence."
tokens = word_tokenize(text)
filtered_tokens = [token for token in tokens if token not in stop_words]
 
print(filtered_tokens)  ## 出力: ['This', 'sample', 'sentence', '.']

ステミングとレンマ化

ステミングとレンマ化は、単語をそのルート形に縮小する技術です。これにより、データの次元削減や同じ単語の異なる形式のグループ化ができます。次に、NLTKを使用してステミングとレンマ化を実行する方法を示します：

from nltk.stem import PorterStemmer, WordNetLemmatizer
```markdown
# nltk.tokenizeからword_tokenizeをインポート
from nltk.tokenize import word_tokenize
 
# PorterStemmerとWordNetLemmatizerを使って初期化
stemmer = PorterStemmer()
lemmatizer = WordNetLemmatizer()
 
# テキストを指定
text = "The cats are running."
tokens = word_tokenize(text)
 
# ステミングされたトークンとレンマ化されたトークンを生成
stemmed_tokens = [stemmer.stem(token) for token in tokens]
lemmatized_tokens = [lemmatizer.lemmatize(token) for token in tokens]
 
# ステミングされたトークンとレンマ化されたトークンを出力
print(stemmed_tokens)  ## 出力: ['the', 'cat', 'are', 'run', '.']
print(lemmatized_tokens)  ## 出力: ['The', 'cat', 'are', 'running', '.']
 
## Pythonのテキストクリーニング用ライブラリ
 
Pythonはテキストクリーニングのためにいくつかの強力なライブラリを提供しています。最も一般的に使用される2つ、NLTKと正規表現について詳しく見ていきましょう。
 
### 自然言語処理ツールキット（NLTK）
 
NLTKは、人間の言語データを扱うためのPythonプログラムを構築するための主要なプラットフォームです。WordNetなどの50以上のコーパスや語彙的リソースに対する使いやすいインターフェースを提供し、分類、トークン化、ステミング、タグ付け、パース、意味論的推論などのテキスト処理ライブラリのスイートも用意されています。
 
NLTKを使ったテキストクリーニングの例を以下に示します。
 
```python
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from nltk.stem import PorterStemmer
 
## ステミングを初期化
stemmer = PorterStemmer()
 
## ストップワードを定義する
stop_words = set(stopwords.words('english'))
 
## テキストを定義する
text = "This is a sample sentence, showing off the stop words filtration."
 
## テキストをトークン化
tokens = word_tokenize(text)
 
## ストップワードを削除し、単語をステミングする
filtered_tokens = [stemmer.stem(token) for token in tokens if token not in stop_words]
 
print(filtered_tokens)

正規表現（regex）

正規表現は、さまざまな種類の文字列処理に便利な強力なツールです。正規表現は、多くの最新のプログラミング言語のライブラリとして提供されているドメイン固有言語（DSL）であり、Pythonに限らず、さまざまなタスクに役立ちます。

  • 文字列がパターンに一致するかどうかを検証する（たとえば、文字列がメールアドレスの形式であるかどうか）。
  • 文字列の置換を行う（すべてのアメリカ式綴りからイギリス式に変更するなど）。

正規表現を使ったテキストクリーニングの例を以下に示します。

import re
 
## テキストを定義する
text = "This is a sample sentence. It contains 1,2, and 3 numbers."
 
## 数字をすべて削除する
clean_text = re.sub(r'\d', '', text)
 
print(clean_text)  ## 出力: "This is a sample sentence. It contains , and  numbers."

これらは、テキストクリーニングにPythonの強力なライブラリをいくつか活用できる例です。これらのテクニックをマスターすることで、テキストデータをクリーンにし、さらなる分析やモデリングに活用できます。

高度なテキストクリーニングのテクニック

テキストクリーニングに深く入り込むと、データをさらに洗練させるために役立つ高度なテクニックに出会うことがあります。これらのテクニックは、取り組んでいる言語をより深く理解する必要があり、データの品質を大幅に向上させることができます。

固有表現抽出

固有表現抽出（NER）は、文に関する情報を提供する要素を抽出するプロセスです。たとえば、文 "John Doe is a software engineer from Google." がある場合、固有表現抽出を使用すると、"John Doe" が人物であり、"Google" が組織であることがわかります。

PythonのNLTKライブラリは、簡単に固有表現抽出を実行する方法を提供します。

import nltk
from nltk import word_tokenize, pos_tag, ne_chunk
 
sentence = "John Doe is a software engineer from Google."
 
print(ne_chunk(pos_tag(word_tokenize(sentence))))

品詞タグ付け

品詞タグ付けは、単語をその定義と文脈に基づいて、特定の品詞に対応するようにマークアップするプロセスです。以下に、NLTKを使用して品詞タグ付けを行う方法を示します。

import nltk
from nltk import word_tokenize, pos_tag
 
sentence = "John Doe is a software engineer from Google."
 
print(pos_tag(word_tokenize(sentence)))

テキスト分類と感情分析

テキスト分類は、コンテンツに基づいてテキストにタグやカテゴリを割り当てるプロセスです。自然言語処理の基本的なタスクの1つです。感情分析とは、テキストデータ内の感情を解釈し分類することであり、テキスト分析技術を使用します。

PythonのNLTKライブラリは、テキスト分類と感情分析の機能を提供しています。

まとめ

テキストクリーニングは、NLPや機械学習のプロジェクトにおいて重要なステップです。これにより、生の非構造化テキストデータをアルゴリズムが理解しやすい形式に変換することができます。この記事で説明したテキストクリーニングのテクニックとPythonライブラリを習得することで、テキストクリーニングにおいて熟練度を高めることができます。

PythonのPandasデータフレームからコードを書かずにデータ可視化を簡単に作成したいですか？

PyGWalkerは、可視化を伴う探索的データ分析のためのPythonライブラリです。PyGWalker (opens in a new tab)は、pandasデータフレーム（およびpolarsデータフレーム）をTableauスタイルのユーザーインターフェースに変換することで、Jupyter Notebookのデータ分析とデータ可視化のワークフローを簡素化できます。

PyGWalker for Data visualization (opens in a new tab)

よくある質問

Pythonでのテキストクリーニングとは何ですか？

Pythonでのテキストクリーニングとは、生のテキストデータをさらなる処理と分析のために準備するプロセスです。特殊文字や句読点の削除、テキストの小文字化、トークン化、ストップワードの削除、ステミングとレンマ化など、さまざまな技術が使用されます。

NLPのためのPythonでテキストデータをクリーニングする方法は？

PythonでNLPのためのテキストデータをクリーンアップするには、NLTKやregexなどのさまざまなライブラリを使用することができます。これらのライブラリは、特殊文字や句読点の削除、テキストの小文字変換、トークン化、ストップワードの削除、語幹処理とlemmatizationなどの一般的なテキストクリーニングのタスクに対する機能を提供します。

テキストクリーニングとは何ですか？

テキストクリーニングは、生のテキストデータをさらなる処理や分析のために準備するプロセスです。これは、NLPや機械学習のプロジェクトにおいて重要なステップであり、モデルのパフォーマンスに直接影響を与えます。データがよりクリーンで構造化されているほど、モデルはそれからより良く学習できます。

テキストデータをどのようにクリーンアップしますか？

テキストデータをクリーンアップするためには、特殊文字や句読点の削除、テキストの小文字変換、トークン化、ストップワードの削除、語幹処理とlemmatizationなどのさまざまなテキストクリーニング技術を使用することができます。Pythonには、NLTKやregexなどのさまざまなライブラリがあり、これらのタスクを効率的に実行するのに役立ちます。