자연어처리 (NLP) 기초학습 - 2

 

Data Preprocessing Pipeline (데이터 전처리 파이프라인):

설명: 데이터 전처리 파이프라인은 데이터 수집 및 정제, 토큰화, 정규화, 불용어 제거, 특성 추출 등의 단계로 구성됩니다. 아래는 토큰화와 불용어 제거 예시입니다.

 

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

text = "이것은 예시 문장입니다. NLP 처리를 위한 예시입니다."

# 문장을 토큰화
tokens = word_tokenize(text)

# 불용어 제거
stop_words = set(stopwords.words('한국어'))
filtered_tokens = [word for word in tokens if word.lower() not in stop_words]

print(filtered_tokens)

Tokenization (토큰화):

설명: 토큰화(Tokenization)는 자연어 처리(Natural Language Processing, NLP)에서 텍스트를 작은 의미 단위로 분할하는 과정을 말합니다. 이 과정은 텍스트 데이터를 컴퓨터가 처리하고 분석할 수 있는 형태로 변환하는 중요한 전처리 단계 중 하나입니다.

토큰은 일반적으로 단어, 구두점, 숫자, 형태소, 또는 문자 단위 등으로 분할됩니다. 토큰화의 주요 목적은 다음과 같습니다:

• 텍스트의 구조 파악: 토큰화를 통해 텍스트의 구조를 이해할 수 있습니다. 언어는 단어와 문장의 조합으로 이루어져 있으며, 이를 분석하려면 텍스트를 토큰으로 분할해야 합니다.
• 텍스트 분석: 텍스트 데이터를 머신러닝 모델에 입력으로 제공하기 위해 필요한 토큰화 작업은 문서 분류, 감정 분석, 정보 추출 및 기계 번역과 같은 NLP 작업에 중요합니다.
• 불용어 제거: 텍스트에서 중요하지 않은 부분(불용어)을 제거하기 위해서 토큰화 후에 불용어를 찾아내고 제거하는 작업을 수행합니다.
• 어휘 다양성 측정: 문서 내에서 사용된 고유한 단어 수를 계산하고 어휘 다양성을 파악하는 데 사용됩니다.
• 텍스트 전처리: 텍스트를 정규화하고 텍스트 마이닝 작업을 수행하기 위해 사용자 지정 토큰화 규칙을 적용합니다.
• 토큰화는 다국어 처리를 위한 다양한 도구와 라이브러리에서 지원됩니다. 여러 언어의 문법과 문화에 따라 토큰화 규칙이 다를 수 있습니다. 파이썬에서는 NLTK, spaCy, KoNLPy, TextBlob 등 다양한 라이브러리를 사용하여 토큰화를 수행할 수 있습니다.

 

아래는 간단한 단어 토큰화 예시입니다.

 

# NLTK를 사용한 단어 토큰화 예시
from nltk.tokenize import word_tokenize

text = "ChatGPT는 뛰어난 자연어 처리 모델입니다."
tokens = word_tokenize(text)
print(tokens)

# spaCy를 사용한 토큰화 예시
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp(text)

for token in doc:
    print(token.text)

# KoNLPy를 사용한 한글 토큰화 예시
from konlpy.tag import Komoran

komoran = Komoran()
text = "챗지피티는 한국어 자연어 처리에 탁월한 모델입니다."
tokens = komoran.morphs(text)
print(tokens)

Linguistic Processing with spaCy (spaCy를 사용한 언어 처리):

설명: spaCy는 강력한 언어 처리 라이브러리로 토큰화, 형태소 분석, 구문 분석 및 개체 인식을 제공합니다.

 

import spacy

nlp = spacy.load("en_core_web_sm")  # spaCy 모델 로드

text = "Natural language processing is a subfield of artificial intelligence."
doc = nlp(text)  # 문장을 처리

for token in doc:
    print(token.text, token.pos_)

 

 

Feature Engineering (특성 공학):

설명: 텍스트 데이터에서 유용한 특성을 추출하여 모델 입력으로 사용합니다. TF-IDF 특성 추출 예시:

 

from sklearn.feature_extraction.text import TfidfVectorizer

documents = ["이것은 첫 번째 문서입니다.", "두 번째 문서는 무엇일까요?", "세 번째 문서입니다."]
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents)
print(tfidf_matrix.toarray())

Syntactic Similarity (구문 유사도):

설명: 구문 유사도(Syntactic Similarity)는 자연어 처리(NLP)에서 문장이나 텍스트 구조의 구문적 유사성을 측정하는 방법입니다. 이것은 언어의 문법 규칙과 구조에 기반하여 문장 간의 유사성을 판단하는 데 사용됩니다. 구문 유사도 측정은 다음과 같은 몇 가지 장점이 있습니다:

의미 분석 대신 구문 분석: 구문 유사도는 문장의 구조와 어순에 중점을 두며, 단어의 의미보다는 어떻게 배치되었는지를 고려합니다. 따라서 구문적으로 유사한 두 문장은 동일한 구조를 공유할 것입니다.

• 유용한 정보 추출: 구문 유사도 측정은 문장 간의 유사성을 기반으로 유용한 정보를 추출하고 비교할 수 있습니다. 예를 들어, 문장 간에 유사한 부분을 찾아내거나 문장 간의 차이점을 파악하는 데 사용됩니다.
• 자연어 이해와 번역: 기계 번역 및 자연어 이해 시스템에서 문장 간의 구문 유사성을 측정하는 것은 중요합니다. 번역 시에는 구조가 동일한 문장을 선택하거나 분석할 때 유용하며, 질문 응답 시스템에서도 질문과 답변의 구문 유사성을 분석하여 정확한 답변을 찾는 데 도움이 됩니다.

구문 유사도를 측정하는 방법은 다양합니다. 일반적으로 다음과 같은 접근 방법을 사용합니다:

• 구문 트리 비교: 두 문장을 파싱하여 구문 트리를 생성하고, 두 구문 트리 간의 유사성을 측정합니다. 이를 통해 구조적으로 유사한 부분을 식별할 수 있습니다.
• 구문적 특징 벡터: 문장을 구문적으로 분석하여 구문적 특징 벡터를 생성하고, 벡터 간의 유사성을 측정합니다. 예를 들어, 문장의 품사 태그를 기반으로 벡터를 생성할 수 있습니다.
• 동적 프로그래밍 알고리즘: 두 문장 간의 편집 거리(편집 거리, Levenshtein 거리)를 측정하여 구문적 유사성을 평가합니다.
• 기계 학습 모델: 기계 학습 모델을 사용하여 문장 간의 구문 유사성을 예측하거나 분류합니다.

구문 유사도 측정을 위해 특정 라이브러리 또는 도구를 사용할 수 있으며, 이러한 라이브러리는 구문 분석 및 유사성 측정을 단순화하는 데 도움이 됩니다. 각 라이브러리는 자체 방법과 알고리즘을 사용하여 구문 유사성을 계산합니다.

구문 유사성은 주로 자연어 이해, 정보 검색, 기계 번역 및 텍스트 분석과 같은 다양한 NLP 작업에 활용됩니다.

예시 코드

 

import nltk
from nltk.metrics import edit_distance

# 비교할 두 문자열
sentence1 = "자연어 처리는 흥미로운 주제입니다."
sentence2 = "자연어 처리는 흥미로운 분야입니다."

# Levenshtein 편집 거리 계산
distance = edit_distance(sentence1, sentence2)

# 두 문자열 간의 구문 유사도 측정
max_length = max(len(sentence1), len(sentence2))
similarity = (max_length - distance) / max_length

print(f"Levenshtein 편집 거리: {distance}")
print(f"구문 유사도: {similarity:.2f}")

 

Vectorizing Documents (문서 벡터화):

설명: 문서 벡터화(Vectorizing Documents)는 자연어 처리(NLP)에서 텍스트 문서를 수치형 벡터로 변환하는 과정을 말합니다. 이 과정은 컴퓨터가 텍스트 데이터를 이해하고 처리할 수 있도록 텍스트를 수학적으로 표현하는 중요한 단계 중 하나입니다. 문서 벡터화를 통해 각 문서는 단어 또는 특성의 등장 빈도나 중요도로 표현되며, 이러한 벡터를 기계 학습 모델에 입력으로 사용할 수 있습니다.

문서 벡터화의 주요 목표는 다음과 같습니다:

• 문서 유사성 측정: 문서 간의 유사성을 수치적으로 측정할 수 있습니다. 유사한 주제 또는 내용을 가진 문서를 식별하거나 검색 엔진에서 검색 결과를 랭킹하는 데 사용됩니다.
• 기계 학습 입력: 기계 학습 및 딥 러닝 모델에 텍스트 데이터를 입력으로 사용할 수 있습니다. 문서 벡터는 모델의 피처로 사용되며, 분류, 회귀, 군집화 및 다른 작업에 활용됩니다.
• 텍스트 분석 및 시각화: 문서 벡터화를 통해 텍스트 데이터의 패턴 및 구조를 파악하고, 텍스트 데이터를 시각화하여 텍스트 분석을 수행할 수 있습니다.

주요 문서 벡터화 방법 중 일부는 다음과 같습니다:

• Bag of Words (BoW) 모델: BoW 모델은 각 문서를 단어의 등장 빈도에 따라 벡터화하는 방법입니다. 이 모델은 문서 내의 단어 순서를 무시하고, 각 단어가 문서 내에서 얼마나 자주 나타나는지에만 중점을 둡니다.
• Term Frequency-Inverse Document Frequency (TF-IDF): TF-IDF는 단어의 상대적인 중요성을 고려하여 문서를 벡터화합니다. 이 방법은 문서 내에서 많이 나타나는 단어에 낮은 가중치를 부여하고, 문서 간에 중요한 단어를 식별합니다.
• Word Embeddings (단어 임베딩): 단어 임베딩은 단어를 고정된 차원의 벡터로 매핑하는 방법입니다. Word2Vec, GloVe 등의 모델을 사용하여 단어 벡터를 생성하고, 이를 통해 문서를 벡터화합니다.
• Doc2Vec (Paragraph Vector): Doc2Vec은 단어 임베딩과 유사하게 문서를 벡터로 매핑하는 방법입니다. 각 문서에 고유한 벡터가 할당되며, 문서 간 유사성을 측정하는 데 사용됩니다.
• FastText: FastText는 Facebook에서 개발한 단어 임베딩 방법으로, 부분 단어(subword) 정보를 활용하여 풍부한 표현력을 제공합니다.

문서 벡터화를 위한 라이브러리로는 Scikit-learn, Gensim, spaCy, FastText, 그리고 TensorFlow 등이 있으며, 선택한 방법과 라이브러리에 따라 구체적인 구현이 달라질 수 있습니다. 문서 벡터화를 수행하기 위해 선택한 방법과 라이브러리에 따라 코드가 다를 것이므로, 특정 방법에 대한 예제 코드를 원하신다면 해당 방법과 라이브러리에 대한 문서 및 튜토리얼을 참조하실 것을 권장합니다.

 

CountVectorizer를 사용한 문서 벡터화 예시:

 

from sklearn.feature_extraction.text import CountVectorizer

documents = ["이것은 첫 번째 문서입니다.", "두 번째 문서는 무엇일까요?", "세 번째 문서입니다."]
vectorizer = CountVectorizer()
document_vectors = vectorizer.fit_transform(documents)
print(document_vectors.toarray())

The Similarity Matrix (유사성 행렬):

설명: NLP(Natural Language Processing) 관점에서 "The Similarity Matrix" 또는 "유사성 행렬"은 텍스트 데이터의 문서 또는 문장 간의 유사성을 계량화하는 데 사용되는 행렬입니다. 이 행렬은 각 문서 또는 문장 쌍 간의 유사성 점수를 담고 있으며, 유사성을 측정하는 여러 가지 메트릭(예: 코사인 유사도, 자카드 유사도 등)을 기반으로 생성됩니다.

유사성 행렬은 NLP 분야에서 다양한 작업 및 응용에 활용됩니다. 여기에 유사성 행렬의 몇 가지 중요한 측면과 사용 사례를 설명하겠습니다:

• 문서 유사성 측정: 유사성 행렬은 주어진 문서 집합에서 각 문서 간의 유사성을 평가할 때 사용됩니다. 이를 통해 특정 문서와 다른 문서 간의 관련성을 파악하거나 비슷한 주제를 다루는 문서를 식별할 수 있습니다.
• 정보 검색: 검색 엔진은 쿼리와 문서 간의 유사성을 평가하고 가장 관련성이 높은 문서를 반환하는 데 유사성 행렬을 사용합니다.
• 문서 군집화: 유사성 행렬은 문서 군집화(Clustering) 작업에서 도움을 줍니다. 유사한 문서를 함께 그룹화하고 관련성을 시각화하는 데 사용됩니다.
• 토픽 모델링: 토픽 모델링에서 문서 간의 유사성을 측정하여 비슷한 주제를 다루는 문서를 특정 주제와 연관시키는 데 활용됩니다.
• 자동 요약: 문서 간의 유사성을 평가하여 요약 문장을 선택하거나 문서의 중요한 부분을 식별하는 데 사용됩니다.

유사성 행렬은 다양한 방법으로 생성됩니다. 가장 일반적인 방법은 다음과 같습니다:

• 코사인 유사도(Cosine Similarity): 문서 또는 벡터 간의 각도를 계산하여 유사성을 측정하는 방법으로, 단어 벡터 또는 TF-IDF 벡터를 사용하여 유사성을 평가합니다.
• 자카드 유사도(Jaccard Similarity): 집합 간의 유사성을 측정하는 방법으로, 토큰(단어, 어절)의 중복성을 토대로 계산합니다.
• 피어슨 상관계수(Pearson Correlation Coefficient): 두 변수 간의 선형 관계를 측정하는 방법으로, 문서 벡터 간의 상관 관계를 평가합니다.
• 맨하탄 거리(Manhattan Distance) 또는 유클리드 거리(Euclidean Distance): 벡터 간의 거리를 측정하여 유사성을 결정하는 방법으로, 단어 벡터 간의 거리를 계산합니다.

유사성 행렬을 생성하려면 주어진 데이터에 대한 문서 또는 문장의 벡터 표현을 미리 계산해야 합니다. 이 벡터 표현은 텍스트 데이터의 특성을 고려하며, TF-IDF, Word2Vec, GloVe 등의 방법으로 생성할 수 있습니다.

 

Bag-of-Words Models (BoW 모델):

설명: BoW 모델은 문서를 단어의 등장 빈도로 표현하는 모델입니다. CountVectorizer를 사용한 BoW 모델 생성 예시는 위에서 제공되었습니다.

 

CountVectorizer:

설명: CountVectorizer는 문서 집합을 입력으로 받아 단어 또는 N-그램의 등장 횟수에 기반하여 희소 행렬을 생성하는 방법 중 하나입니다. 위의 CountVectorizer 예시를 참조하세요.