파이썬과 자연어 처리

1장. 문자열을 사용한 작업 토큰화 텍스트를 문장으로 토큰화 다양한 언어의 텍스트 토큰화 문장을 단어로 토큰화 TreebankWordTokenizer를 사용한 토큰화 정규 표현식을 사용한 토큰화 정규화 문장 부호 제거 소문자와 대문자로 변환 불용어 처리 영어의 불용어 계산 토큰의 대체 및 수정 정규 표현식을 사용한 단어 대체 텍스트를 다른 텍스트로 대체하는 예제 토큰화 전에 대체 수행 반복되는 문자 처리 반복 문자를 삭제하는 예제 단어를 동의어로 대체 단어를 동의어로 대체하는 예제 텍스트에 지프의 법칙 적용 유사 척도 편집 거리 알고리즘을 사용한 유사 척도 자카드 계수를 사용한 유사 척도 스미스 워터맨 거리를 사용한 유사 척도 적용 그 외 문자열 유사도 메트릭 요약 2장. 통계 언어 모델링 단어 빈도 이해 주어진 텍스트의 MLE 개발 은닉 마르코프 모델 추정 MLE 모델의 스무딩 적용 에드온 스무딩 Good Turing 크네저 네이 추정 위튼 벨 추정 MLE의 백-오프 메커니즘 개발 믹스 앤 매치를 얻기 위한 데이터 보간법 적용 혼잡도를 통한 언어 모델 평가 모델링 언어에서 메트로폴리스 헤이스팅스 적용 언어 처리에서 깁스 샘플링 적용 요약 3장. 형태학 ? 시작하기 형태학 소개 스테머 이해 원형복원 이해 비영어 언어의 스테머 개발 형태소 분석기 형태소 생성기 검색 엔진 요약 4장. 품사 태깅 - 단어 식별 품사 태깅 소개 기본 태깅 POS-tagged corpora 생성 기계 학습 알고리즘 선택 n-gram 접근법과 관련된 통계 모델링 pos-tagged data를 사용한 청커 개발 요약 5장. 파싱 - 훈련 데이터 분석 파싱 소개 트리뱅크 구성 트리뱅크의 문맥 자유 문법 규칙 추출 CFG에서 확률적 문맥 자유 문법 생성 CYK 차트 파싱 알고리즘 Earley 차트 파싱 알고리즘 요약 6장. 의미 분석 - 본질 표현 의미 분석 소개 NER 소개 은닉 마르코프 모델을 사용한 NER 시스템기계 학습 툴킷을 사용한 NER 훈련 POS 태깅을 사용한 NER Wordnet의 synset id 생성 Wordnet을 사용한 의미 판별 요약 7장. 감정 분석 - 나는 행복하다. 감정 분석 소개 NER를 사용한 감정 분석 기계 학습을 사용한 감정 분석 NER 시스템의 평가 요약 8장. 정보 검색 - 정보 접속 정보 검색 소개 불용어 제거 벡터 공간 모델을 사용한 정보 검색벡터 공간 스코링 및 질의 연산자 상호 작용 잠재 의미 색인을 이용한 IR 시스템 개발 텍스트 요약 질의 응답 시스템 요약 9장. 담화 분석 - 아는 것은 믿는 것이다. 담화 분석 소개 중심화 이론을 사용한 담화 분석 대용어복원 요약 10장. NLP 시스템의 평가 - 성능 분석 NLP 시스템 평가의 필요성 NLP 도구(POS 태거, 스테머, 형태소 분석기) 평가 골드 데이터를 사용한 파서 평가 IR 시스템의 평가 오류 식별 메트릭 어휘 매칭 기반 메트릭 구문 매칭 기반 메트릭 얕은 의미 매칭을 사용한 메트릭 요약

출처: 국립중앙도서관 서지정보