【初心者向け】自然言語処理をPythonで学ぼう!形態素解析、tf-idf、WordVec、Doc2Vecを実装!
自然言語処理の基本を理解!livedoorニュースの記事を元にPythonでMeCabを使った形態素解析を行い、tf-idfやWord2VecやDoc2Vecなどのアプローチで記事をベクトル化しCOS類似度を求めていこう!
Description
本コースでは自然言語処理の基本について学んでいきます。
最新のAIを理解していく上でも古典的な自然言語処理を理解しておくことは非常に重要です。
自然言語処理とは、機械に人間の言葉を理解してもらう試み。
いきなり最新のAIを学ぼうとするのではなくて古くから取り組まれてきた自然言語処理の領域をしっかり理解していきましょう!
簡単にアニメーションで概要を理解してもらったあとは、Pythonで手を動かしながら学んでいってもらいます。
まずはlivedoorニュース記事をMeCabという形態素解析エンジンで分かち書きし、tf-idfやWord2VecやDoc2Vecというアプローチでベクトル化していきます。
その上でCOS類似度を使い、どの記事同士が似ているのかを見ていきます。
また、OpenAIが提供するEmbeddingsAPIを使ったベクトル化方法についても触れていきます。
自然言語処理を基本から理解していきましょう!
What You Will Learn!
- 自然言語処理の基本について理解できます
- 古典的な自然言語処理のアプローチを学べます
- Python×MeCabで形態素解析を行い文章を機械に理解させるための処理ができるようになります
- PythonでTf-IdfやWord2VecやDoc2Vecを使って単語や文章をベクトル化させ様々な処理が行なえるようになります
- OpenAIのEmbeddingsAPIの使い方が分かります
Who Should Attend!
- 自然言語処理領域に興味のある人
- 最近のAIの大規模言語モデルのベースになる古典的な自然言語処理に興味のある人
- OpenAIのEmbeddingsAPIの使い方に興味のある人
- Tf-IdfやWord2VecやDoc2VecなどのPython実装に興味のある人