NLP(自然言語処理)とは

nlp

NLP(自然言語処理)とは

人間が話してる言語を機械的に分析してパソコンが理解できる形につくるかつそれを人間が理解できる言語に再表現する技術を意味する

AND

人間が日常的に使ってる自然言語をコンピュータに処理させる一連の技術であり、人工知能(AI)と言語学の一分野である

です。

 

機械学習での自然言語処理には大別して以下のように分けられます。

 

  • Statistical NLP(統計的自然言語処理)
  • Generative Model(生成モデル)

 

Statistical NLP 自然言語処理によく使われている方式
コーパス言語学マルコフ連鎖といった手法が使われる

Outputのデータが決まっていてそこから選ぶ方式(既存に持ってないInputが入ってくると性能が落ちる傾向あり)

Generative Model computing power,deep learningやLSTM,GRUなどのアルゴリズム発展などとともに高い性能を出して最近注目を集めてる

RNN,DNN,強化学習を通じてOutputを作成する

です。

Statistical NLP、Generative ModelはNLPに限った用語ではないため別に整理したいと思います。

 

その他

最初NLPでググってみたら

NLPとは神経言語プログラミング(Neuro-Linguistic-Programming)の略称で、1970年代に米国カリフォルニアで始まった言語学と心理学を組み合わせた実用的なコミュニケーション心理学のこと

こんなのが出てきましたが、、心理学の用語でした86http://www.neclearning.jp/search/supplement/nlp/aboutNLP.pdf

 

参考:

https://ja.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%

http://nolsigan.com/post/nlp-with-rnn/

https://tensorflow.blog/tag/generative-model/

http://matroid.com/scaledml/slides/ilya.pdf

http://logmi.jp/45207

カテゴリー: nlp

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です