com.rondhuit.solr.analysis.morpho

クラス Tokenizer

java.lang.Object

com.rondhuit.solr.analysis.morpho.Tokenizer

public final class Tokenizer
extends java.lang.Object

以下の特徴を備える日本語形態素解析器。

• 辞書にはIPAdic（奈良先端科学技術大学院大学）、JUMAN（京都大学）およびUniDic（国立国語研究所）が利用できるので、アプリケーションの特徴に応じて辞書を適切に選べる。 たとえば、顔文字を形態素解析したいなら、JUMANまたはUniDicを選択することができる。
• IPAdic、JUMAN、UniDicの各辞書にあらかじめ含まれる表記揺れエントリを最大限利用している。 これにより、「旭が丘」に対して「旭丘」、「引っ越し」に対して「引越し」などの辞書にある表記揺れパターンが自動的に展開され、再現率を高める（検索漏れ防止）。
• ユーザ定義辞書が利用可能。
• ユーザ定義類義語辞書が利用可能。形態素解析器レベルで類義語を出力するので、LuceneのSynonymFilterFactoryを使う必要がない。 これにより品詞や読みなどの属性情報が失われることなく、また、オフセット値誤りが発生しないので、検索語ハイライトが正しく動作する。

導入されたバージョン:

2.1

ネストされたクラスのサマリー

ネストされたクラス

修飾子とタイプ	クラスと説明
static class	Tokenizer.Token Tokenはrestart(Reader)で与えられたReaderにおけるトークンである。

コンストラクタのサマリー

コンストラクタ

コンストラクタと説明
Tokenizer(Dictionary dictionary) コンストラクタ。
Tokenizer(Dictionary dictionary, boolean aggressiveUnknown) コンストラクタ。

メソッドのサマリー

修飾子とタイプ	メソッドと説明
Dictionary	getDictionary()
int	getFinalOffset() searchForward()がnullを返した後このメソッドを呼ぶと最終オフセットが得られる。
com.rondhuit.solr.analysis.morpho.Tokenizer.Node	getNextNode()
com.rondhuit.solr.analysis.morpho.Tokenizer.Node	leftMostSubstring(int lo) 引数で指定されたバッファ中の文字列で始まる文字列を辞書引きし、単語候補を返す。
Tokenizer.Token	nextToken() restart(Reader)を呼んだ後、トークンをひとつずつ取得するためにこのメソッドを呼ぶ。
Tokenizer.Token	nextTokenWithSynonyms() restart(Reader)を呼んだ後、類義語を含むトークンをひとつずつ取得するためにこのメソッドを呼ぶ。
void	restart(java.io.Reader r) コンストラクタで本クラスのオブジェクトを作成した後このメソッドを呼ぶ。
void	searchBackward(com.rondhuit.solr.analysis.morpho.Tokenizer.Node eos)
com.rondhuit.solr.analysis.morpho.Tokenizer.Node	searchForward() 前向きDP探索を行う。

クラスから継承されたメソッド java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

コンストラクタの詳細

Tokenizer

public Tokenizer(Dictionary dictionary)
          throws java.io.IOException

コンストラクタ。

パラメータ:

dictionary - 辞書

例外:

java.io.IOException

Tokenizer

public Tokenizer(Dictionary dictionary,
                 boolean aggressiveUnknown)
          throws java.io.IOException

コンストラクタ。

パラメータ:

dictionary - 辞書

aggressiveUnknown - すべての可能性のある未知語生成を試さない場合はfalseを設定

例外:

java.io.IOException

メソッドの詳細

getDictionary

public Dictionary getDictionary()

restart

public void restart(java.io.Reader r)

コンストラクタで本クラスのオブジェクトを作成した後このメソッドを呼ぶ。このメソッドを呼ぶことで Tokenizerオブジェクトを再利用できる。このメソッドを呼んだ後、nextToken()を呼べるようになる。

パラメータ:

r - トークナイズ対象テキスト

nextToken

public Tokenizer.Token nextToken()
                          throws java.io.IOException

restart(Reader)を呼んだ後、トークンをひとつずつ取得するためにこのメソッドを呼ぶ。

戻り値:

有効なトークンがある場合はTokenizer.Tokenを返す。なければnullを返す

例外:

java.io.IOException

nextTokenWithSynonyms

public Tokenizer.Token nextTokenWithSynonyms()
                                      throws java.io.IOException

restart(Reader)を呼んだ後、類義語を含むトークンをひとつずつ取得するためにこのメソッドを呼ぶ。 類義語サポートが不要な場合は、このメソッドの代わりにnextToken()を呼ぶ。

戻り値:

有効なトークンがある場合はTokenizer.Tokenを返す。なければnullを返す

例外:

java.io.IOException

getNextNode

public com.rondhuit.solr.analysis.morpho.Tokenizer.Node getNextNode()

getFinalOffset

public int getFinalOffset()

searchForward()がnullを返した後このメソッドを呼ぶと最終オフセットが得られる。

戻り値:

最終オフセット。

searchForward

public com.rondhuit.solr.analysis.morpho.Tokenizer.Node searchForward()
                                                               throws java.io.IOException

前向きDP探索を行う。

戻り値:

グラフが収束したNode。

例外:

java.io.IOException

searchBackward

public void searchBackward(com.rondhuit.solr.analysis.morpho.Tokenizer.Node eos)

leftMostSubstring

public com.rondhuit.solr.analysis.morpho.Tokenizer.Node leftMostSubstring(int lo)
                                                                   throws java.io.IOException

引数で指定されたバッファ中の文字列で始まる文字列を辞書引きし、単語候補を返す。 辞書引きが成功したか否かにかかわらず、未知語生成を試す。

パラメータ:

lo - 探索開始オフセット

戻り値:

未知語を含む単語候補のチェイン

例外:

java.io.IOException