NGramTokenizerを使用してください。@Deprecated public class BasicNGramTokenizer extends Tokenizer
OutOfMemoryErrorフリーで安全なN-gram Tokenizer。NGramTokenizerAttributeSource.State| 修飾子とタイプ | フィールドと説明 |
|---|---|
static java.lang.String |
DEFAULT_DELIMITERS
非推奨です。
|
static int |
DEFAULT_N_SIZE
非推奨です。
|
DEFAULT_TOKEN_ATTRIBUTE_FACTORY| コンストラクタと説明 |
|---|
BasicNGramTokenizer()
非推奨です。
|
BasicNGramTokenizer(int n)
非推奨です。
|
BasicNGramTokenizer(int n,
java.lang.String delimiters)
非推奨です。
|
BasicNGramTokenizer(java.lang.String delimiters)
非推奨です。
|
| 修飾子とタイプ | メソッドと説明 |
|---|---|
void |
end()
非推奨です。
|
protected boolean |
getNextPartialSnippet()
非推奨です。
|
protected boolean |
getNextSnippet()
非推奨です。
|
boolean |
incrementToken()
非推奨です。
|
protected boolean |
isDelimiter(int c)
非推奨です。
|
protected int |
readCharFromBuffer()
非推奨です。
|
void |
reset()
非推奨です。
|
close, correctOffset, setReaderaddAttribute, addAttributeImpl, captureState, clearAttributes, cloneAttributes, copyTo, endAttributes, equals, getAttribute, getAttributeClassesIterator, getAttributeFactory, getAttributeImplsIterator, hasAttribute, hasAttributes, hashCode, reflectAsString, reflectWith, removeAllAttributes, restoreState, toStringpublic static final int DEFAULT_N_SIZE
public static final java.lang.String DEFAULT_DELIMITERS
public BasicNGramTokenizer()
public BasicNGramTokenizer(int n)
public BasicNGramTokenizer(java.lang.String delimiters)
public BasicNGramTokenizer(int n,
java.lang.String delimiters)
public final boolean incrementToken()
throws java.io.IOException
incrementToken クラス内 TokenStreamjava.io.IOExceptionpublic final void end()
throws java.io.IOException
end クラス内 TokenStreamjava.io.IOExceptionprotected boolean getNextPartialSnippet()
throws java.io.IOException
java.io.IOExceptionprotected boolean getNextSnippet()
throws java.io.IOException
java.io.IOExceptionprotected int readCharFromBuffer()
throws java.io.IOException
java.io.IOExceptionprotected boolean isDelimiter(int c)
Copyright © 2009-2018 RONDHUIT Co.,Ltd. All Rights Reserved.