NGramTokenizer
を使用してください。@Deprecated public class BasicNGramTokenizer extends Tokenizer
OutOfMemoryError
フリーで安全なN-gram Tokenizer
。NGramTokenizer
AttributeSource.State
修飾子とタイプ | フィールドと説明 |
---|---|
static java.lang.String |
DEFAULT_DELIMITERS
非推奨です。
|
static int |
DEFAULT_N_SIZE
非推奨です。
|
DEFAULT_TOKEN_ATTRIBUTE_FACTORY
コンストラクタと説明 |
---|
BasicNGramTokenizer()
非推奨です。
|
BasicNGramTokenizer(int n)
非推奨です。
|
BasicNGramTokenizer(int n,
java.lang.String delimiters)
非推奨です。
|
BasicNGramTokenizer(java.lang.String delimiters)
非推奨です。
|
修飾子とタイプ | メソッドと説明 |
---|---|
void |
end()
非推奨です。
|
protected boolean |
getNextPartialSnippet()
非推奨です。
|
protected boolean |
getNextSnippet()
非推奨です。
|
boolean |
incrementToken()
非推奨です。
|
protected boolean |
isDelimiter(int c)
非推奨です。
|
protected int |
readCharFromBuffer()
非推奨です。
|
void |
reset()
非推奨です。
|
close, correctOffset, setReader
addAttribute, addAttributeImpl, captureState, clearAttributes, cloneAttributes, copyTo, endAttributes, equals, getAttribute, getAttributeClassesIterator, getAttributeFactory, getAttributeImplsIterator, hasAttribute, hasAttributes, hashCode, reflectAsString, reflectWith, removeAllAttributes, restoreState, toString
public static final int DEFAULT_N_SIZE
public static final java.lang.String DEFAULT_DELIMITERS
public BasicNGramTokenizer()
public BasicNGramTokenizer(int n)
public BasicNGramTokenizer(java.lang.String delimiters)
public BasicNGramTokenizer(int n, java.lang.String delimiters)
public final boolean incrementToken() throws java.io.IOException
incrementToken
クラス内 TokenStream
java.io.IOException
public final void end() throws java.io.IOException
end
クラス内 TokenStream
java.io.IOException
protected boolean getNextPartialSnippet() throws java.io.IOException
java.io.IOException
protected boolean getNextSnippet() throws java.io.IOException
java.io.IOException
protected int readCharFromBuffer() throws java.io.IOException
java.io.IOException
protected boolean isDelimiter(int c)
Copyright © 2009-2018 RONDHUIT Co.,Ltd. All Rights Reserved.