com.rondhuit.html

クラス HTMLNoiseReducer

java.lang.Object

com.rondhuit.html.HTMLNoiseReducer

public class HTMLNoiseReducer
extends java.lang.Object

同類の複数のHTMLページからノイズを削除するツール。アルゴリズムは以下の通り。

1. バッチ処理単位G、HTMLページD_iとする。
   \[ D_i \in G \hspace{2em} (1\leq i \leq N) \]
2. HTMLページD_iをブロックB_ijへ分割
   \[ D_i = \left \{ B_{i1}, B_{i2}, ..., B_{iM_i} \right \} \]
3. ブロックB_ijのベクトル化
   \[ B_{ij} = ( b_{ij1}, b_{ij2}, ..., b_{ijL} )^T \]
4. ブロック同士の次の類似度Sを算出し、最小スコア以上なら類似としてブロックを削除する。
   \[ S(B_{ij}, B_{kl})=\frac{B_{ij} \cdot B_{kl}}{\left \| B_{ij} \right \| \left \| B_{kl} \right \|} \hspace{2em} (i\neq k) \]

プロパティの一覧

プロパティ名	説明	デフォルト値／必須
rcss.html.noise.reducer.min.score	類似と判定される最小スコア	DEF_MIN_SCORE
rcss.html.noise.reducer.removable.tags	カンマ区切りで列挙された削除単位HTMLタグ	DEF_TAGS

導入されたバージョン:

1.3

関連項目:

FileIOHTMLNoiseReducer

ネストされたクラスのサマリー

ネストされたクラス

修飾子とタイプ	クラスと説明
static class	HTMLNoiseReducer.BlockVector HTML文書を構成するブロックのベクトル表現クラス。

フィールドのサマリー

フィールド

修飾子とタイプ	フィールドと説明
static float	DEF_MIN_SCORE
static java.lang.String	DEF_TAGS
static java.lang.String	P_MIN_SCORE
static java.lang.String	P_PREFIX
static java.lang.String	P_TAGS
protected java.util.Properties	props

コンストラクタのサマリー

コンストラクタ

コンストラクタと説明
HTMLNoiseReducer(java.util.Properties props)

メソッドのサマリー

修飾子とタイプ	メソッドと説明
static void	calculateTextVector(HTMLNoiseReducer.BlockVector blockVector, java.lang.String value)
static void	calculateVector(HTMLNoiseReducer.BlockVector blockVector, org.w3c.dom.Node block)
void	checkSimilarities(HTMLNoiseReducer.BlockVector originBlockVector, java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> dest)
static double	cosine(HTMLNoiseReducer.BlockVector v1, HTMLNoiseReducer.BlockVector v2)
void	createBlockVectors(java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> resultTable, org.w3c.dom.Node node, int pageId)
org.w3c.dom.Node	getDocument(org.xml.sax.InputSource is)
org.w3c.dom.Node	getDocument(java.lang.String strHtml)
java.util.Set<java.lang.String>	getRemovableTags(java.lang.String strTags) カンマ区切りで記述されたHTMLタグ一覧を大文字に正規化した上でSetに変換して返す。
static double	getSumSquareRoot(java.util.Map<java.lang.String,java.lang.Integer> v)
static HTMLNoiseReducer.BlockVector	getVector(org.w3c.dom.Node parentBlock, int pageId)
boolean	isDescendantAllNoisy(org.w3c.dom.Node node, java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)
boolean	isRemovableBlockElement(org.w3c.dom.Node node)
static void	outputHtml(java.io.PrintWriter pw, java.lang.String indent, org.w3c.dom.Node html)
org.w3c.dom.Node[]	reduceNoise(java.io.File[] htmls, int start, int length, java.lang.String encoding)
org.w3c.dom.Node[]	reduceNoise(org.xml.sax.InputSource... htmls)
org.w3c.dom.Node[]	reduceNoise(org.w3c.dom.Node[] doms)
org.w3c.dom.Node[]	reduceNoise(java.lang.String[] htmls, int start, int length)
void	removeNoisyNodes(org.w3c.dom.Node node, java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)
org.w3c.dom.Node	removeNoisyNodes(org.w3c.dom.Node parent, org.w3c.dom.Node node, java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)
protected void	setProperties()

クラスから継承されたメソッド java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

フィールドの詳細

P_PREFIX

public static final java.lang.String P_PREFIX

関連項目:

定数フィールド値

P_MIN_SCORE

public static final java.lang.String P_MIN_SCORE

関連項目:

定数フィールド値

P_TAGS

public static final java.lang.String P_TAGS

関連項目:

定数フィールド値

DEF_MIN_SCORE

public static final float DEF_MIN_SCORE

関連項目:

定数フィールド値

DEF_TAGS

public static final java.lang.String DEF_TAGS

関連項目:

定数フィールド値

props

protected java.util.Properties props

コンストラクタの詳細

HTMLNoiseReducer

public HTMLNoiseReducer(java.util.Properties props)

メソッドの詳細

getRemovableTags

public java.util.Set<java.lang.String> getRemovableTags(java.lang.String strTags)

カンマ区切りで記述されたHTMLタグ一覧を大文字に正規化した上でSetに変換して返す。

パラメータ:

strTags - カンマ区切り文字列のHTMLタグ一覧

戻り値:

削除可能なHTMLタグ一覧

setProperties

protected void setProperties()

reduceNoise

public org.w3c.dom.Node[] reduceNoise(java.lang.String[] htmls,
                                      int start,
                                      int length)
                               throws org.xml.sax.SAXException,
                                      java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

reduceNoise

public org.w3c.dom.Node[] reduceNoise(java.io.File[] htmls,
                                      int start,
                                      int length,
                                      java.lang.String encoding)
                               throws org.xml.sax.SAXException,
                                      java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

reduceNoise

public org.w3c.dom.Node[] reduceNoise(org.xml.sax.InputSource... htmls)
                               throws org.xml.sax.SAXException,
                                      java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

reduceNoise

public org.w3c.dom.Node[] reduceNoise(org.w3c.dom.Node[] doms)
                               throws org.xml.sax.SAXException,
                                      java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

getDocument

public org.w3c.dom.Node getDocument(java.lang.String strHtml)
                             throws org.xml.sax.SAXException,
                                    java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

getDocument

public org.w3c.dom.Node getDocument(org.xml.sax.InputSource is)
                             throws org.xml.sax.SAXException,
                                    java.io.IOException

例外:

org.xml.sax.SAXException

java.io.IOException

createBlockVectors

public void createBlockVectors(java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> resultTable,
                               org.w3c.dom.Node node,
                               int pageId)

isRemovableBlockElement

public boolean isRemovableBlockElement(org.w3c.dom.Node node)

getVector

public static HTMLNoiseReducer.BlockVector getVector(org.w3c.dom.Node parentBlock,
                                                     int pageId)

calculateVector

public static void calculateVector(HTMLNoiseReducer.BlockVector blockVector,
                                   org.w3c.dom.Node block)

calculateTextVector

public static void calculateTextVector(HTMLNoiseReducer.BlockVector blockVector,
                                       java.lang.String value)

checkSimilarities

public void checkSimilarities(HTMLNoiseReducer.BlockVector originBlockVector,
                              java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> dest)

cosine

public static double cosine(HTMLNoiseReducer.BlockVector v1,
                            HTMLNoiseReducer.BlockVector v2)

getSumSquareRoot

public static double getSumSquareRoot(java.util.Map<java.lang.String,java.lang.Integer> v)

removeNoisyNodes

public void removeNoisyNodes(org.w3c.dom.Node node,
                             java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)

removeNoisyNodes

public org.w3c.dom.Node removeNoisyNodes(org.w3c.dom.Node parent,
                                         org.w3c.dom.Node node,
                                         java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)

isDescendantAllNoisy

public boolean isDescendantAllNoisy(org.w3c.dom.Node node,
                                    java.util.Map<org.w3c.dom.Node,HTMLNoiseReducer.BlockVector> nbvMap)

outputHtml

public static void outputHtml(java.io.PrintWriter pw,
                              java.lang.String indent,
                              org.w3c.dom.Node html)