extract-content-javascript
extract-content-javascript copied to clipboard
hatena
= ExtractContentJS
本文抽出 JavaScript ライブラリ
== やれること
- 本文抽出
- タグおすすめ
== ファイル
基本的には以下をこの順に読み込めば動く: [lib/lib.js] 共通するもの [lib/extract-content.js] 本文抽出
リポジトリのルートでmake packageするとこれらを連結した extract-content-all.js が生成される.
実際の使い方を詳しく見たくなったら: [sketch/extract-content.test.js] 本文抽出テスト [lib/scoring-words.js] タグのスコアリング(サンプル)
== 使い方
=== 本文抽出インタフェース
本文抽出だけしたい/ハンドラを指定したい場合に使う.
==== ExtractContentJS.LayeredExtractor
var ex = new ExtractContentJS.LayeredExtractor(); //ex.addHandler( ex.factory.getHandler('Description') ); //ex.addHandler( ex.factory.getHandler('Scraper')); //ex.addHandler( ex.factory.getHandler('GoogleAdsence') ); ex.addHandler( ex.factory.getHandler('Heuristics') ); var res = ex.extract(document);
if (res.isSuccess) { res.url; // URL string res.title; // title string res.engine; // 抽出に用いたハンドラそのもの res.content; // コンテンツクラスのインスタンス(後述) }
ハンドラはいまのところHeuristicsのみ実装済み.
==== コンテンツクラス
content.asLeaves(); // 本文だと判定された葉ノードを含む葉クラスインスタンス(後述)の配列を返す content.asNode(); // すべての葉ノードの共通の祖先のうち最深のものを返す content.asTextFragment(); // asLeaves()に含まれるノードのテキストを連結したものを返す content.toString(); // asNode()のtextContentを返す
==== 葉クラス
leaf.node; // 葉ノード leaf.depth; // ノードのbodyからの深さ
== AUTHOR
INA Lintaro
== Copryright
Copyright (C) 2009 INA Lintaro / Hatena. All rights reserved.
== Copyright of the original implementation
Copyright (c) 2007/2008 Nakatani Shuyo / Cybozu Labs Inc. All rights reserved.
- http://labs.cybozu.co.jp/blog/nakatani/2007/09/web_1.html
== LICENCE
MIT License
hatena