| テキストアーカイブ |
ファイルリスト
|
ファイル数 1585，圧縮時 197GB，展開時 3.25TB |
|
URL リスト
|
URL 数 100,793,715，圧縮時 433MB，展開時 5.4GB |
概要
2010 年 6 月から 9 月にかけて収集された，約 1 億ウェブページ，圧縮時 197GB，展開時 3.25TB のアーカイブです．ウェブページの収集においては，
ipadic-2.7.0 の見出し語をかつての
Yahoo! Web API により検索し，検索結果に含まれるウェブページを収集の対象としました．結果として，特定のウェブページを起点にリンクを辿ることで作成されたアーカイブと比べると，偏りの少ないアーカイブになっていると思います．
利用条件
2009 年度における著作権法の改正（
平成21年通常国会 著作権法改正等について | 文化庁）に基づき，情報解析研究への利用に限定します．
情報解析研究への利用に限定されるのであれば，所属組織などによらず，他の研究者との共有を制限することはありません．また，情報解析研究の成果については，著作権者の利益が害される程度が低ければ，自由に利用・配布しても問題ないと思います．
ダウンロード
ファイルリストと
URL リストは常に提供していますが， HTML アーカイブをいつでもダウンロードできるわけではありません．リクエストがあったときだけダウンロードできるようにします．ご利用を希望される方は，ページ下部のメールアドレス宛てにご連絡ください．
ファイルのサイズ・数ともに大きいので，手作業によるダウンロードは手間がかかります．手作業による誤りを防ぐためにも，ダウンロード用のソフトウェアを使うことをおすすめします．例えば，wget を使えば，構成ファイルをまとめてダウンロードできます．
$ wget -i filelist
書式
検索により得られた各 URL について，URL，ステータスコード，HTTP ヘッダとメッセージボディ（HTML 文書）を以下の書式で保存しています．
URL
ステータスコード
HTTP ヘッダの長さ
HTTP ヘッダ
メッセージボディの長さ
メッセージボディ
HTML アーカイブを構成する各ファイル XXXXXXXX.xz には，展開時のサイズが 2GB より小さくなるように，上記の書式でウェブページを格納しています．また，圧縮時のサイズを小さくするため，URL による整列をおこなっています[1]．
XZ Utils（xz -9e）の利用により，圧縮時のサイズは展開時の約 6% になっています．
サンプル
以下のようなテキストが，連結された状態で各ファイルに保存されています．
http://www.example.com/
200
78
Date: Wed, 22 Sep 2010 06:06:01 GMT
Connection: close
Content-Type: text/html
88
<html>
<head>
<title>Title</title>
</head>
<body>
Hello, world!
</body>
</html>