[BlueLeaf1336]> PROBLEMS> 探求其之弐 マイクロソフト技術情報目次作成>

最初の一歩、そして放置

historyTOP

2006/09/15:作成

downloadTOP

作りました。が、予想通り

大量データダウンロードへの興味 >>>>>>>>> 実用性

だということに、に改めて気づきましたので、多分放置です。

MskbIndexer20060915.zip(375,491Bytes) ソースコードと実行ファイルと1000件ほどダウンロードしたサンプルデータベースです。

screenshotTOP

起動した時の画面です。すでにダウンロード済みのデータがあれば、ここで検索することができます。

サンプルとして入力済みの「%レジストリ%」で検索した結果です。ちなみに検索中もダウンロードできますが、データベースへの接続は CriticalSection で保護しています。多分。

LIKE 検索しかできませんので、検索語として前後に「%」をつける必要があります。これは文書番号が判明している場合でも、Memo型を含む複数のフィールドに対して LIKE 検索を楽に行うために、対象のフィールドを全て連結して検索しているので、必ずやらないとだめです。っていうか使わないですね、こんなの。

画面上部にある「Status」ボタンで、現在のダウンロード状況を確認できます。

これがダウンロード用の画面です。スレッドでダウンロードします。同時に何本のスレッドでダウンロードを行うかを指定するとダウンロードを始めて、この本数を 0 にするとダウンロードをやめます。ただし、すでにダウンロード中のスレッドがあればその終了を待つことになります。

10本のスレッドでダウンロードを行うと、こんな画面表示になります。これらのダウンロード専用のスレッドを起動するのもスレッドで行っているので、画面が固まるようなことはありませんが、実装を事故ってる可能性があります。

ちなみに、初めて起動したときは、勝手に EXE のあるフォルダに mdb ファイルを作成して、データベースとビューをひとつずつ作成します。

ひと段落。放置。

でも、大量データのダウンロードとデータベースへの保存、データ解析など、少しだけ楽しめました。少し気になるのは、すごい勢いでマイクロソフトのサーバーに接続するので、怒られそうな気が...。本気で最後までダウンロードすると 100万件になるので、アクセス禁止とかされそうです。その前に mdb がパンクするでしょうけど。

EOFTOP