「ステロイドのグーグル検索」はダークウェブを明るみに出す

インターネットをもたらした政府機関は、いわゆるディープウェブのコンテンツに光を当てる強力な新しい検索エンジンを開発しました。 

国防高等研究計画局(DARPA)は、1年前にMemex Deep Web Search Engineの作業を開始し、今週、ScientificAmericanと「60Minutes」にそのツールを発表しました。 

17の異なる請負業者チームによって開発されているMemexは、インターネットコンテンツのより良いマップを構築し、法執行官などに役立つ可能性のあるオンラインデータのパターンを明らかにすることを目的としています。初期の試験は人身売買業者の動きのマッピングに焦点を合わせていましたが、この技術はいつの日か、テロ対策、行方不明者、病気への対応、災害救援などの調査活動に適用される可能性があります。

DARPAの情報イノベーションオフィスのディレクターであるDanKaufmanは、Memexは目に見えないものを目に見えるようにすることがすべてだと言います。「インターネットは人々が思っているよりはるかに大きい」とDARPAプログラムマネージャーのクリスホワイトは「60分」に語った。「一部の推定では、Google、Microsoft Bing、およびYahooは、Web上のコンテンツの約5%にしかアクセスできません。」

GoogleとBingは人気とランキングに基づいて結果を生成しますが、Memexは、非構造化データ、リンクされていないコンテンツ、商用検索エンジンがクロールする前に削除される一時ページ、チャットフォーラムなど、商用検索エンジンによって通常無視されるコンテンツを検索します。通常の検索エンジンは、この深いWebデータを無視します。これは、ブラウザ会社が収益を上げているWeb広告主がデータに関心を持っていないためです。

Memexは、犯罪者がビジネスを行う暗い、または匿名のWebをクロールするメカニズムも自動化します。これらの隠されたサービスページは、TOR匿名化ブラウザからのみアクセス可能であり、通常、違法薬物やその他の密輸品を販売する法執行機関の監視下で動作します。ダークウェブの活動は1,000ページほどで構成されているとかつて考えられていたところ、ホワイトはサイエンティフィックアメリカンに30,000から40,000のダークウェブページが存在する可能性があると語った。

これまで、これらのサイトを体系的に見ることは困難でした。しかし、マンハッタンDAサイラスバンスジュニアが「ステロイドのGoogle検索」と呼んでいるMemexは、コンテンツのインデックスを作成するだけでなく、コンテンツを分析して、法執行機関に役立つ可能性のある隠れた関係を明らかにします。

DARPAの検索ツールは、マンハッタンの新しい人身売買対応ユニットを含む、昨年、法執行機関を選択するために導入されました。 Memexは現在、追跡するすべての人身売買事件で使用されており、少なくとも20件の性的人身売買調査を生成する役割を果たしてきました。過給されたWebクローラーは、さまざまなデータ間の関係を識別し、調査員がパターンを検出するのに役立つデータマップを作成できます。

「60Minutes」のデモで、Whiteは、セックスのオンライン広告に関連するデータに基づいて、Memexが人身売買業者の動きを追跡する方法を示しました。「IPアドレスの機能である場合もあるが、広告の電話番号や住所、または広告を投稿したデバイスの地理的位置の機能である場合もある」とホワイト氏は語った。「場所に寄与する他のアーティファクトが時々あります。」

ホワイトは、Memexが情報を取得するためにハッキングに頼らないことを強調しました。「何かがパスワードで保護されている場合、それは公開コンテンツではなく、Memexはそれを検索しません」と彼はScientificAmericanに語った。「私たちは、詮索と監視の幽霊を引きずり込むことによって、この作業を不必要に曇らせたくありませんでした」-エドワード・スノーデンのNSAの暴露後の厄介な主題。

Memexは、その名前(「メモリ」と「インデックス」の組み合わせ)と、1945年にVannevar Bushによって記述された、PC、インターネット、および次の70年のその他の主要なITの進歩を予感させる架空のデバイスからインスピレーションを得ました。現在、DARPAとMemexは、「マイノリティレポート」に描かれているフィリップディックの未来的な警察署に一歩近づく準備ができているようです。

数週間以内に開始される予定の新しいテストラウンドには、連邦および地区の検察官、地域および国の法執行機関、および複数のNGOが含まれます。Scientific Americanのレポートによると、「人身売買業者の顔や背景のテレビ画面など、捜査官を支援する可能性のある部分が難読化されている場合でも写真を分析できる新しい画像検索機能をテストする」ことを目的としています。

ホワイト氏は、より多くの情報源から収集した情報を操作して提示するためのより良い方法を発明することで、「すべての人の検索を改善したい。プログラマー以外の人にとって使いやすさが不可欠​​だ」と語った。