NHTの正体、そしてレポート地獄
NHT (Non Human Traffic) ,それはレポート地獄との戦いの始まり
IMJの江端さんがアドタイで書いていたNHT(Non Human Traffic)が話題になっていたので、忘れないうちにメモ。
スマホ、動画へシフトする、広告を巣食うNHT問題とは
詳しくは江端さんが書いていますが、こちらは実際にメディアを運営していて見てきた事例をいくつか。そもそも、なぜNHTがこんなに多かったのか？
NHTがメディアに与えるインパクトは大きくて、特に広告のクリックログとかは大打撃を受けます。仮にレポート制作者が異常なレポートを見つけるとそこからは私の仕事。同時期に複数の広告キャンペーンが走る中で一本のキャンペーンのログレポートを精査するだけでも；
- 100万インプレッションで想定1％＝本来なら1万クリック程度
- 実際のレポートでみると、10万クリックくらいになっててCTRが10％。
- これを精査するためには、生ログ10万行を名寄せして怪しいIPからのクリックを削除する手作業。ロボット多過ぎ。
いまどきWebサーバーや広告サーバーの生ログを見る人もいないとは思うが、当時でレポート一本の精査に2～3時間は普通。そんなものが10本もあると生産性は確実に落ちます。
そもそものNHTの目的とは？
１）クリック課金の予算を獲得するため
江端さんも書いているように、元々はクリック課金型の広告サービスが出てきた頃に、意図的にディスプレイ―広告をクリックして広告の予算を消化させて利益を得るモデル。(怪しい）媒体社が自ら顧客のバナーをクリックしまくる。ただしこれだと、あまりにあからさま(クリックログを見れば社内のIPアドレスであることが丸見え）なので、中国とかのアウトソース先でクリックをさせたケースもあります。
2) 企業がメディアの全ページをクロールして全てのリンクをクリック
これがかなり悪質で、メディア企業を悩ませた。文面通り記事のリンクだろうが広告のリンク（=クリック）だろうが、すべてをたたいていく。その結果として(特に）広告のクリックレポートが被害大。
（ちなみにDoubleClickのアドサーバーは頭良くて怪しいクリックをリンク先に送っていないらしくて、異常クリック分のトラフィックは広告主に発生していない）
目的としては；
- 表向き：企業に対するネガティブ情報が流れていないかを監視するWebパトロールサービスとして月15万円程度で販売。企業の広報やマーケターにとっては便利なツール。
- 実態：メディアの記事を勝手にスクラップして再編集してユーザー企業に有料提供。正直なところ、昨今のダメキュレーションサイトより遥かに性質が悪いです。
経験から言うと、とある韓国のIPから5~10分置きにクローラーが来て、クリック出来るものはすべてクリックします。サイバーパトロールという意味では、頻繁にクロールして情報を集める必要があると思うのですが、実は彼らもブロックされる可能性を考えて、100個以上の異なるIP（すべて所有者は同じ）からクロールしてきます。某一部上場企業なんかも、自社関連のニュースだけをキュレーションしてもらい、社内のIPからはそれしか見れなくしていた。
以下は悪意はないけど、結構コンテンツのログも広告のログもおかしくなるので結構困る。
３）個人からのアクセス
常時接続が普及したころ、巡回ソフトを利用した個人からのトラフィックも増加。一定の時間内に同じIPから何回もアクセスしてくるし、ユーザーエージェントからそれがブラウザじゃなくて、ソフトウェアであることは分かる。これは悪意もなく、ただ情報を集めるために個人ユーザーがサイトをクロールしまくるもの。懸賞サイトとかニュースを収集するためらしい。
4) 企業や大学の研究所からのアクセス
結構多くて、一企業や大学の研究所からのトラフィックが多い。同じIPから1時間に数回、全ページをクロールしていく。
この辺は相手先が特定しやすいので同僚が確認したところ；
- 会社として自由にインターネットの利用が許されていない
- しかし、自社や競合製品の情報は収集しなくてはいけない
- 自らクローラーを開発して記事を収集し、関連情報だけを表示するWebサイトを構築して社内向けに公開（？？）
結局、これも無断転載なので止めてもらうようにします。実は当時、企業内のインターネット利用規制を考慮したサービス（関連記事クリッピング的な）も販売していたので、そちらを利用してもらえないかと交渉。
以上、実際にメディアであったクリックレポート地獄の話。
