Find JAPAN!

日本で起きていること →何が世界と違うのか? ビジネス/人類学的観点から深い視点での気づきを。文化とマーケティング の観点から日本を見つめ直してみよう。

NHTの正体、そしてレポート地獄

NHT (Non Human Traffic) ,それはレポート地獄との戦いの始まり

IMJの江端さんがアドタイで書いていたNHT(Non Human Traffic)が話題になっていたので、忘れないうちにメモ。

スマホ、動画へシフトする、広告を巣食うNHT問題とは

詳しくは江端さんが書いていますが、こちらは実際にメディアを運営していて見てきた事例をいくつか。そもそも、なぜNHTがこんなに多かったのか?

NHTがメディアに与えるインパクトは大きくて、特に広告のクリックログとかは大打撃を受けます。仮にレポート制作者が異常なレポートを見つけるとそこからは私の仕事。同時期に複数の広告キャンペーンが走る中で一本のキャンペーンのログレポートを精査するだけでも;

  • 100万インプレッションで想定1%=本来なら1万クリック程度
  • 実際のレポートでみると、10万クリックくらいになっててCTRが10%。
  • これを精査するためには、生ログ10万行を名寄せして怪しいIPからのクリックを削除する手作業。ロボット多過ぎ。

いまどきWebサーバーや広告サーバーの生ログを見る人もいないとは思うが、当時でレポート一本の精査に2~3時間は普通。そんなものが10本もあると生産性は確実に落ちます。

そもそものNHTの目的とは?

1)クリック課金の予算を獲得するため

江端さんも書いているように、元々はクリック課金型の広告サービスが出てきた頃に、意図的にディスプレイ―広告をクリックして広告の予算を消化させて利益を得るモデル。(怪しい)媒体社が自ら顧客のバナーをクリックしまくる。ただしこれだと、あまりにあからさま(クリックログを見れば社内のIPアドレスであることが丸見え)なので、中国とかのアウトソース先でクリックをさせたケースもあります。

2) 企業がメディアの全ページをクロールして全てのリンクをクリック

これがかなり悪質で、メディア企業を悩ませた。文面通り記事のリンクだろうが広告のリンク(=クリック)だろうが、すべてをたたいていく。その結果として(特に)広告のクリックレポートが被害大。

(ちなみにDoubleClickのアドサーバーは頭良くて怪しいクリックをリンク先に送っていないらしくて、異常クリック分のトラフィックは広告主に発生していない)

目的としては;

  • 表向き:企業に対するネガティブ情報が流れていないかを監視するWebパトロールサービスとして月15万円程度で販売。企業の広報やマーケターにとっては便利なツール。
  • 実態:メディアの記事を勝手にスクラップして再編集してユーザー企業に有料提供。正直なところ、昨今のダメキュレーションサイトより遥かに性質が悪いです。

経験から言うと、とある韓国のIPから5~10分置きにクローラーが来て、クリック出来るものはすべてクリックします。サイバーパトロールという意味では、頻繁にクロールして情報を集める必要があると思うのですが、実は彼らもブロックされる可能性を考えて、100個以上の異なるIP(すべて所有者は同じ)からクロールしてきます。某一部上場企業なんかも、自社関連のニュースだけをキュレーションしてもらい、社内のIPからはそれしか見れなくしていた。

 

以下は悪意はないけど、結構コンテンツのログも広告のログもおかしくなるので結構困る。

3)個人からのアクセス

常時接続が普及したころ、巡回ソフトを利用した個人からのトラフィックも増加。一定の時間内に同じIPから何回もアクセスしてくるし、ユーザーエージェントからそれがブラウザじゃなくて、ソフトウェアであることは分かる。これは悪意もなく、ただ情報を集めるために個人ユーザーがサイトをクロールしまくるもの。懸賞サイトとかニュースを収集するためらしい。

4) 企業や大学の研究所からのアクセス

結構多くて、一企業や大学の研究所からのトラフィックが多い。同じIPから1時間に数回、全ページをクロールしていく。

この辺は相手先が特定しやすいので同僚が確認したところ;

  1. 会社として自由にインターネットの利用が許されていない
  2. しかし、自社や競合製品の情報は収集しなくてはいけない
  3. 自らクローラーを開発して記事を収集し、関連情報だけを表示するWebサイトを構築して社内向けに公開(??)

結局、これも無断転載なので止めてもらうようにします。実は当時、企業内のインターネット利用規制を考慮したサービス(関連記事クリッピング的な)も販売していたので、そちらを利用してもらえないかと交渉。

以上、実際にメディアであったクリックレポート地獄の話。