データ分析・データ利活用

人の行動ログは本人が意識せずに残る記録、ソーシャルメディアは本人が意図して発信したもの。
機械の稼働ログは故障の予兆をつかむ（予知保全）のに使われる。

自社で行ったアンケートは 1 次、官公庁の統計を使うのは 2 次。
誰が何のために集めたかで分ける。

企業が持つデータの多くは非構造化データ。
分析するには、テキストマイニングやアノテーションなどで扱える形にする手間が要る。

従来のやり方では扱いきれない、大量で多様なデータ

量が多いだけではビッグデータの説明として足りない（多様さと速さも特徴）。

公開されていて自由に使えるのがオープンデータ、個人にかかわるので慎重に扱うのがパーソナルデータ。

名寄せの例: 「山田 太郎／ヤマダタロウ／山田太郎（旧住所）」を同じ顧客と判断して統合する。
名寄せをしてからでないと、結合しても同じ人が重複して数えられる。

外れ値だからといって機械的に消さない。
本当に起きた珍しい出来事（大口注文など）かもしれない。

データに、意味を表すラベル（注釈）を付けること

例: 画像に「猫」「犬」と付ける、文章に「肯定的」「否定的」と付ける。

AI の教師あり学習に使う正解データを作る作業として重要。
付け方が人によってぶれると、学習した AI の精度も落ちる。

どちらも時系列データの見かけの動きを取り除いて、本当の傾向を見るための処理。

テキストマイニングは、非構造化データを対象にしたデータマイニングと言える。

順番に意味があるなら順列、選ぶだけなら組合せ。
組合せは、順列を「選んだ人どうしの並べ方の数」で割って求める。

ある出来事が起こる見込みを 0〜1 の数で表したもの

同様に確からしいとき、確率 ＝ その出来事の場合の数 ÷ すべての場合の数。

硬貨 2 回: 全体は 表表・表裏・裏表・裏裏 の 4 通り、そのうち 表表 は 1 通り → 1/4。
互いに影響しない出来事が続けて起きる確率は、それぞれの確率の掛け算（1/2 × 1/2）。

年収のように一部に極端な値がある分布では、平均値は実感より高く出る。
そういうときは中央値を見る。

下に行くほどできる計算が増える。
名義尺度の平均は無意味、「摂氏 20 度は 10 度の 2 倍暑い」とは言えない（間隔尺度だから）。

関係の強さを測るのが相関、予測の式を作るのが回帰。
どちらも、それだけでは因果関係を示さない。

相関 ＝ 一緒に動く。因果 ＝ 一方が他方の原因になっている。

擬似相関 ＝ 直接の関係がないのに、別の要因（第 3 の要因）のせいで相関があるように見えるもの

例: アイスの売上と水難事故の件数は一緒に増えるが、
どちらも気温が上がることが原因で、アイスが事故を起こすわけではない。

相関があるだけで因果を主張しない。

立てた仮説が、偶然では説明しにくいかを確率で判断する手続

「差が無い」と仮定したとき、観測された結果が起きる確率が十分小さい
（基準＝有意水準、5% や 1% がよく使われる）なら、「差が無い」を捨てて有意差ありとする。

「偶然とは考えにくい」という意味であって、差が大きい・重要だという意味ではない。

標本を取り出すことを標本抽出といい、その基本が単純無作為抽出（母集団の誰もが同じ確率で選ばれるよう、くじのように選ぶ）。
標本調査は安く早いが、選び方が偏ると結果も偏る。

データが偏るのが統計的バイアス、読む人が偏るのが認知バイアス。
データが正しくても、認知バイアスで結論を誤ることがある。

比べるなら棒、推移なら折れ線、濃淡で分布を見るならヒートマップ、バランスならレーダー。