データの収集と整理
このノートの問いがそのまま復習カードになり、忘れかけたころに出題されます。
0. どういうまとまりか
分析の結果は、集めたデータの質を超えられません。偏った集め方をすれば偏った結論になり、
欠けや入力ミスを残したまま計算すれば、平均値一つでも大きくずれます。
分析の前に「どう集めるか」と「どう整えるか」を決めておきます。
| 段階 | すること | 気をつけること |
|---|---|---|
| 収集 | アンケート・センサー・Web・公開データから集める | 全部を調べるか、一部を取り出すか。取り出すなら偏りなく |
| 整理 | 欠けた値・飛び離れた値・表記の揺れを扱う | 消すのか補うのか、誤りなのか本物なのかを見きわめる |
| 変換 | 単位や大きさの違う項目の尺度をそろえる | 比べたい項目どうしを同じ土俵に乗せる |
分かれ目は次の 3 つ。
- 欠損値は「除く」か「補う」か。 除けばデータが減り、補えば推測が混じる。
- 外れ値がすべて誤りとは限らない。 誤りと分かったもの（異常値）だけを直したり除いたりする。
- 表の「正規化」とデータの「正規化」は別物。 データの分析では、値の範囲をそろえることを指す。
1. データの収集
根拠: 学習指導要領 情報Ⅰ-(4)-ア-(ウ)
データの集め方には、アンケート（質問紙・Web フォーム）、センサーによる自動の計測、
Web 上の情報の収集、国や自治体などが公開しているデータの利用があります。
調べたい集団の全員を調べられないときは、一部を取り出して調べ、全体を推し量ります。
調べたい集団の全員を調べる調査を何というか？
全数調査
国勢調査が代表例。正確だが、時間も費用もかかる。
標本調査とは何か？
調べたい集団の一部を取り出して調べ、その結果から集団全体の傾向を推し量る調査
選挙の出口調査、テレビの視聴率、製品の品質検査（全部を壊して調べられない）など。
標本調査で、調べたい対象の集団全体のことを何というか？
母集団
母集団から取り出して実際に調べる一部を、標本という。
標本を選ぶとき、偏りを避けるために行う選び方を何というか？
無作為抽出
くじや乱数を使い、母集団のどの要素も同じ確率で選ばれるようにする。自分で選ぶと、選ぶ人の好みが混じる。
2. 欠損値・外れ値の扱い
根拠: 学習指導要領 情報Ⅰ-(4)-ア-(ウ)
アンケートの無回答やセンサーの故障で値が空いているところを欠損値といいます。
また、ほかの値から極端に離れた値を外れ値といいます。どちらも、そのまま計算に入れると結果をゆがめます。
欠損値とは何か？
本来あるべき値が、記録されずに欠けているところ
アンケートの無回答、センサーの故障で計れなかった時間帯など。空欄のまま計算するとソフトウェアによっては 0 として扱われ、結果がずれる。
欠損値の扱い方を 2 つ挙げると？
その値を含むデータを分析から除く（除外）方法と、平均値などの推測した値で埋める（補完）方法
除外はデータの数が減り、補完は推測した値が混じる。どちらを選んだかを分析の結果とあわせて示す。
外れ値とは何か？
ほかの値から極端に離れた値
平均値を大きく動かすので、分析の前に見つけておく。箱ひげ図や散布図で見つけやすい。
外れ値と異常値の違いは？
異常値は、外れ値のうち、測定の失敗や入力ミスなど原因がはっきりした誤りの値
誤りと分かれば直すか除く。原因が分からない外れ値は本当の値かもしれないので、安易に消さない。
3. クレンジングと正規化
根拠: 学習指導要領 情報Ⅰ-(4)-ア-(ウ)
集めたままのデータには、同じものが別の書き方で入っていたり、重複や誤りが混じっていたりします。
分析できる状態に整える作業が欠かせません。
データのクレンジングとは何か？
データの誤り・重複・表記ゆれ・欠損などを見つけて直し、分析に使える状態に整えること
データの前処理のなかで、最も手間のかかる作業になりやすい。
表記ゆれとは何か？
同じものが、異なる書き方で記録されていること
「東京都」と「東京」、全角の「１２」と半角の「12」、「サッカー部」と「サッカ－部」など。そろえないと別のものとして数えられる。
データの分析でいう正規化とは何をすることか？
単位や大きさの異なる数値を、同じ範囲（例えば 0 から 1）にそろえること
最小値を 0、最大値を 1 にするなら、（値 − 最小値）÷（最大値 − 最小値）で変換する。関係データベースの表の正規化とは別の意味。
練習問題
問 1 5 人に 1 か月の読書冊数を聞いたところ、3、5、（無回答）、4、8 だった。無回答を除いて平均値を求めよ。また、無回答を 0 として計算してしまうと平均値はいくつになるか。
除いたときの平均値は 5 冊。0 として計算すると 4 冊。
除く場合は 4 人分で 。
0 として 5 人分で計算すると となり、読んでいない人がいるかのように低く出る。
問 2 あるテストの点数の最小値は 40 点、最大値は 90 点だった。最小値を 0、最大値を 1 にそろえる正規化をすると、65 点はいくつになるか。
0.5
。65 点は、最小値と最大値のちょうど真ん中にある。