情報に関する理論
このノートの問いがそのまま復習カードになり、忘れかけたころに出題されます。
シラバス Ver.6.5 の小分類 35「情報に関する理論」（大分類 7：基礎理論／中分類 13：基礎理論）。
2026-08-05 にシラバス本文と突合済み。
0. 何を押さえるか
文字コードとAI（機械学習）の 2 本立てです。分量は圧倒的に AI 側です。
機械学習は用語が多いので、学習の 3 分類を先に固定してください。
| 何を与えるか | 何をするか | |
|---|---|---|
| 教師あり学習 | 入力と正解の組 | 正解を当てられるようにする（分類・回帰） |
| 教師なし学習 | 入力だけ | 構造を見つける（クラスタリング） |
| 強化学習 | 報酬（良し悪しの信号） | 報酬が最大になる行動を学ぶ |
正解があるか／報酬があるか／何もないかで分かれます。
そのうえで、事前学習 → ファインチューニングという近年の作り方を押さえれば、
LLM まわりの用語がつながります。
1. 文字コード
根拠: シラバス 7-13-35
JIS コード・シフト JIS コード・Unicode の違いは？
| 特徴 | |
|---|---|
| JISコード | 日本語を扱う規格。電子メールなどで使われた |
| シフトJISコード | JIS コードを、半角文字と混在させやすいよう変換したもの |
| Unicode | 世界中の文字を 1 つの体系で扱う規格 |
Unicode の登場によって、
1 つの文書に多言語を混在させられるようになった。
文字コードの取り違えが起きると文字化けする。
2. 推論の型
根拠: シラバス 7-13-35
演繹推論と帰納推論の違いは？
| どう推論するか | |
|---|---|
| 演繹推論 | 一般的な規則から個別の結論を導く（「鳥は飛ぶ。ハトは鳥だ。だからハトは飛ぶ」） |
| 帰納推論 | 個別の事例から一般的な規則を導く（「見た鳥はみな飛んだ。だから鳥は飛ぶ」） |
規則 → 事例が演繹、事例 → 規則が帰納。
機械学習は帰納にあたる（データから規則を見つける）。
述語論理とルールベースとは？
| 何か | |
|---|---|
| 述語論理 | 「〜は〜である」という関係を記号で表し、推論できるようにした論理体系 |
| ルールベース | 「もし A ならば B」という規則を人が書いて判断させる方式 |
ルールベースは、規則が明確な領域では正確に働くが、
規則を書ききれない領域では破綻する。
機械学習はここを、データから規則を学ぶことで乗り越えた。
3. 機械学習
根拠: シラバス 7-13-35
機械学習の 3 分類とは？
| 与えるもの | 例 | |
|---|---|---|
| 教師あり学習 | 入力と正解ラベルの組 | 迷惑メールの判定、売上予測 |
| 教師なし学習 | 入力のみ | 顧客のグループ分け（クラスタリング） |
| 強化学習 | 行動に対する報酬 | ゲームの攻略、ロボットの制御 |
正解を教えるか、教えないか、良し悪しだけ教えるか。
特徴量とは？
データのうち、予測に使う「着目すべき性質」を数値化したもの
住宅価格を予測するなら、面積・築年数・駅からの距離など。
従来は人が特徴量を設計していたが、
ディープラーニングは特徴量そのものを学習で獲得できる点が画期的だった。
過学習とは？ なぜ問題か？
学習データに合わせすぎて、未知のデータに対する性能が落ちること
学習データの誤差はどんどん小さくなるのに、
実際に使うと当たらないという状態になる。
学習データを丸暗記してしまい、
一般的な規則を学べていないことが原因。
4. ニューラルネットワークとディープラーニング
根拠: シラバス 7-13-35
ニューラルネットワークと活性化関数・バックプロパゲーションの関係は？
ニューラルネットワーク ＝ 脳の神経細胞を模した、
入力層・中間層・出力層からなる計算の仕組み
| 役割 | |
|---|---|
| 活性化関数 | 各ノードで、入力の合計をどう出力に変えるかを決める |
| バックプロパゲーション | 出力の誤差を逆向きに伝えて、重みを修正する（誤差逆伝播法） |
学習とは重みを調整することで、その手順がバックプロパゲーション。
ディープラーニングとは？ 何が「深い」のか？
中間層を多数重ねたニューラルネットワークによる機械学習
層が深いことで、単純な特徴から複雑な特徴へと段階的に学習できる。
その結果、人が特徴量を設計しなくても済むようになった。
画像・音声・言語の処理で大きく性能が伸びたのはこの技術による。
CNN と RNN の違いは？
| 得意なデータ | |
|---|---|
| 畳み込みニューラルネットワーク（CNN） | 画像（位置関係のあるデータ） |
| リカレントニューラルネットワーク（RNN） | 時系列・文章（順序のあるデータ） |
CNN は近くの画素のまとまりを捉え、
RNN は前の入力を記憶しながら次を処理する。
GAN とは？
敵対的生成ネットワーク（GAN）
＝ 生成する側と、本物か偽物かを見分ける側の 2 つを競わせて学習させる仕組み
見分ける側をだませるようになるまで生成側が鍛えられるので、
本物に近いデータを作れるようになる。
ディープフェイクの技術的な基盤の 1 つ。
5. 大規模言語モデル
根拠: シラバス 7-13-35
事前学習・ファインチューニング・転移学習の関係は？
| 何をするか | |
|---|---|
| 事前学習 | 大量の一般的なデータで、汎用的な能力を先に学ばせる |
| ファインチューニング | その上に、特定の用途のデータで追加学習させる |
| 転移学習 | 別の課題で学んだ知識を、新しい課題に流用する |
一から学習させるより少ないデータと計算で済むのが利点。
ファインチューニングは転移学習の代表的な方法。
LLM とは？
大規模言語モデル（LLM）
＝ 膨大な文章で事前学習された、言語を扱う巨大なモデル
文脈から次に来る語を予測する形で学習しており、
文章生成・要約・翻訳・質問応答などに使える。
生成 AI の中核だが、事実でない内容をもっともらしく出す
（ハルシネーション）という性質を持つ。
プロンプトエンジニアリングとは？
生成 AI から望む出力を得るために、指示（プロンプト）を工夫すること
役割を与える、手順を示す、例を添える、出力形式を指定するなど。
モデルを作り変えるのではなく入力の与え方で結果を変えるため、
利用者側でできる調整として重要になっている。