tetsuの日記・雑記です。不定期に更新します。
検索エンジンでたまたま「モノグラム」としてみたら、ルイ・ヴィトン関係のページばかり出てきて驚きました。確かにAll Aboutなどを確かめてみたら、モノグラムとはモノグラムとは、頭文字など、英文字を組み合わせて図案化したもの
ということらしいのですが、僕が本当に探したかったのはそれではなくて。
[web] モノグラム - All About
本当に検索したかったのは、言語モデルの1つである「ユニグラム」というやつです。これは、単語の前後の依存関係が存在しないと仮定して、単なる単語の集合の扱う言語モデルのことを指します。なにかの論文で「monogram」という単語で書かれていたので、もしかしたら日本語でも通用するのかな？って思ったのですが、全然通用しないみたいですね(ノД｀) Wikipediaでは、あいまいさ回避のタグもついてなかったし。
確率モデルなどを扱っていると、ハイパーパラメータ推定という問題を取り扱うことがあります。自分のような確率モデルの初心者からすると、そもそもハイパーパラメータって何？って状態なので、とりあえずここにメモしておくことにします。
インターネット上に公開されていた論文によると、ハイパーパラメータとは、事前確率を決めるパラメータや確率モデル全体に影響を与えるパラメータのことを指すようです。つまり、ハイパーパラメータを決定することによって確率モデルの分布も決定するようです。
確率のなかにも主観確率と客観確率の2つに分類されることを知りました。ここから派生する考え方もなかなか興味深いものがあります。
一般に確率と言われてイメージされるのは、客観確率の方でしょう。客観確率（objective probability）とは、だれが実験しても変化しない確率のことです。サイコロのある目が出る確率とか、コインの表が出る確率などは客観確率の代表です。
これに対して主観確率（subjective probability）は、研究者の経験や主観によって決められる確率のことで、必ずしも一意に決定するものではありません。このような確率を容認する立場をベイズ主義ともいうそうです。ベイズの定理（Bayes' theorem）という条件付き確率の計算法があるのですが、これが主観確率の演算に優れていて、現在のベイズ統計学の基礎になっているらしいです。
まだ、どうもこのベイズの定理あたりの事前確率とか事後確率が分かってなかったりするので、また勉強してみます。
今まで僕は、回帰と相関にどんな違いがあるかを説明できなかったんですが、教科書を読んでみてやっと分かりました。やっぱり日本語の教科書は分かりやすくていいですね。両方とも多次元のデータでの関係（relation）を示すものなのですが、どういった関係を示すのかが違います。以降では、簡単のために多次元データを２次元データx,yとします。
回帰（regression）は、xがyを決定することが明らかな場合の関係のことを言います。所得と貯蓄の関係などがその例です。
これに対して相関（relation）は、xとyがどちらがどちらを決定するとも言えず、対等な扱いである時の関係を言います。身長と体重などの関係は相関で見たほうがよい例です。
それぞれの関係の強さを見るために、回帰分析を行ったり、相関係数を計算したりします。どちらも多次元データの関係をつかむためには重要な分析です。
ヒストグラムを生成しようとしたとき、どの程度の階級数の設定（何本の棒グラフで表現するか）に悩むときはありませんか？そのようなときに参考になるのが、スタージェスの公式です。これを用いることで、それらしいヒストグラムの階級数を設定することができます。
スタージェスの公式は意外と簡単に表現されます。階級数を k 、観測値の数を n とすると、次の式のようになります。
k = 1 + log_2 n
例えば、観測値の数 n を100とすると、スタージェスの公式では k ≒ 7.6 となります。多くの場合、 k = 8くらいが見た目がよいヒストグラムになります。
もし、もっとスタージェスの公式をよく知りたいという方は、東京大学教養学部統計学教室が出している統計学入門 (基礎統計学) が分かりやすいです。
tetsuの日記・雑記です。
日々経験したことを記録していきます。
