2017-12-01

認知工学　其の六　20171108

3年科目認知工学

あいまいさについて

　言葉の中には同音異義語や多義語、同形異義語など様々ある。このような複数の意味をどう処理するのかがネック。代表的な処理モデルは以下の通り。

逐次処理モデル：使用頻度によって優先度が変わる
文脈依存処理モデル：文脈に合うもののみを選択する
並列処理モデル：複数の意味を同時に処理、その後文脈に合うものを選択

現在は並列処理モデルが支持されている。
　また、文脈にかかわらず、多義語は非多義語に対して反応時間が長いことが分かっている。これは人間は最初、並列処理モデルを使っていることの証拠になる（複数の意味を最初に処理しているから時間が長い）。

クロスモーダルプライミング

　音と文字によってプライミング効果を測定する方法。音声がprimeで単語がtargetの例が紹介された。多義語が聞こえた直後は度の意味も活性化するが、200msくらいたつと、文脈に関係のない意味が抑制されることが分かっている。

　研究を進めていくと、大元は並列処理モデルだが、それでも「意味」「頻度」「文脈」によってアクセスされやすい言葉が変わっていく。これには二つのモデルがある。

reordered access model：文脈が支持する意味にアクセスしやすくなるモデル。
autonomous access model：頻度に応じてアクセスのしやすさが決まる。

　reordered access modelには注意しないといけない点がある。それは、意味によって頻度が同じ場合（balanced）と異なる場合（unbalanced）があるということ。同じ場合は、文脈が指定している意味が活性化。違う場合、文脈が低頻度の意味を指定すると複数の意味に同時にアクセスされる。
　ここからもわかる通り、アクセス時間と頻度は切っても切れない関係になっている。

ニューラルネットワーク

　最近、言語認知の分野に用いられるようになってきた。その理由は

特徴表現ベクトルの扱いにたけている
意味表現が創発される
人間の言語獲得と類似している

など。
　そもそも、ニューラルネットワークとは、ユニットとリンクで形成されていて、各ユニットには活性度が、リンクには重みが設定されている。リンクを通ることで、ユニットの活性度がほかのユニットに伝播していく（活性拡散・伝播）。
　特徴としては、

分散表現ができる
誤差逆伝播法による認知能力の獲得
コネクショニストモデル：人間の認知機能のモデルとして用いるときのニューラルネットワークの特別な呼び方
ネットワークタイプ：階層型と、相互結合型がある

階層型ネットワーク

　現在はこの階層ネットワークが主流なので、これについての説明。次のようなネットワークを考えていくとします。ただし、 $\displaystyle k-1$ 層のユニット数は $\displaystyle m$ 個とする。

f:id:maekawa_yoshimiki_1119:20171201200958j:plain:h200

数理

$\displaystyle z_i^k$ ： $\displaystyle k$ 層 $\displaystyle i$ 番目のユニットの活性度を表す
$\displaystyle w_{j,i}^{k-1,k}$ ： $\displaystyle k-1$ 層 $\displaystyle j$ 番目のユニットから $\displaystyle k$ 層 $\displaystyle i$ 番目のユニットへの重み
$\displaystyle a_i^k$ ： $\displaystyle k$ 層 $\displaystyle i$ 番目のユニットの出力
$\displaystyle f$ , $\displaystyle f_o$ ：活性度関数
$\displaystyle b_i^k$ ： $\displaystyle k$ 層 $\displaystyle i$ 番目のユニットのバイアス

このような条件で、

$\displaystyle z_i^k=\sum_j w_{j,i}^{k-1,k} a_j^{k-1}+b_i^k$

$\displaystyle a_i^k=f(z_i^k)$

が成立している。

活性度関数の例

　各ユニットの出力を決定する活性度関数にはいろいろ種類がある。

閾値関数：初期に使われていた
区分線形関数
シグモイド関数：現在のスタンダード
双曲線正接関数
正規化線形関数：最近使われ始めている
ソフトマックス関数：出力層に使われることが多い

ソフトマックス関数

$\displaystyle \frac{\exp z_i^m}{\sum_j \exp z_j^m}$

で求められる関数。全ての出力の総和が1になり、確率分布を与えるようになっているので、出力層で用いられることが多い。

結合の重みの決め方-パーセプトロン学習則-

　そもそもニューラルネットでは、入力に対応した出力を出せるようなユニット間の重みづけを探索している。この探索が終了したことをもって「学習した」と表現している。この方法の基本は「出力層の値と真の出力の誤差」を小さくする方向に重みづけを変更していくこと。ここでは、一番初歩的な、パーセプトロン学習則による、重みづけの決定方法について書いていく。基本式は

$\displaystyle \Delta w_{i,j}^{k-1,k}=\alpha (y_j-a_j^k)a_i^{k-1}$

　この値を各ユニット間の重みに足していくことで、精度を上げていく。 $\displaystyle \alpha$ は学習係数と呼ばれ、学習の精度に関係してくる数で、 $\displaystyle y_j$ は実際に得ようとしている出力データ（教師データ）の $\displaystyle j$ 番目の値を表している。目標となる $\displaystyle \vec{y}$ がなければならないので、2層以上のネットワークでは適用できない。3層以上のネットワークで使う場合は、入力層、隠れ層の重みを固定値にしなければならない。
　このような背景から、多層ニューラルネットの各ユニット間の重みづけを探索できる誤差逆伝播法が誕生した。

$\displaystyle$

2017-12-01

認知工学　其の五　20171101

3年科目認知工学

単語認知

単語へのアクセス時間

　単語へのアクセス時間は人によって異なる。この違いはどこから来るのだろうか。答えは、これまでの成長の中で培ってきた「心的辞書」の内容だ。この内容や構造が違うので、単語へのアクセス時間が違ってくる。この時間を実験によって計測していく。

実験方法

　計測する内容が反応時間の場合、その手法は大きく3つある。

語彙判断：単語かどうかを判断するまでの時間
音読・ネーミング：単語を読む、または読み始めるまでの時間
意味分類：単語間の正誤を判定するまでの時間

ここで注意したいのは、すべて「～までの時間」であること。判断した後まで計測内容に含めてしまうと、個人能力の差が出てきてしまうからだ（音読なんかはその傾向が強い）。反応時間は、大体800msくらいだという。1sはかからない。
　このほかに、眼球運動を観察する実験もある。
　この時間に影響を与える要因を分析することで、心的辞書の構造を探る研究がなされている。次はその要因について。

影響要因

頻度：高いほど、反応時間が短くなる。
習得年齢：早いほど、反応時間が短くなる
単語長：短いほど、反応時間が短くなる
隣接後のサイズ：スペルが似ている単語が多いほど、反応時間が短くなる
意味特徴量：多いほど、反応時間が短くなる

ざっとこんな感じ。1.と2.の相関は大きいので、どちらの影響がより大きいのかが研究されている。また、4.の要因は頻度の低い単語について有意。

プライミング法

　単語間の関係を測定する方法として、プライミング法がある。これは、targetとなる単語の前にprimeと呼ばれる単語を見せることで、targetの反応時間にどのように影響があるのかを調べる方法。一般に、targetと関係のある単語をprimeとして見せておくと、targetの反応時間は短くなる。逆の場合は同じ、又は長くなる。

閾下プライミング(subliminal priming)

　意識させないような（極端に短い）primeの提示でも、プライミング効果が生じる。

繰り返しプライミング

　primeとしてtargetを設定する。この場合、低頻度の単語であるほど効果があり、プライミング効果の持続時間も長い。

語形に基づくプライミング

　targetのスペルに似ているprimeを提示する。この場合の効果は不安定。

意味プライミング

　似ている意味の単語をprimeに設定。これは効果が高い。

プライミングのメカニズム

　これは「自動処理」と「意識的処理」に分類される。

自動処理

　例えば、赤い色で書かれた「GREEN」という文字を見た時、意味情報と色情報が干渉して、（言葉の意味を答える）反応時間が遅くなってしまう（Stroop効果）。これは、自分で意識せずに意味情報にアクセスしているということ。

f:id:maekawa_yoshimiki_1119:20171201174907p:plain

意識的処理

　あらかじめprimeとtargetを知った状態でテストをすると、意識的処理が発生する。しかし、primeの表示時間によってその振る舞いに差がある。

primeの表示時間が短い場合：持っている知識とは関係なく、プライミング効果が起こる（自動処理）
primeの表示時間が長い場合：持っている知識と対応する関係だと「促進のプライミング」が、違う対応だったならば「抑制のプライミング」がかかる

連想関係と意味関係

　具体例を挙げると、「doctor - nurse」は連想関係、「bread - cakeは意味関係に当たる。

連想関係にある単語どうしは、ほぼ確実に自動処理でプライミング効果が生じる
意味関係にある単語どうしは、自動と意識的のどちらもあるが、意識的処理のほうが多い

　プライミング法で得られる結果から、ある単語を見せると、その単語の近くにある単語とのブランチが活性化することが分かる。ブランチが活性化されると、その後同じprime - target対を見せた時の反応速度が短くなる。この現象を説明するのに、ネットワークモデルは役に立つ。
　また、このほかに単語の属性や頻度がノードへのアクセス容易性に関係してくる。primeがない場合は、この要素によって反応時間が変わってくる。

マエカワの備忘録的な何か

思い立ったが吉日