マエカワの備忘録的な何か

思い立ったが吉日

認知工学 其の六 20171108

あいまいさについて

 言葉の中には同音異義語や多義語、同形異義語など様々ある。このような複数の意味をどう処理するのかがネック。代表的な処理モデルは以下の通り。

  • 逐次処理モデル:使用頻度によって優先度が変わる
  • 文脈依存処理モデル:文脈に合うもののみを選択する
  • 並列処理モデル:複数の意味を同時に処理、その後文脈に合うものを選択

現在は並列処理モデルが支持されている
 また、文脈にかかわらず、多義語は非多義語に対して反応時間が長いことが分かっている。これは人間は最初、並列処理モデルを使っていることの証拠になる(複数の意味を最初に処理しているから時間が長い)。

クロスモーダルプライミング

 音と文字によってプライミング効果を測定する方法。音声がprimeで単語がtargetの例が紹介された。多義語が聞こえた直後は度の意味も活性化するが、200msくらいたつと、文脈に関係のない意味が抑制されることが分かっている。

 研究を進めていくと、大元は並列処理モデルだが、それでも「意味」「頻度」「文脈」によってアクセスされやすい言葉が変わっていく。これには二つのモデルがある。

  • reordered access model:文脈が支持する意味にアクセスしやすくなるモデル。
  • autonomous access model:頻度に応じてアクセスのしやすさが決まる。

 reordered access modelには注意しないといけない点がある。それは、意味によって頻度が同じ場合(balanced)と異なる場合(unbalanced)があるということ。同じ場合は、文脈が指定している意味が活性化。違う場合、文脈が低頻度の意味を指定すると複数の意味に同時にアクセスされる。
 ここからもわかる通り、アクセス時間と頻度は切っても切れない関係になっている。

ニューラルネットワーク

 最近、言語認知の分野に用いられるようになってきた。その理由は

  • 特徴表現ベクトルの扱いにたけている
  • 意味表現が創発される
  • 人間の言語獲得と類似している

など。
 そもそも、ニューラルネットワークとは、ユニットとリンクで形成されていて、各ユニットには活性度が、リンクには重みが設定されている。リンクを通ることで、ユニットの活性度がほかのユニットに伝播していく(活性拡散・伝播)。
 特徴としては、

  • 分散表現ができる
  • 誤差逆伝播法による認知能力の獲得
  • コネクショニストモデル:人間の認知機能のモデルとして用いるときのニューラルネットワークの特別な呼び方
  • ネットワークタイプ:階層型と、相互結合型がある

階層型ネットワーク

 現在はこの階層ネットワークが主流なので、これについての説明。次のようなネットワークを考えていくとします。ただし、 \displaystyle k-1層のユニット数は \displaystyle m個とする。

f:id:maekawa_yoshimiki_1119:20171201200958j:plain:h200

数理
  •  \displaystyle z_i^k \displaystyle k \displaystyle i番目のユニットの活性度を表す
  •  \displaystyle w_{j,i}^{k-1,k} \displaystyle k-1 \displaystyle j番目のユニットから \displaystyle k \displaystyle i番目のユニットへの重み
  •  \displaystyle a_i^k \displaystyle k \displaystyle i番目のユニットの出力
  •  \displaystyle f, \displaystyle f_o:活性度関数
  •  \displaystyle b_i^k \displaystyle k \displaystyle i番目のユニットのバイアス

このような条件で、

 \displaystyle z_i^k=\sum_j w_{j,i}^{k-1,k} a_j^{k-1}+b_i^k

 \displaystyle a_i^k=f(z_i^k)

が成立している。

活性度関数の例

 各ユニットの出力を決定する活性度関数にはいろいろ種類がある。

  • 閾値関数:初期に使われていた
  • 区分線形関数
  • シグモイド関数:現在のスタンダード
  • 双曲線正接関数
  • 正規化線形関数:最近使われ始めている
  • ソフトマックス関数:出力層に使われることが多い
ソフトマックス関数

 \displaystyle \frac{\exp z_i^m}{\sum_j \exp z_j^m}

で求められる関数。全ての出力の総和が1になり、確率分布を与えるようになっているので、出力層で用いられることが多い。

結合の重みの決め方-パーセプトロン学習則-

 そもそもニューラルネットでは、入力に対応した出力を出せるようなユニット間の重みづけを探索している。この探索が終了したことをもって「学習した」と表現している。この方法の基本は「出力層の値と真の出力の誤差」を小さくする方向に重みづけを変更していくこと。ここでは、一番初歩的な、パーセプトロン学習則による、重みづけの決定方法について書いていく。基本式は

 \displaystyle \Delta w_{i,j}^{k-1,k}=\alpha (y_j-a_j^k)a_i^{k-1}

 この値を各ユニット間の重みに足していくことで、精度を上げていく。 \displaystyle \alphaは学習係数と呼ばれ、学習の精度に関係してくる数で、 \displaystyle y_jは実際に得ようとしている出力データ(教師データ)の \displaystyle j番目の値を表している。目標となる \displaystyle \vec{y}がなければならないので、2層以上のネットワークでは適用できない。3層以上のネットワークで使う場合は、入力層、隠れ層の重みを固定値にしなければならない。
 このような背景から、多層ニューラルネットの各ユニット間の重みづけを探索できる誤差逆伝播が誕生した。

 \displaystyle

認知工学 其の五 20171101

単語認知

単語へのアクセス時間

 単語へのアクセス時間は人によって異なる。この違いはどこから来るのだろうか。答えは、これまでの成長の中で培ってきた「心的辞書」の内容だ。この内容や構造が違うので、単語へのアクセス時間が違ってくる。この時間を実験によって計測していく。

実験方法

 計測する内容が反応時間の場合、その手法は大きく3つある。

  • 語彙判断:単語かどうかを判断するまでの時間
  • 音読・ネーミング:単語を読む、または読み始めるまでの時間
  • 意味分類:単語間の正誤を判定するまでの時間

ここで注意したいのは、すべて「~までの時間」であること。判断した後まで計測内容に含めてしまうと、個人能力の差が出てきてしまうからだ(音読なんかはその傾向が強い)。反応時間は、大体800msくらいだという。1sはかからない。
 このほかに、眼球運動を観察する実験もある。
 この時間に影響を与える要因を分析することで、心的辞書の構造を探る研究がなされている。次はその要因について。

影響要因
  1. 頻度:高いほど、反応時間が短くなる。
  2. 習得年齢:早いほど、反応時間が短くなる
  3. 単語長:短いほど、反応時間が短くなる
  4. 隣接後のサイズ:スペルが似ている単語が多いほど、反応時間が短くなる
  5. 意味特徴量:多いほど、反応時間が短くなる

ざっとこんな感じ。1.と2.の相関は大きいので、どちらの影響がより大きいのかが研究されている。また、4.の要因は頻度の低い単語について有意

ライミング

 単語間の関係を測定する方法として、ライミングがある。これは、targetとなる単語の前にprimeと呼ばれる単語を見せることで、targetの反応時間にどのように影響があるのかを調べる方法。一般に、targetと関係のある単語をprimeとして見せておくと、targetの反応時間は短くなる。逆の場合は同じ、又は長くなる。

閾下プライミング(subliminal priming)

 意識させないような(極端に短い)primeの提示でも、プライミング効果が生じる。

繰り返しプライミング

 primeとしてtargetを設定する。この場合、低頻度の単語であるほど効果があり、プライミング効果の持続時間も長い

語形に基づくプライミング

 targetのスペルに似ているprimeを提示する。この場合の効果は不安定

意味プライミング

 似ている意味の単語をprimeに設定。これは効果が高い

ライミングのメカニズム

 これは「自動処理」と「意識的処理」に分類される。

自動処理

 例えば、赤い色で書かれた「GREEN」という文字を見た時、意味情報と色情報が干渉して、(言葉の意味を答える)反応時間が遅くなってしまう(Stroop効果)。これは、自分で意識せずに意味情報にアクセスしているということ。

f:id:maekawa_yoshimiki_1119:20171201174907p:plain

意識的処理

 あらかじめprimeとtargetを知った状態でテストをすると、意識的処理が発生する。しかし、primeの表示時間によってその振る舞いに差がある。

  • primeの表示時間が短い場合:持っている知識とは関係なく、プライミング効果が起こる(自動処理)
  • primeの表示時間が長い場合:持っている知識と対応する関係だと「促進のプライミング」が、違う対応だったならば「抑制のプライミング」がかかる
連想関係と意味関係

 具体例を挙げると、「doctor - nurse」は連想関係、「bread - cakeは意味関係に当たる。

  • 連想関係にある単語どうしは、ほぼ確実に自動処理でプライミング効果が生じる
  • 意味関係にある単語どうしは、自動と意識的のどちらもあるが、意識的処理のほうが多い

 プライミング法で得られる結果から、ある単語を見せると、その単語の近くにある単語とのブランチが活性化することが分かる。ブランチが活性化されると、その後同じprime - target対を見せた時の反応速度が短くなる。この現象を説明するのに、ネットワークモデルは役に立つ
 また、このほかに単語の属性や頻度がノードへのアクセス容易性に関係してくる。primeがない場合は、この要素によって反応時間が変わってくる

認知科学 其の七 20171115

田園都市線の遅延で遅れてしまったので、最初のほうは聞けてません。

音象効果

資料映像①「世界一受けたい授業」 黒川伊保子

名前の音象

 「名前の音で人生が方向づけられるかもしれない」と、映像の中で出てきたが、本当にある程度の相関があるらしい。それほどに、音の響きや印象派大きな効果を持っている。
 また、名前に「子」が付く人は保守的な家庭で育つことが多く、頭がいい傾向があるらしい。林修さんも、成績と名前の間にはある程度の相関があるかもしれないといっている(成績名簿を見て)。

オノマトペ

 オノマトペを聞いたり言ったりしたとき、脳では言語野のほかに運動野・環境音を担う部分が活発になっている。実際に、「シュッ」といいながらボールを投げると、言わない時よりも早くボールを投げれることが分かっている。これは、運動野が活動していることの表れだという。
 しかし、「ズンズン」と言いながら走ったら、果たしてタイムは早くなるのだろうか。割と短期間の運動に関してはオノマトペによる効果があると思うが、長時間の運動には影響がないのではないだろうか。

資料映像②「視点論点 赤ちゃんと話そう」

 よく「言葉が分からないのに絵本を読み聞かせても無駄じゃないか」という人がいるらしいが、0歳児にはオノマトペが通じている。例えば、「ぱい」や「ぼう」といったオノマトペを与えると、この音から様々な質感を獲得することができる。
 また、名詞だけでなく、動きにも言葉があることもオノマトペから獲得できる。これによって、心も言葉で表現できることを知っていくのだという。ただ知識を入れるのではなく、心の部分までもっていくことこそが「知育」だという。
 0歳児は言葉を体で理解する。そのためにもオノマトペは有効なツールとして見られている。

資料映像③「5分でガッテン!」

  • 卵焼きを条済み作りたいときは「タン タン ポーン」と言いながら返すとうまくいく
  • チャーハンを上手にあおりたいときは「サッ サッ サッ」と言いながら
  • 硬くしまったふたを取りたいときは「グウゥゥゥゥゥ」と言いながら

 映像見てましたが、正直「ホントかよ…。」と思いながらでした。結論としては、「言葉と体はつながっている」ということを言いたかったようです。

資料映像④「解体新ショー

絵を描くときの脳の動き

  • 得意な人:視覚野が活発
  • 苦手な人:ブローカ野が活発

 ブローカ野は文法において非常に重要な役割を果たす部分で、下手な人は、対象を見ずに知識や想像だけで絵を描いていることが分かる。この、「想像で描く」という問題を解決するために、写真をブロックのように区切って、逆さにして描くという方法が紹介されていました。普段見ることのない状態に変化させることで、見ることに専念させようとしています。

絶対音感とは何か

 絶対音感の持ち主は、聴覚野と同時にウェルニッケ野が活性化している。絶対音感を説明するのは難しいが、普通の人が「う」という言葉を聞いて、頭の中に「う」という言葉が浮かぶのと同じ現象だそうだ。これの音バージョンが絶対音感
 今では、絶対音感を教育によって身に着けさせようとする動きが高まってきている。音と色を対応付けるなどの共感覚トレーニングによって実現している。実際に、小学生が8音くらいを聞き分けることができていて驚いた。
 共感覚トレーニングでは、ニューロンのつながりを人為的に形成することを目的としているのだが、このニューロンのつながりは3歳過ぎで確定してしまうので、それ以降は効果が少ない。
 注意しておきたいのは、絶対音感にもタイプや程度があるということ。

資料映像⑤「Nスぺ 5min 発達障害

 小学生中学生のおよそ1/15が発達障がいという報告が上がってきている。その傾向によって次の3種類に分類される。

ASD

 感覚過敏。例えば、聴覚が過敏に働くと、喫茶店など多くの声が混じっている場所で目的の音を聞くことができないなどの障がいが発生する。正常ならば、目的の音以外のボリュームを意識的に下げることができるらしい。カクテルパーティ効果もこの関連になる。
 ちなみに、自分は無理です。ビニール袋のガサガサ音があると、テレビのセリフなんかは聞こえなくなる。字幕必須ですね。
 ほかにも、視覚過敏で、太陽光が痛いなどの障がいを持った人がいる。

ADHD

 関心が次々に移ることによって、集中力が持続しない。落ち着きがない。順序立てる能力や、満足を得るために待つ能力が欠如している。

LD

 例としては、文章を読むときなど、どこで区切られているのかが分からなくなってしまう症状が挙げられる。これは共感覚障がいと呼ばれるもの。どこまで読んだかわからないなんてのもこれに当たるのだろうか。

 大概、この手の発達障害に対して、親の理解が足りないような気がする。「なんでおとなしくできないの?」とか「静かにしなさい」とか。「わが子に限って」という気持ちもわからなくはないが、理解を深めてほしいと切に願います。

認知科学 其の六 20171108

感覚と言語

 世の中には、共感覚(音ににおいを感じるとか)、オノマトペ(ふわふわとか)、メタファー(比喩)などが存在している。これらは、感覚機能と言語の相互活性化によって引き起こされるものだということが分かりつつある。

共感覚

 共感覚の発見は1880年代。しかし、認識はそれ以前からあった。研究に至るのは発見から約100年後の1999年。
 共感覚現象の主な原因は、交差活性化。一部分の活性化により、ほかの部分も誘発的に活性化する現象です。共感覚を研究することにより、脳の感覚情報処理メカニズムが明らかになってきた。
 共感覚についての資料映像を見ました。

資料映像 from BBC

Case1:文字に色がついて見える

 聞いた言葉が視覚情報として目の前に現れる。空港の時刻表を見ると、それぞれの文字に色がついてカラフルに見えるといった例が出てきた。
 一つ疑問なのは、「文字本来の色を認識できているのか」ということ。もし、共感覚機能のオンオフができるのであれば、これほど便利なものはないでしょう。次の例は、無条件に、共感覚現象が発生してしまうという例です。

Case2:言葉に味を感じる

 本人の中では現実の味とのせめぎあいが起こっているらしく、いろいろな味が衝突してしまうので、料理しているときに喋ることができない。その割に、飲食店を経営している。
 この例で疑問に思ったのは、「腹の足しにはなるのだろうか」ということ。ドラえもんの秘密道具で「食品視覚化ガス」というものがあるのだが、これは味わって腹の足しになるという優れもの。味覚に関連する共感覚でも実際に食べていなくても、気持ちおなか一杯になるのではないだろうか。秘密道具に関して詳しく知りたい方は、次のリンクへ。
www.doraemondb.com
 この共感覚者に対して、研究者ラマチャンドラは簡単なテストをした。そうすると、言葉と味の組み合わせに一定のパターンが見られた。また、感じる味は子供の頃に食べたものがほとんどだった。ここから、言語獲得の段階で食べ物との対応付けを行っていたのではないかと推測された。ここから発展して味に影響が出てきたのだろうとラマチャンドラは言っている。

Case3:音に色がつく

 今度は、目の見えない共感覚者。音に色を感じるという。目は見えないので、脳内のイメージを直接感じているらしい。調べてみると、色を感じる語句を聞いた時に視覚野が活性化していた。
 このケースについても、順番を覚える際に色との対応付けを行っていたことが分かっている。しかし、調べてみるとこの「色と文字の対応付け」は別に珍しいものでもない。100人に一人がこのような対応をつけているという報告が上がってきている。
 また、別の事例では「音楽に色を感じる」というものがあった。低い音は暗い色に対応し、高い音は明るい色が対応している。しかし、これも一般の人にもある程度備わっている。このことから、もともと共感覚と同じメカニズムを持っていて、それが顕著に表に現れている人が共感覚者なのではないかという仮説が立っている。

Case4:数字を立体的に感じる

 色付きの数字が立体的に配置されているイメージが目に見えるという事例。この手の共感覚は計算に使えたり、時間感覚が良かったりと、進化する過程でかなり役に立つ能力になっている。また、この数字に関しての共感覚は多くの共感覚者に共通してみられる(約6割は立体的な数列が見えているという)。

数覚

 ここで、数についての感覚が出てきたので、「数覚」という概念について触れておきます。
 この数覚は、数を認識するときに空間を使っているなど、すべての人間が持っている概念。例えば、左から右に行くにつれて数が大きくなっていくイメージを持っている人は多いのではないだろうか。これも、数直線という概念が存在するからこそ起こる数覚現象。

 共感覚は創造力にも一役買っている。その証拠に、芸術家には共感覚の持ち主が多い

比喩表現

 これは共感覚に似ている。
 概念と概念を結びつける役割を果たしているのが比喩(メタファー)。これを研究している人に言わせれば、「比喩を突き詰めることで、言語の期限に近づくことができるかもしれない」とのことだ。
 例を挙げておくと、「とがったチーズ」という言葉を聞いた時、チーズをたくさん食べている人なら「味がとがっているチーズ」という風に解釈できる。これは、味という概念を説明するのに、形の概念を使ったメタファーになる。

ブーバ・キキ

 とがった形と、丸い形を同時に見せて「どっちがブーバで、どっちがキキか」を聞く。

f:id:maekawa_yoshimiki_1119:20171127222725j:plain:h200

大体99%の人は、とがったほうをキキ、丸いほうをブーバと答えるらしい。これも共感覚的な現象で、形から音を連想する能力が人間に備わっていることを表している。この機能をつかさどっている脳の部位は「角回」と呼ばれている。
 ちなみに、自分は全く逆に答えました。

認知科学 其の五 20171101

手話について

 手話は一般に手の動きを重視されがちだが、それ以上に非手指動作も大事になる。これら表情などが文法などの役割を担うことがわかっている。

手話法vs.口話

 長年この対立は続いている。1880年ミラノ宣言で口話法(マジョリティ)が採択された後、手話法は劣っているものとしてみなされてきた。
 しかし、「手話の構造」において、手話はただのサインやジェスチャーなどではないことがわかってきた。手話を使っているときの脳の活動を調べてみると、言語野が活発になっていることが分かったのである。さらに、手話にもネイティブや訛りのような特徴がみられることもわかってきた。日本においてのネイティブ手話は「日本手話」。訛りにあたるのは「対応手話」や「中間手話」になる。

ニカラグア手話

 内戦が終わったのちのニカラグアでは、障がい者に対しての配慮や意識が高まり、聾者に手話を会得させようとする動きが始まった。この動きの中で、ニカラグア手話と呼ばれるものが無の状態から生まれ、研究の対象となっている。

 難聴者は視覚が聴覚にマッピングされていることがある。
 蝸牛インプラント(人工内耳)という解決策も存在するが、この治療は早い時期が好ましい。
 口語法は健常者のもの。これを強制するのはいかがなものだろうか。人にはそれぞれ適した環境があるのだ。

点字

 点字はテクノロジーと組み合わせることが容易にできる。
 盲者は「点字に触れること」が「見ること」にマッピングされている。記憶するときには視覚野が活発になるため、一般的に成績がいいとされている。

 ここまで、手話・点字について書いてきた。どこかの機能に障害を持っている人は、その機能を補うようにしてほかの機能が鋭敏になるという。また、先にも書いた通り、健常者のエゴで口話法を押し付けては決していけない。

資料映像①「私は奇跡ではない」

 盲聾二重障がいの持ち主であるヘレン・ケラーの話です。彼女の話の中では「井戸端の軌跡」が有名すぎる。

井戸端の軌跡

 パーキンス盲学校時代、アニー・サリバンはヘレン・ケラーの掌に水を当てながら「water」と文字を書き、彼女に「全てのものには名前がある」と発見させた。これが井戸端の軌跡の概要。見えない・聞こえないでモノをモノだと知覚することさえ難しかったヘレン・ケラーに「モノ」そのものを認識させることができたのは奇跡という他ない。
 ここで気を付けたいのは、手のひらに水を当てながら「water」と書くことは、フィードバックそのものだということだ。前回の講義でも話題に上がったが、盲聾者は自分のやったことがわからない。なので、フィードバックをすることにより洗練している。声なら例えばてを 口に当てて。前回の映像では、指信号なんてのも出てきていた。

パーキンス盲学校

 ヘレン・ケラーが通っていた学校。ここでは今でも、盲聾障がいの最先端の教育を行っている。それでも盲聾障がい者の言語習得は難儀なものであるらしい。椅子に座ってくれているだけでも、すごいことだろう。

パスカルピオーネの論文

 この論文で書かれているのは主に次の内容。

  • 盲聾者がモノに触れているとき、言語野のほかに視覚野と聴覚野が活発になっており、この作用によって脳に何かしらの変化が見られる。健常者にはこの傾向は見られない。
  • 脳には、障がいに適応している能力が元から備わっている。また、この現象は生きているうちにずっと続く。

講義では、このような脳の変化を「模様替え」と称していた。

脳で見聞きしている

 パスカルピオーネの論文からも、ヘレン・ケラーなどの盲聾者は脳で見聞きしていることが明らかになってきた。この機能こそが軌跡なのだという。ヘレン・ケラーも、自身の書籍「わたしの住む世界」の中で

指は視覚と聴覚をつかさどり、心でその情報をまとめる

と書いている。

そのほか

 ケラー家は割と裕福で、農場を経営していた。
 地元では「奇跡の人」が毎年演じられている。しかし、その内容は「井戸端の軌跡」のみだそうだ。

資料映像②「about 福島智

 日本のヘレン・ケラーと呼ばれる福島智さんについての映像です。一見普通に会話しているように見えましたが、ずっと昔の記憶で発生しているそうです。きっと、自分の中でその経験をフィードバックし続けているからこそ成せる業。現在は、指点字で外部の情報を入力してもらっていますが、この域に達するのは2万人いるといわれている盲聾者の中で、わずか100人ほど。専門は障害学です。

障害学

 福島さんは障害学を「バリアフリーを取り巻くバリアを取り除くこと」と言っています。

障害とは何なのか

 障害とは、「誰かがどこかで決めているもの」で、「そういう風に扱われること」。きわめて社会的なものだといいます。産業革命以後、この流れがより顕著に。優劣やハンデといったものが「障がい」という言葉の中に凝縮されている。

苦悩とは

 ここでは、ユダヤ人のヴィクトール・フランクリンが示したある等式を最初に出します。

  • 絶望=苦悩-意味

フランクリンはナチス強制収容所に収容され、いつガス室送りになるかわからないという極限状態でこの等式を体験的に導いた。福島さんは、この等式を、

  • 絶望+意味=苦悩

という形に変形した。苦悩とはただ苦しいことではない。そこに意味があるからこそ苦悩。また、さらに変形して

  • 意味=苦悩+希望

苦悩の中に希望を見出すことこそが人生の意味だという。

 先ほどのフランクリンだが、奇跡的な生還を果たしている。