2.1　空間周波数領域上の重み付け関数の実験的導出⁽¹⁰⁾

　画像のひずみを空間領域で雑音電力として評価すると主観と全く一致しないことが分かっていたので，次式のような空間周波数領域で重み付けしたWSN比（WSNR: Weighted Signal to Noise Ratio）を定義し，重み付け関数を実験により求めることから研究をスタートさせた．

　ここで，は劣化前の原画像の空間周波数成分，は劣化後の空間周波数成分を与える．空間周波数上で評価するための重み付け関数としては，上述のような正弦波パターンに対する‘ひと’の視覚特性⁽¹¹⁾や，網膜の数学モデルを基に考案された周波数特性⁽¹²⁾などが考案されていた．しかし，ごく一般的な画像を基に求めた重み付け関数の方が実際的な評価値を与えるものと考え，標準画像「肌色チャート」を基に求めることにした．

　図2に重み付け関数導出のために考えた処理の流れ図を示す．処理手順は以下のとおりである．

 （１） 標準画像を二次元フーリエ変換することにより，空間周波数成分を求める．

 （２） 空間周波数領域を106個のブロックに分割し，各ブロックに関して，以下の（３)～（５）を繰り返す．

 （３） 番目のブロック（=1～106）の空間周波数成分に，様々なレベルのランダム雑音（雑音電力）を加え，二次元逆フーリエ変換を行って複数の劣化画像を作成する．

 （４） 複数のを20人により5段階評価し，MOS（Mean Opinion Score）を求める．

 （５） MOSが4（MOS=4は雑音が検知されるかどうかの主観的なしきい値）となる雑音量⁽⁴⁾を求める．

 （６） 次式により，ブロックごとの重み付け値を求める．（は定数）

　図3にこうして求めた重み付け関数 の立体表現を示す．ここでは水平空間周波数，は垂直空間周波数を与えるが単位はディスプレイ上で表示される‘しま’でTV本である．画像は512画素×512画素なので，256 TV本が最高空間周波数となる．視距離を7H（Hは512画素を表示するディスプレイ上の画面高である）とすると，図3のローカルピークである==24 TV本の位置は3cpdに相当することが判明した．この図から分かるように，視感度は等方的な特性ではなく，3cpdの斜め成分に対する感度が高く，ここから8cpdまでは等方的であるが，10cpd以上になるとむしろ斜め成分に対する感度が低下することが明らかになった．このように，標準画像を用いて求めた重み付け関数は，従来から明らかになっていた視感度と大局的には符合したが，ローカルピークの形状や高域での感度などの点で差異が見られた．

　図4(a)は視感度を全く考慮していないMOSとSN比の関係，同図(b)は視感度を考慮したMOSとWSN比の関係を故意にブロックひずみ，ランダム雑音，ぼけの劣化を加えて作った画像を用いて比較した結果である．これらの結果から，視感度を考慮することでMOSとWSN比の相関が高まり，WSN比からMOSを推測できるのではないかと思われた．

　原画像をどのようなものにしても上述の相関は改善したが，改善率は画像によって異なるという結果を得た．

　具体的には，同じ位置にある雑音や同じ量の劣化であってもその背後にある画像のテクスチャが異なると図4のような改善が見られないものもあった．つまり，テクスチャを定量化して，それに基づいて雑音や劣化を評価しないと‘ひと’の視覚のマスキング特性を表現できないことが分かった．

2.2　原画像のテクスチャを考慮した客観評価法の提案⁽¹³⁾

　雑音や劣化の背後にある画像のテクスチャの複雑さ，局所的明るさ，評価決定領域を考慮した客観評価法を提案し，それによって求まった評価尺度をAWSN比（Advanced WSNR）と呼ぶことにした．

　画像の局所的な複雑さの定量化は当初エントロピーを使っていたが⁽¹⁴⁾，輝度値のランダムさと複雑さは違うのではないかと考え，いろいろと文献を探していたところ，フラクタル次元という概念に出会った．二次元平面の任意の直線・曲線のフラクタル次元は1～2，三次元空間の任意の平面や局面のフラクタル次元は2～3と，研究にピッタリの尺度であった．定義式は以下のとおりである．

　ここでは立方体の長さ，は平面や局面の内側に接する立方体の体積である．

　図5は，例として標準画像のフラクタル次元を求めたものであるが，雑音や劣化がマスクされそうな次元が高い領域（白部分）とそうでない領域が検出できていることが分かる．

　このフラクタル次元と実際の主観評価実験から，次式のような重み付け値を導き出すことができた．

　図6にとの関係を示す．テクスチャが複雑になり，フラクタル次元が高くなるとその上にある劣化や雑音が見えにくくなるという空間領域上の視覚特性をよく表している．

　ただし，局所的な輝度値によっては雑音や劣化の見え方も異なることから，これについても実験を行い，図7のような平均輝度値と重み付け値の関係も求めた．

　更に，主観評価時間が10秒に制限されると評価領域が全領域の25%程度に減少することもアイトラッカーを用いた実験で明らかになったのでこのことも考慮に入れて，最終的な評価システムを構築した．

　その結果，図8のように原画像が異なってもAWSN比とMOSの相関が0.78から0.93に高まるとともに，異なる符号化雑音やランダム雑音に対しても図9のように0.82から0.91に相関が高くなることが明らかになった．

　これらの研究成果を積み上げていくには3年という長い歳月を要したが，一生懸命に研究に取り組む学生と350枚もの画像を主観評価してくれる学生が団結した成果と言える．

3.1　画像の大きさが小さくなるとどうなるかという研究⁽¹⁷⁾

　主観評価を行っているとき，画面高の整数の距離で観視するのであれば，劣化や雑音の見え方は画面の大きさには依存しないのかという質問を学生から受けた．当時はまだスマートフォンなど出現していない時代であったが，液晶の密度が上がり始めていて，小画面のものであればかなり高解像度な液晶ディスプレイが手に入るようになった．

　そこで，実際に画質を画面高135㎜の中画面（Middle）と67.5mmの小画面（Small）を液晶モニタで主観評価したところ，図10のように小画面にするとMOSが0.5ほど改善されることが分かった．しかも，この現象は，ランダム雑音を加えたときでもブロック雑音を加えたときでも同じような現象となったのである．

　この現象を理解するために，過去の文献を調べたところ，SSF（Subjective Spatial Frequency）という概念があることが分かり^(18),(19)，画面が小さくなるとこれらの実験結果を説明できることが分かった．

　簡単に言えば，画像を小画面上に表示すると，近くで見ることによる心理的な空間周波数特性が低域側にシフトし，中広域の雑音が見えにくくなることが証明できた．

3.2　動画像に電子透かしを埋め込むという研究⁽²⁰⁾

　動画像符号化方式であるMPEGの画質を考えていたときに，動きベクトルを故意に変更しても予測誤差が増えて符号量が増加するだけであることに気付き，透かし情報をPフレーム作成時に求まる順方向動きベクトルに埋め込む方法を考え，実際の動画像により性能を評価した．図11に実際の動画像シーケンス「Mobile」に100bit/frameの乱数データを埋め込んだ結果を示す．伝送レートが2Mbit/s以上であれば，2%以下の誤り率でデータを埋め込むことが分かった．

3.3　非線形処理によって超解像画像を作るという研究⁽²¹⁾

　撮像系や表示系の解像度が2Kから4K更には8Kへと高くなるにつれて，それまで撮りためた画像を単純に拡大するのではなく，高解像度の画像を生成する超解像技術が必要となる．図12はそのための処理を表したもので，画像に含まれている空間領域の高周波成分を高域フィルタで抽出し，それを3乗演算して強調するとともに振幅制限を掛けた後に原画像に加えるという手法である⁽²²⁾．ここで重要なのは，‘ひと’が注目する部分がどこなのかということと，その部分にどの程度の強調を掛けるのが最も画質が良くなったと感じるかである．

　そこで，画像を提示したときにどこに視点が集まるかという研究を始めた．図13は，アイマークレコーダ⁽²³⁾という装置を使って，4K標準画像Coupleへの視点分布を調べたものである⁽²¹⁾．この注視領域をどうやって予測するかが現在の私たちの研究の焦点になっているが，画像によっては注視点に特化した高域強調をするよりは，画像全体に強調信号を加えた方が主観的には良いことが分かっており，‘ひと’の視覚特性に関する新たな研究の始まりと考えている．