画像変換

非分離重複直交変換と非分離冗長重複変換

画像変換技術はJPEG, JPEG2000、MPEGなどの圧縮符号化，ノイズ除去や超解像などの画像復元、画像認識ための特徴抽出などに役立つ要素技術です。代表例として、離散コサイン変換（DCT）や離散ウェーブレット変換（DWT）が挙げられます。

以下ではMSIP Lab 独自の提案である

  • 非分離重複直交変換
  • 非分離冗長重複変換

を紹介します。

解説記事もご参照ください。

非分離重複直交変換

ブロック間の関係を利用する重複直交変換（LOT）を多次元非分離システムに拡張しました．

さらに，画像中に含まれる任意の方向に傾斜した一次平面成分を消失させるフィルタの性質として傾斜バニッシングモーメント(TVM)を定義し，その理論の構築と同理論に基づく指向性重複直交変換(DirLOT)の設計法を提案しました．

この理論は一次元の分析／合成システムには現れない概念で，多次元システムの特徴を活かした独創性を有しています．

汎用的な理論を示すほか，TVM条件を満たす分析／合成システムの設計手法を確立し，可分離システムではなしえない指向性を有する2×2分割の対称正規直交ウェーブレット変換も実現しています．

複数の異なるDirLOTで混成変換を構成し，画像ノイズ除去シミュレーションにより提案法の有効性を確認しました．

IoTの普及により劣悪な環境においてセンシングされる画像や映像の増加が見込まれる中，画像復元技術の役割は重要度を増し，画像をスパースに表現できる冗長変換に寄せられる期待も大きくなっています．

MATLAB ソースコード

研究成果

学術論文

  • Chen Zhiyu and Shogo Muramatsu, Multi-focus Image Fusion based on Multiple Directional LOTs, IEICE Trans. on Fundamentals, vol.E98-A, no.11, pp.2360-2365, Nov. 2015.
  • Chen Zhiyu and Shogo Muramatsu, SURE-LET Poisson Denoising with Multiple Directional LOTs, IEICE Trans. on Fundamentals, vol.E98-A, no.8, pp. 1820-1828, Aug. 2015.
  • Natsuki Aizawa, Shogo Muramatsu and Masahiro Yukawa, Image Restoration with Multiple DirLOTs, IEICE Trans. on Fundamentals, Vol.E96-A,No.10,pp.1954-1961,DOI: 10.1587/transfun.E96.A.1954, Oct. 2013.
  • Shogo Muramatsu, Dandan Han, Tomoya Kobayashi and Hisakazu Kikuchi: Directional Lapped Orthogonal Transform: Theory and Design, IEEE Trans. on Image Processing, Vol.21, No.5, pp.2434-2448, DOI: 10.1109/TIP.2011.2182055, May 2012.
  • Shogo Muramatsu, Tomoya Kobayashi, Minoru Hiki and Hisakazu Kikuchi: Boundary Operation of 2-D Non-separable Linear-phase Paraunitary Filter Banks, IEEE Trans. on Image Processing, Vol.21, No.4, pp.2314-2318, DOI: 10.1109/TIP.2011.2181527, April 2012.
  • Atsuyuki Adachi, Shogo Muramatsu, Hisakazu Kikuchi, Constraints of Second-Order Vanishing Moments on Lattice Structures for Non-separable Orthogonal Symmetric Wavelets, IEICE Trans. on Fundamentals, Vol. E92-A, No. 3, pp.788-797, Mar. 2009. (Summary)
  • Shogo Muramatsu, Akihiko Yamada and Hitoshi Kiya, A Design Method of Multidimensional Linear-phase Paraunitary Filter Banks with a Lattice Structure, IEEE Transactions on Signal Processing, vol. 47, no. 3, pp. 690-700, DOI: 10.1109/78.747776, Mar. 1999.

国際会議

  • Zhiyu Chen and Shogo Muramatsu, Poisson denoising with multiple Directional LOTs, Proc. of 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.1234-1238, May 2014.
  • Natsuki Aizawa and Shogo Muramatsu, FISTA-Based Image Restoration with Multiple DirLOTs, Proc. of IWAIT 2013, Jan. 2013.
  • Shogo Muramatsu, Natsuki Aizawa and Masahiro Yukawa, Image Restoration with Union of Directional Orthonormal DWTs, Proc. of APSIPA ASC 2012, Dec. 2012.
  • Shogo Muramatsu: SURE-LET Image Denoising with Multiple Directional LOTs, Proc. of 2012 Picture Coding Symposium (PCS2012), May 2012.
  • Shogo Muramatsu and Dandan Han: Image Denoising with Union of Directional Orthonormal DWTs, IEEE Proc. of 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.1089-1092, Mar. 2012.
  • Shogo Muramatsu, Dandan Han and Hisakazu Kikuchi, ”SURE-LET Image Denoising with Directional LOTs, Proc. of APSIPA ASC 2011, Thu-PM.PS1.9, Xi’an, China, Oct. 18 – 21, 2011.
  • Shogo Muramatsu, Tomoya Kobayashi, Dandan Han and Hisakazu Kikuchi, Design Method of Directional GenLOT with Trend Vanishing Moments, Proc. of APSIPA ASC 2010, pp.692-701, Biopolis, Singapore, Dec. 14 – 17, 2010,
  • Shogo Muramatsu, Dandan Han, Tomoya Kobayashi and Hisakazu Kikuchi, Theoretical Analysis of Trend Vanishing Moments for Directional Orthogonal Transforms, Proc. of PCS2010, pp.130-133, Nagoya, Japan, Dec. 7-9, 2010.
  • Tomoya Kobayashi, Shogo Muramatsu and Hisakazu Kikuchi, 2-D Nonseparable GenLOT with Trend Vanishing Moments, IEEE Proc. of International Conf. on Image Proc. (ICIP2010), Hong Kong, pp.385-388, Sep. 2010.
  • Tomoya Kobayashi, Shogo Muramatsu, Hisakazu Kikuchi, Two-Degree Vanishing Moments on 2-D Non-separable GenLOT, IEEE Proc. of 2009 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS2009), pp.248-251, Kanazawa, Japan, Dec. 7-9, 2009.
  • Shogo Muramatsu and Minoru Hiki, Block-Wise Implementation of Directional GenLOT‘, IEEE Proc. of International Conference on Image Processing (ICIP2009), pp.3977-3980, Cairo, Egypt, Nov. 7-11 2009.

非分離冗長重複変換(NSOLT)

非分離重複直交変換を冗長変換に拡張し，重複性，対称性，局在性を有する冗長変換の理論を与え設計手法を提案しました．

提案法である非分離冗長重複変換（NSOLT）は，理論上，任意の次元の信号（任意の階数のテンソル）を対象にできます．

また，冗長度も任意の有理数に設定できる利点を持ちます．

冗長度はメモリ消費量に直接影響するため，その高い自由度は大容量ボリュームデータの処理やメモリ資源の限られる組込み実装などで効果を発揮します．

さらに，パラユニタリ性を満たすフィルタバンク（パーセバルタイト性を満たす辞書）の設計も容易で，多くのスパース最適化アルゴリズムと簡便に併用できます．

事例に基づく設計が可能で，既存法の一つであるスパースK-SVDよりも高いスパース近似性能を示しています．

重複構造や階層構造の導入の容易さがこの結果の主な要因といえます．

IoTの普及により劣悪な環境においてセンシングされる画像や映像のほか，ICTの医療分野への展開により極限状態で取得されるボリュームデータの増加が見込まれています．

この結果，画像およびボリュームデータ復元技術の役割は重要度を増しています．

認識分野で成功している畳込みニューラルネットワーク(CNN)とフィルタバンクの類似性から，認識分野への展開も期待できます．

MATLAB ソースコード

研究成果

学術論文

  • Shogo Muramatsu, Kosuke Furuya and Naotaka Yuki, Multidimensional Nonseparable Oversampled Lapped Transforms: Theory and Design，IEEE Trans. on Signal Process.，Vol. 65, No. 5,  pp.1251 -1264, DOI:  10.1109/TSP.2016.2633240, Mar. 2017.
  • Kosuke Furuya, Shintaro Hara, Kenta Seino and Shogo Muramatsu, Boundary Operation of 2-D Non-separable Oversampled Lapped transforms,  APSIPA Transactions on Signal and Information Processing, Vol. 5, pp.1-9, DOI:10.1017/ATSIP.2016.3, April 2016.

国際会議

  • Shogo Muramatsu, Masaki Ishii and Zhiyu Chen, Efficient Parameter Optimization for Example-Based Design of Non-separable Oversampled Lapped Transform, Proc. of 2016 IEEE Intl. Conf. on Image Processing (ICIP), Sept. 2016.
  • Shogo Muramatsu, Structured Dictionary Learning with 2-D Non-separable Oversampled Lapped Transform, Proc. of 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.2643-2647, May 2014
  • Kousuke Furuya, Shintaro Hara and Shogo Muramatsu, Boundary Operation of 2-D non-separable Oversampled Lapped Transforms, Proc. of Asia Pacific Signal and Information Proc. Assoc. Annual Summit and Conf. (APSIPA ASC), Kaohsiung, Taiwan, Nov. 2013
  • Shogo Muramatsu and Natsuki Aizawa, Image Restoration with 2-D Non-separable Oversampled Lapped Transforms, Proc. of 2013 IEEE International Conference on Image Processing(ICIP), Sep. 2013
  • Shogo Muramatsu and Natsuki Aizawa, Lattice Structures for 2-D Non-separable Oversampled Lapped Transforms, Proc. of 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2013

工業所有権

  • 特許，画像変換装置、画像変換方法、及び画像変換プログラム，村松　正吾
    登録番号（ 特許第6066280号，2017年01月06日 ） ，日本国

謝辞

本研究成果は，科研費基盤研究(C) (23560443, 26420347)の補助による．

関連研究

リンク