富士通研究所／ｼｰﾝを表す言葉を映像に自動でﾀｸﾞ付けする技術を開発｜物流ﾆｭｰｽ

ﾆｭｰｽ　

用語　

ｾﾐﾅｰ

■富士通研究所／ｼｰﾝを表す言葉を映像に自動でﾀｸﾞ付けする技術を開発

ｼｰﾝを表す言葉を映像に自動でﾀｸﾞ付けする技術を開発
映像中の観たいｼｰﾝを簡単に検索することが可能に

株式会社富士通研究所（注1）は､これまで実現できなかった､｢都会｣や｢運動会｣などのｼｰﾝを表すﾀｸﾞを映像に自動付与する技術を開発しました｡従来はｼｰﾝを構成する1つ1つのｼｮｯﾄ（同じ物が映っている区間）を対象としていましたが､複数のｼｮｯﾄを同時に解析することでｼｰﾝへの自動ﾀｸﾞ付けを実現しました｡
本技術により､ﾎｰﾑﾋﾞﾃﾞｵを撮るだけで､ｼｰﾝに自動的に｢都会｣や｢運動会｣などのﾀｸﾞが付けられ､観たいｼｰﾝを簡単に検索できるようになります｡また､放送局や映像配信のｻｰﾋﾞｽ業者は､手動でﾀｸﾞを付けなくても膨大な映像資産を活用できるようになります｡
開発の背景
近年､さまざまな分野で映像が蓄積されています｡例えば､個人では､ﾎｰﾑﾋﾞﾃﾞｵを撮り溜めたり､TV番組をﾊｰﾄﾞﾃﾞｨｽｸﾚｺｰﾀﾞなどに録画したりしています｡企業では､e-learningなどで活用するために､研修用映像が大量に蓄積されています｡製造分野では､紙媒体の保守ﾏﾆｭｱﾙが作業手順を撮影した映像に置き換わりつつあります｡医療分野では､研修などに利用するために手術映像を蓄積しています｡このように､膨大な映像が蓄積されるようになり､その中から観たいｼｰﾝを探すのが難しくなっていました｡
課題
蓄積された映像を整理したり､観たいｼｰﾝを探したりするための手段として､映像に出てくるさまざまな物体名（人､建物､車など）やｼｰﾝ名（都会､運動会､結婚式など）のﾀｸﾞを手動で付けることが考えられます｡しかし､映像に手動でﾀｸﾞを付けるには膨大な手間がかかるため､自動的にﾀｸﾞを付ける技術が必要とされていました｡
従来の技術では､ｼｮｯﾄごとに自動でﾀｸﾞを付けていましたが､複数のｼｮｯﾄで構成されるｼｰﾝに対しては適切なﾀｸﾞを付けることは困難でした｡例えば､図1の3つのｼｮｯﾄからなるｼｰﾝに対して｢都会｣か｢田舎｣のﾀｸﾞを付ける場合､単一のｼｮｯﾄのみでは｢都会｣か｢田舎｣を判断することが難しく､そのためｼｰﾝ全体にﾀｸﾞを付けられません｡ｼｰﾝ全体にはﾀｸﾞを付けられません｡その結果､このｼｰﾝはｷｰﾜｰﾄﾞで検索することができませんでした｡

図1. ｼｰﾝは｢都会｣か｢田舎｣か？
開発した技術
今回､複数のｼｮｯﾄを同時に解析することでｼｰﾝにﾀｸﾞを自動付与できる技術を開発しました｡本技術により､単一のｼｮｯﾄだけでは付与できなかったﾀｸﾞ付けが可能になり､ｼｰﾝに対するﾀｸﾞ付けの精度が検索に利用できるﾚﾍﾞﾙまで向上しました｡
本技術では､図2のように､まず､同一時間帯に撮影された複数のｼｮｯﾄを自動的にまとめて1つのｼｰﾝとします｡次に､あらかじめﾀｸﾞが付いた複数の画像から､ﾀｸﾞを付けるための規則を自動的に抽出する機械学習の手法により､ｼｰﾝ内の各ｼｮｯﾄに物体名を付け､それらの物体名と物体の面積（代表ﾌﾚｰﾑ画像に占める物体の面積）を手がかりにすることで､ｼｰﾝ名のﾀｸﾞを自動付与します｡例えば､図1のｼｰﾝでは､同一時間帯に撮影された3つのｼｮｯﾄをまとめて解析し､｢建物｣や｢車｣などの物体名や物体の面積から｢都会｣というﾀｸﾞを付けることができます｡

図2. 技術の概要図
効果
本技術により､ﾎｰﾑﾋﾞﾃﾞｵを撮るだけで､物体名だけでなく､｢都会｣｢運動会｣｢結婚式｣などのさまざまなｼｰﾝ名を自動的に付与できるため､撮り溜めた映像の中から､観たいｼｰﾝを簡単に検索できるようになります｡また､放送局や映像配信ｻｰﾋﾞｽ業者などは､手間をかけずに保有する膨大な映像資産を活用できるようになります｡
今後
今後は､さまざまな分野の映像向けに実用化を進め､映像活用ｻｰﾋﾞｽに適用する予定です｡
商標について
記載されている製品名などの固有名詞は､各社の商標または登録商標です｡

以上