dzulfahmi bachelor thesis

22



ン照合

目的


卒業論文

多角形認識

走行

応用

Polygon recognition algorithm for the purpose of image pattern matching and
its application to autonomous mobile robot

群馬大学 学部情報 学科

知識情報 学講 第一研究室

学籍番号:07307911
氏 :DZULFAHMI
指 教官:太
直哉 教授

i

第1章
第2章
2.1
2.2

2010

2.3
2.4



走行




課題
MG10

第3章
3.1
3.2
3.3

多角形認識
自動
認識
輪郭検
角形認識
各処理 詳細 容


第4章

実験

4.1
4.2
4.3
4.4
第5章
5.1
5.2

謝辞

参考文献

処理手

結果


実験結果
角形

例外発生
応用

結論

課題

自己

置情報推定

第1章



技術 発展


活躍



作業





生産 程

知能

開発
視覚

視覚機能 環境




対象物あ い 作業目的



目的地




場合

最 求



安全性 あ
いう自己 置推定




置い

手法 考え

本研究





要 あ

点 注目

中心 自 走行



研究活動 行う


本研究

目標遉






あ い

置推定

手段 あ

機能 異




走行経路

外界

高知能

え い いう 周




能性 あ

情報

共存


変わ


環境認識能力

要求

い 周

使用

視覚 触覚 力覚 聴覚

対象物

人間

自 移動

福祉

技術 展開


認識 必要

一般社会

々一般社会 中
い細 い作業 厳 い環境





環境



現場

高齢 社会



産業






課題 元

走行経路

移動

完走

研究 報告 示

目指

実証実験大会

第2章


2.1

2010




人々 生活

技術 追求 目的

い 空間 中

実世界



自 的 行動
(The Real Robot Challenge)

[1]






安全





確実 動



共通





課題
目的





2010
大会

11

18


群馬大学
本番
走行



19

大会

一部 約 240m
95m

研究 報告 示

開催



大学や研究機関 企業


大会 群馬大学






技術者

第 4 回目



2 回目 参

走行



突破

いう記録 残
一丸



課題遉

狙う



2.2


2010







中央公園 側
公園周辺 遊 遈 自


的 走行

付近

中 入

移動

外部


必要 あ

約 1.1km



ョン ン





地点

自動



完走 いう

F

D

E

C

E

D

C

F
B
G
A

H

H

G

2.

A=

地点

D=



H = 本走行

地点

B

A

地点



2010

2.3



課題

2010

特徴的 課題

場所

安全確保
2010

地点

狭い公園
目的

林間

一 停



追記課題 あ

必要 あ

うえ

公園通
場所 設定

自 的 決
安全

確保

広い遊 遈


一 停

箇所 一時的 停

走行再開 指示



2.4

開発

実験

区間 距

約 700m

移動









走行

限 自 走行



本研究 実証実験 使用



MG10



詳細部



MG10

車輪回転 ン
1

いう



害物 距
周 情報


考え

MG10

走行
3

点 戻 必要 あ

情報
計算



計算



使用


認識

いう

来 周



効 あ

LRF (Laser Range Finder)
形状等 認識


画像
手前 存



LRF

広範

自己 置情報 補

いう長所 あ

非常停

ソ ン

従動輪

車輪回転 ン
ン ョン
駆動 操舵機構
LRF
(Laser Range Finder)
車両 ン

3.MG10

詳細部

MG10
50 cm x 115 cm x 70 cm (W x L x H)
36.2 kg
駆動形式

前輪駆動
差動式操舵

制御系
ン PC

Atom 330 1.6 GHz

PC
車両

Atom 280 1.6 GHz
SH2E 80MHz



ン 系
TD-BD-SCAMv2
OPT. ン
LRF
4.走行

MG10




1/42 型富士

社製 CCD



効画素数 648(W) x 486 (V) x 2
1280 x 480 (

画像

右含 )

最大 30fps(認識処理含




画角 91゜

100mm

間距
画像転送 I/F

5.

USB2.0

本研究
画像

)







様々 画像処理 実験 行う





入力

第3章

多角形認識
3.1

自動

認識
2010



課題 中

課題

6.





自動
認識

誘 方法




ョン 自動



7.自動

ョン





周辺

付近







筆者

画像

2010

付近



特徴

照合







中 入

必要 あ



自己










自動

自動
進行方向 算

特徴
特徴



角形

注意





認識

考え

8.

角形 注意

3.2

輪郭検

本研究


角形認識
認識目的

処理手

多角形

角形 あ



意識



処理手

実験 行

A)

除去

B)

値画像

輪郭検

C) 輪郭 状 検査
D) 多角形 近似処理
E) 認識目的 追 条件
結果

画像





角形

進 方向

3.3

各処理



詳細

各処理手

A)

置情報



角形






詳細

容 示

除去
雑音
総称
いえ


”画像

状態

いう言葉

使わ

言葉 あ



調子 悪い 画像 乱



いう

何 目的 あ

邪魔



具体的 例

画像処理
見え

画像

画像


うひ

邪魔物 乗





目的

目的画像
う 邪魔物 画像 雑音

いう

9.元画像



写真





10.雑音

粒状性 場所 大

あ 画像

時間的




Noise = a general term for the deviation of a signal away from its “true” value. In the case of
images, this leads to pixel values that are different from their expected values. [3]

雑音

性質


除去 方法 変わ

主 処理



雑音 除

decomposition
i.



除去

強調

除去

ン ン








詳細方法




up sampling





1







��



入力画像

畳 込 処理 行う
関数 利用





保存

down sampling



=




い処理



�,

画像 輪郭

解 Gaussian pyramid

down sampling

(5x5)



方法




処理

σ

本実験



数式

結果

12.元画

14.σ=2

除去

:

+


周波領域
様子



画像

11.Gaussian 5x5

強調

結果

確認

13.σ=1

15.σ=10

画像



処理



画素









縦横



行う 得

縦横






偶数行 偶数列 間引

ン ン


実行

結果画





画素





関数
あ 程 周







画素 影響
16.

性質 利用


補間

(

発生



英: Aliasing





通常
抑え



連続画素 標本

区別

いう )
ii.





up sampling

処理



原理 持


5x5









入力画像

0

行 列 挿入

4倍

行う 補間



行う

力画像 入力画像

ン ン








4倍 大


画像



17.元画像

19.



画像

18.

ン ン



画像

B)

値画像

輪郭検

輪郭


画像 濃 や色



物体 物体


急峻 変







あ い 物体 背景 境目 検 処理 多角形認識

要 処理 あ

B.1) 輪郭検
輪郭





様々 手法 あ

計算




1

計算

勾配

方向

方向 勾配 局所的 極大

箇所





局所的







実験 行







画像 あ
画像

厳密 計算

処理

近傍





う 述
右 斜

足 合わ





差 結果 異

ン 断面

散値 集合

近似

計算

注目画素

隣接

方法

表現

画素



近傍

隣接

画像





画素





行列

変換処理 行い



Sobel

計算

注目画素A(i, j)

各画

用い

記 計算 実行

近傍

(i-1, j-1)

(i, j-1)

(i+1, j-1)

(i-1, j)

(i, j)

(i+1, j)

(i-1, j+1)

(i, j+1)

(i+1, j+1)

20.注目画素

x 方向



いう

入力

y 方向 微







局所的方向














通常 1

実験 行



�=

対応

-1

0

1

-2

0

2

-1

0

1

輪郭 強



+

Sobel


p



-1

-2

-1

0

0

0

1

2

1

方向θ 計算

θ = tan−




記 処理 基 い

結果画像 得



21.元画像

23.元画像

22.輪郭検

結果

24.輪郭検

結果

B.2) 細線
述 方法 用い 得


輪郭

輪郭 幅 画素 線

細線



除去

処理

終了



方向

0(白) あ 注目画素
注意:実験
(i)

一 太

線 幅 画素

値画像 行う 太い輪郭線


画像

確 認識制

注目画素



必要 あ

い 輪郭線

閾値処理 行



1(黒)


走査 行い

外側





整え 処理


画素

条件




背景 黒 あ

境界条件
⇒注目画素

4-近傍

1 黒 画素

注目画素 領域 周
近傍

注目画素

1

以 存

画素 あ 条件 いう
右 画素





画素

4-

(ii) 連結性条件
4-連結数

⇒注目画素



1 画素

条件 目的 幅
画素 線

1

以 削



4-連結数 計算方法 以
対象画素 � (i, j)

線 除去







幅1






1

画素 �



x , x , x







(i-1, j-1)

(i, j-1)

(i+1, j-1)







(i-1, j)

(i, j)

(i+1, j)







(i-1, j+1)

x , x , x , x ,

時計回

(i, j+1)

(i+1, j+1)

4-連結 場合 連結数

��

=

�� �

� = {1, 3, 5, 7}
1

結果

画素

{





条件 満



�+

�+

}

画素

(iii) 非端点条件
対象画素

8-近傍

0 白 画素

条件 目的 幅


利用

3

条件

1 画素



目(ii)連結性条件

査終了 時点 除去

画素





細線



3

以 存
線 端 削

目 (i) 境界条件
目(iii)非端点条件
終了

い う


走査



近傍 走査開始前 値
値 用い
検 処理 終え




25.細線

結果

26.細線

C) 輪郭



結果

検査


輪郭



1 画素 線 変換

値画像 得




a



b

2

閾値

う 細線 処理 得


線 群 途中

う場合 あ

c

a = 途中



b=



c=



認識



本研究

多角形



必要

い線


27.検査対象 画像

a, b, c



う 線
垂直

本来 多角形認識処理


い a, b,

線 情報
c

う 線

限 効率的
省略



い線 あ
処理手
必要 あ

展開

画像



Check Contour Convexity
入力

画像 輪郭

対象

輪郭



調

標点

主 処理



輪郭



Check Contour Convexity 関数 渡


情報

配列



処理 実行 開催



状 検査 行う




う 途中 線

対象外

保存



情報 得



直線 性質 持



垂直 斜

Check Contour Convexity 処理
以外

形 持



線 情報

結果

画像

直線

処理時間 短




注意:輪郭 自己交差

D) 多角形

い う 単純







近似処理

状検査 得

直線群

確 検

行う



処理



1.) Find Contours
Find Contours 処理 行う









連結



い 輪郭

持 輪郭 一



注目

拡大





ョン 説明
う 見え





保持








直線群 ひ

輪郭 検

置情報

NULL

場合

情報 保持







OpenCV



CV_RETR_LIST



いう

相当




垂直 斜





端点

保管

(x,y)

両端の座標を取得
一本

線 注目
(x,y)

保持
両端

連結
標 得

持 線 一本



各端点 情報 保管

CV_CHAIN_APPROX_SIMPLE

いう

処理



OpenCV

相当

2.) Approx Poly
以前 処理 得


端点 情報 利用

指定

精 (ε) 多角形 近似

Douglas-Peucker

近似処理

[6]



Douglas-Peucker
Douglas-Peucker
Information System)


析 地

い 標準的 用い

広 用い

元 多角形 構

い 方法 あ



複数 点
一定距

(Geographic

地理情報

間引
点 全

場合

近似曲線



終了 , 最終的 近似曲線 決定

始点

[7]

.始点

終点

終点

近似曲線

各頂点 近似曲線










計算
場合


始点

終点

前 点 近似曲線 引

近似曲線

注意:全





ε



近似曲線

ε

終了

n

.精

ε





近似曲線





n番目

n
近似曲線

近似曲線 引

ε

.始点

n番目 点

n番目 点

終点

近似曲線
近似曲線



1&2



似曲線



各点






計算

ε

ε



い点



近似曲線 引
n





ε



ε

繰 返

終了


結果

多角形 近似処理 行い 最終的 多角形 決定
画像



認識目的 多角形



緑枠

再帰的

E) 認識目的
処理



条件

認識目的



角形 認識目的


実装



角形 性質 基 い

実装



本研究

実験




性質的

一番望

条件






�⁄
6


�⁄

角形


近い形




輪郭









≤ tan− � ≤
6

tan � =

� −�
+� �

制限

必要

条件 必要性:
誤解

認識

い 角











本来認識

角形 近い


本来

誤認識

原因



認識

角形






目的





角形










認識
角形
認識

誤認識

28.誤解認識

常認識



角形


近い


角形



第4章

実験
4.1

結果

実験結果



処理手

実験 行

結果

認識


角形

角形 緑 枠

結果

角形 認識



角形 認識

置情報(画像



種類 認識対象(
実行



標)


四角形



認識対目的






角形) 存

い多角形

無視

元画像

認識


元画像
画像
角形

あ 多角形 対
認識

角形











付近 画像 撮影
う 自動

認識

自動

角形

認識

認識

群馬大学情報棟




号館

画像 あ

認識
自動



開 直前 100cm

自動

い あ

実験 性能 検

4.2

角形




自己

う 画像中央部


置情報推定
角形









方向

θ(角

本番

本研究処理 検証地点 以



計算



)







本研究処理
検証地点



付近 建物

認識用 画像 使用



検証時 以

い場所

主 風景



特徴

自己 置 認識



付近



う 例外 発生



自己 置

本研究 方法 用
考え

4.3

例外発生

本研究

実験



角形 認識

例外


発生







角形 認識失敗

例外 発生!

考え

原因



右側
強い



輪郭

値 画像

輪郭



い 連結












途中
持 線





輪郭 状態

輪郭検

部 ) 自動

角形 隣 合う画像(右

角形



状検査処理 手


C

右側





無視
対策

良い線 情報

4.4

結果 認識
細線


処理

実行

いう

閾値



調整

具合

期待

応用

本研究 多角形認識
認識

応用

適用
結果

考え




交通機関

第5章

結論
5.1




物体



輪郭

5.2

認識目的

形状

いう例外



自動

発生

時間
走行



場所





関係




多角形認識

画像

角形

類似



認識対象



本番

方法





季節

環境

確認

実験 十

確認

輪郭



用い

方法


方法

走行実験


用い



用い
方法




安定
使
走行

目指
本研究



目的

課題
付近



ン照合

結果 得

利用

画像

画質

高い

い画像

課題 あ

29.群馬大学

走行

安定性

謝辞
本研究

い 株式会社



体験





本研究室教授 太 先生
研究 指 教員



修士課程 進学

先生

株式会社











礼申

4


本研究 全般 わ

感謝申
角 勇樹

感謝い

走行実験 い い 手伝





忙 い中

悠太

知識情報第一研究室 皆様

方 卒業

願いい




方や問題点 見

感謝い

研究室 塩谷敏昭氏

研究室 修士課程 1



研究



指摘 指

意見や細

製作や開発 あ

礼申

大変 世話

数多

操作 説明

MG10

共 研究 あ

画像処理 実験や
級生



卒業発表会 練習

4

浩之

感謝い


意見や 指摘

参考文献

[1]


油 信一 :



2010 開催記念 ン

[2]

社 版局 井

2010 実世界 働

:

目指

集, pp.1-5, 2011



誠喜 C言語 学ぶ実践画像処理

[3] Dictionary of COMPUTER VISION and IMAGE PROCESSING, p.191
[4]

社 版局

[5] 毎




[6]

村秀行 編著

画像処理

版局 奈良先端科学技術大学院大学 OpenCV

ョン
OpenCV

製作

ン ュ



David H. Douglas and Thomas K. Peucker (1973), Algorithms for the reduction

of the number of points required to represent a digitized line or its caricature,
The Canadian Cartographer 10
[7]

井拓也(2006),

動的

画点数

考慮

実装, 島根大学 総合理 学部 数理・情報
[8]

坂口 隼,

数理・情報
[9]



複体

期数値地

表示

設計

学科 卒業論
画点数



検討, 島根大学 総合理

学部

学科

財団法人

Challenge

理論





振興財団:



Real World Robot

(2010) http://www.ntf.or.jp/challenge/challenge10/index.html

[10] OpenCV.jp opencv samples and documents :
本語訳

OpenCV-1.1pre

http://opencv.jp/opencv-1.0.0/document/index.html








ン照合 目的

多角形認識

自 走行

応用

Polygon recognition algorithm for the purpose of image pattern matching and its
application to autonomous mobile robot

概要:
画像認識 様々 状況 必要
認識 用い


考案

物体 輪郭 認識目的 形状

類似

自 型走行

大会

例 述
角形

認識



照合 行う

本研究

実験

画像

計算

多角形


形 認識

付近 自動

環境認識 適用
あ 特徴的 形状



The problem of detecting and recognizing polygon shapes in images becomes one of
important research topics in the field of image processing. In this paper, we present an
effective approach to recognize polygon shapes based on object contour approximation.
Its application is then deployed into our participation in The Tsukuba Challenge
autonomous mobile robot competition. Experimental results indicate that the proposed
technique shows promising achievement on recognizing a unique (triangle) shape on the
automatic door near the Goal area.