close

Se connecter

Se connecter avec OpenID

Aucun titre de diapositive

IntégréTéléchargement
Problématiques de la segmentation d’images
couleur
Ludovic MACAIRE
CLASSPEC
1
Chaîne de traitements
Image RGB
Représentation
R 127
255
191
63
255
G
191
127
63
63
B
127
191
255
Couleur représentée
dans l’espace (R,G,B)
2
Chaîne de traitements
Image RGB
Représentation
Image codée
Segmentation
Image d’étiquettes
Étiquettes des régions
3
Chaîne de traitements
Image RGB
Représentation
Image codée
Segmentation
Image d’étiquettes
Reconnaissance
Attributs des régions
région extraite
4
2 principes complémentaires
Détection des contours
Reconstruction des régions
Plan
• Définition de la segmentation
• Evaluation avec vérité terrain
– Construction des régions
– Détection des contours couleur
• Evaluation sans vérité terrain
– Les critères
– Comparaison des critères
6
Comment évaluer la qualité?
5 régions
42 régions
80 régions
Compromis entre
- nombre et taille des régions
- dispersion des couleurs dans
chaque région
Niveau local des détails
Analyse multi-échelles
[Philipp-Foliguet et L. Guigues,
Evaluation de la segmentation:
état de l'art, nouveaux indices et comparaison,
Traitement du Signal,
vol 23, N° 2,page 109-125, 2006]
7
Dualité Segmentation/Evaluation
P1
P2
P3
Mesure de qualité Q(Image,Partition)
Ordre total sur Q
Q(I,P1) < Q(I,P2) < Q(I,P3)
[Rosenberger,
Contribution à l'évaluation d'algorithmes
de traitement d'images,
HDR, Université Orléans, 2006]
8
Dualité Segmentation/Evaluation
P1
P2
P3
Segmentation: recherche la partition
P qui maximise Q
Evaluation: recherche la meilleure
partition parmi les Pi disponibles
[Rosenberger,
Contribution à l'évaluation d'algorithmes
de traitement d'images,
HDR, Université Orléans, 2006]
9
Plan
• Définition de la segmentation
• Evaluation qualitative avec un expert
– Contrôle qualité automatique
• Evaluation avec vérité terrain
– Construction des régions
– Détection des contours couleur
• Evaluation sans vérité terrain
– Les critères
– Comparaison des critères
10
Critère de Vinet
R2
V1
R1
V2
R3
Segmentation de référence
{ Ri, i= 1, …, N}
Segmentation
{ Vi, i= 1, …, M}
Recouvrement
[Vinet,
Segmentation et mise en correspondance
de régions de paires stéréoscopiques,
Thèse, Université Paris-Dauphine, 1991] 11
Critère de Vinet
R2
Recouvrement
Ck=card(Ri∩Vj)
V1
R1
V2
K couples de
recouvrement
maximal
R3
Segmentation de référence
{ Ri, i= 1, …, N}
Segmentation
{ Vi, i= 1, …, M}
K
Critère =
1
∑C
A k =1
Ai = aire ( Ri)
[Vinet,
Segmentation et mise en correspondance
de régions de paires stéréoscopiques,
Thèse, Université Paris-Dauphine, 1991] 12
k
Segmentation par classification
Hypothèse: une région de l’image
donne naissance à un nuage de points
255
G
R3
R4
R4
R5
R1
R6
R6
R2
R2
R5
R3
R1
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Segmentation par classification
Identification des nuages de points
par une analyse colorimétrique
255
R4
R5
R1
R2
G
R6
R3
0
0
Plan chromatique
R
(R,G) 255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Segmentation par classification
Identification des nuages de points
par une analyse colorimétrique
Assignation des pixels aux classes construites
255
G
C3
C4
C5
C2
C1
0
Image d'étiquettes
0
Plan chromatique
R
(R,G) 255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Domaine et sous-ensemble
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Domaine et sous-ensemble
D(C,l,l): domaine centré en C
de surface l.l
255
G
l
C
l
0
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Domaine et sous-ensemble
S(C,l,l): sous-ensemble
de pixels de l’image
D(C,l,l): domaine centré en C
de surface l.l
255
G
l
C
l
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Notions de connexité spatiale
S(C,l,l)
D(C,l,l)
G
R
Image
Plan chromatique
(R,G)
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Notions de connexité spatiale
S(C,l,l)
D(C,l,l)
G
R
Image
Plan chromatique
(R,G)
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
S(C,l,l)
Image
DC(S (C,l,l))=
3
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
S(C,l,l)
Image
DC(S (C,l,l))=
3+5
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
S(C,l,l)
Image
DC(S (C,l,l))=
3 + 5 +... .... .... +3
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
S(C,l,l)
Image
DC(S (C,l,l))=
3 + 5 +... .... .... +3
8x Card(S(C,l,l))
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
S(C,l,l)
Image
0≤
DC(S (C,l,l))=
3 + 5 +... .... .... +3
¿1
8x Card(S(C,l,l))
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
D(rouge,7,7)
DC(S(rouge,7,7)) =0,254
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
D(rouge,41,41)
DC(S(rouge,41,41)) =0,978
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de connexité spatiale
D(orange,41,241)
DC(S(orange,41,241)) =0,992
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
D(C,l,l)
G
R
Image
DH(S (C,l,l))=
Plan chromatique
(R,G)
moyenne des dispersions locales
dispersion totale
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
Image
DH(S (C,l,l))=
|Σ|
dispersion totale
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
Image
DH(S (C,l,l))=
|Σ| + |Σ|
dispersion totale
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
Image
DH(S (C,l,l))=
|Σ| + |Σ| + .... + |Σ|
dispersion totale
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
Image
DH(S (C,l,l))=
|Σ| + |Σ| + .... + |Σ|
Card(S(C,l,l))
dispersion totale
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
Image
DH(S (C,l,l))=
|Σ| + |Σ| + .... + |Σ|
Card(S(C,l,l))
|Σ|
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré d’homogénéité couleur
S(C,l,l)
D(C,l,l)
G
R
Image
0≤
DH(S (C,l,l))=
Plan chromatique
(R,G)
moyenne des dispersions locales
dispersion totale
¿1
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de compacité
0≤
DCO(S(C,l,l))=DC(S(C,l,l)) x DH(S(C,l,l))
¿1
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de compacité
DCO(S(rouge,7,7)) =0,25 x 0,47
DCO(S(rouge,7,7)) =0,123
D(rouge,7,7)
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de compacité
DCO(S(rouge,41,41)) =0,91 x 0,97
DCO(S(rouge,41,41)) =0,895
255
D(rouge,41,41)
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Degré de compacité
DCO(S(orange,41,241)) =0,99 x 0,16 D(orange,41,241)
DCO(S(orange,41,241)) =0,167
255
G
0
Image de synthèse
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Construction des classes
Analyse des degrés de compacité
2 paramètres:
- le nombre de classes
- la surface initiale des domaines
Image de synthèse
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Construction des classes
Analyse des degrés de compacité
255
G
6 domaines de définition
de classes
0
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Segmentation par classification
Identification des nuages de points
255
G
0
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Segmentation par classification
Identification des nuages de points
Assignation des pixels aux classes construites
255
G
C3
C4
C5
C2
C6
C1
0
Image d'étiquettes
0
Plan chromatique (R,G)
R
255
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Application au contrôle qualité
Arc-International - L. Busin (en thèse avec N. Vandenbroucke)
tâches
Sans défaut
Avec défaut
Application au contrôle qualité
Arc-International - L. Busin (en thèse avec N. Vandenbroucke)
Zones d’intérêt
Zones d’intérêt
Sans défaut
Avec défaut
Application au contrôle qualité
Arc-International - L. Busin (en thèse avec N. Vandenbroucke)
Sans défaut
Avec défaut
Application au contrôle qualité
Zones d’intérêt
Sans défaut
Avec défaut
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Application au contrôle qualité
Analyse des degrés de compacité
2 classes - volume initial des domaines fixe
Sans défaut
Avec défaut
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Application au contrôle qualité
Analyse des degrés de compacité
2 classes - volume initial des domaines fixe
Images d’étiquettes
Sans défaut
Images d’étiquettes
Avec défaut
Notice Contexte Représentation Segmentation Reconnaissance Conclusion
Segmentation par classification
Identification des nuages de points
par une analyse colorimétrique
255
R4
R5
R1
R2
G
R6
R3
0
0
Plan chromatique
R
(R,G) 255
50
Segmentation par classification
Identification des nuages de points
Assignation des pixels aux classes construites
Détermination d'un espace adapté
255
G
C3
C4
C5
C2
C6
C1
0
Image d'étiquettes
0
Plan chromatique (R,G)
R
255
[Macaire et al., Color image segmentation by analysis of subset connectedness and
color homogeneity properties, CVIU, n° 102, p. 105-116,2006]
51
Plan
• Définition de la segmentation
• Evaluation qualitative avec un expert
– Contrôle qualité automatique
• Evaluation avec vérité terrain
– Construction des régions
– Détection des contours couleur
• Evaluation sans vérité terrain
– Construction des classes de pixels
52
Détection de contours
• Détection de
discontinuités locales
de la couleur
– Maxima locaux d'un
gradient vectoriel
[Di Zenzo, A Note on the Gradient of
Multi-Image, Computer Vision Graphics
and Image Processing, vol 33, page 116125,1986]
53
Détection de contours
• Détection de
discontinuités locales
de la couleur
– Maxima locaux d'un
gradient vectoriel
[Di Zenzo, A Note on the Gradient of
Multi-Image, Computer Vision Graphics
and Image Processing, vol 33, page 116125,1986]
– Passages par zéro de
dérivées secondes
[Cumani, Edge Detection in Multispectral
Images, Graphical Models and Image
Processing, vol 53, N°1, page 43-51,1991]
• Fermeture des contours
54
Détection des contours dans des images de
fond de l'oeil couleur
[Rakotomalala, Reconstruction bidimensionnelle de vaisseaux
rétiniens par analyse d'images couleur du fond de l'oeil,
Thèse Université Lille 1, 1999]
55
Création d'images de synthèse
avec des textures
vaisseau fond
56
Critère de Pratt
Contours idéaux Contours détectés
57
Critère de Pratt
dk :distance qui sépare le pixel
contour k détecté du contour
idéal le plus proche
Contours idéaux Recouvrement
F 1=
1
max  I i , I r 
Ir
∑ 11βd 2
k=1
k
Ii: nombre de pixels contours idéaux
Ir :nombre de pixels contours détectés
[W.Pratt et al,Visual discrimination of stochastic texture fields,
IEEE Trans.SMC,8(11):796–804,1978.]
58
Contour détecté = frontière d'un objet ?
Contour = forte variation locale de la couleur
Détection par
Gradient vectoriel
59
Contour détecté = frontière d'un objet ?
Contour = forte variation locale de la couleur
Détection par
Gradient vectoriel
Frontière = changement d'appartenance des pixels à un objet ou à
une surface
Segmentation par
des observateurs
[Puzicha et al., Empirical evaluation of dissimilarity measures for color and texture, Proc. of the
IEEE Int. Conf. on Computer Vision and Pattern Recognition, p.1165-1173, 1999]
60
Base Berkeley- Segmentation par des
observateurs
Les niveaux des pixels
sont d'autant plus
bas que les experts les
ont marqués comme pixels
frontières
[D. Martin and al, Learning to Detect Natural
Image Boundaries Using Local Brightness,
Color, and Texture Cues, IEEE Trans. PAMI,
vol 26, n°5, p. 530-599,2004]
61
Attributs locaux des pixels non-frontières
Intensité Energie Energie Gradient Gradient Gradient Gradient
directionnelle
intensité couleur
texture
62
Attributs locaux des pixels frontières
Intensité Energie Energie Gradient Gradient Gradient Gradient
directionnelle
intensité couleur
texture
63
Attributs locaux des pixels frontières
Intensité Energie Energie Gradient Gradient Gradient Gradient
directionnelle
intensité couleur
texture
64
Attributs locaux: Gradient
V1
P
V2
• Découpage du voisinage de P en
V1 et V2 selon la direction θ
• Calcul du gradient G(P') pour
chaque P' Є Vθ1,Vθ2
• Détermination des histogrammes
H[Vθ1](G),H[Vθ2](G)
θ
2
θ
θ
Attribut
=Ж
(H[V
](G),H[V
](G))
•
1
2
65
Critères d'Evaluation de la qualité
• Comparaison pixels frontières détectés (D) / pixels frontières par
un expert (E).
• Courbe Rappel/Précision
– Rappel = card(D∩E)/card (E)
– Précision = card(D∩E)/card (D)
– Moyenne des valeurs rappel (précision) calculées tous les
observateurs.
P. R
• Compromis entre R et P: F =
a.R1−a. P 
[D. Martin and al, Learning to Detect Natural
Image Boundaries Using Local Brightness,
Color, and Texture Cues, IEEE Trans. PAMI,
vol 26, n°5, p. 530-599,2004]
66
Mise en correspondance des contours
(a) image originale
(b) (c) éléments de contours =
2 pixels adjacents (x,y,θ)
(d) segmentation en contours
[D.R. Martin C. Fowlkes and J. Malik,
Local Boundary detection in natural images:
matching human and machine performance
Proc. Of European Conf. Visual Perception, 2003] 67
Mise en correspondance des contours
Graphe bi-partite pour
comparer S1 et S2
distance entre contours:
  x  y 
2
2

/ 2
A: éléments de contour S1 – S2
B: éléments S1- outliers S2
C: outliers S1- éléments S2
D: outliers S1 – Outliers S2
E: cas idéal
Minimisation du coût de matching
[D.R. Martin C. Fowlkes and J. Malik,
Local Boundary detection in natural images:
matching human and machine performance
Proc. Of European Conf. Visual Perception, 2003] 68
Mise en correspondance des contours
[D.R. Martin C. Fowlkes and J. Malik,
Local Boundary detection in natural images:
matching human and machine performance
Proc. Of European Conf. Visual Perception, 2003] 69
Résultats
• Moyenne des valeurs
rappel/précision en comparant
1 segmentation automatique
et
plusieurs segmentations humaines
• Performances des segmentations
humaines cohérentes
• Performances des segmentations
automatiques éloignées de la
segmentation humaine
[D. Martin and al, Learning to Detect Natural
Image Boundaries Using Local Brightness,
Color, and Texture Cues, IEEE Trans. PAMI,
vol 26, n°5, p. 530-599,2004]
70
Plan
• Définition de la segmentation
• Evaluation qualitative avec un expert
– Contrôle qualité automatique
• Evaluation avec vérité terrain
– Construction des régions
– Détection des contours couleur
• Evaluation sans vérité terrain
– Les critères
– Comparaison des critères
71
Critères basés sur la dispersion des couleurs
- Image segmentée=
Ai = aire ( Ri)
{ Ri, i= 1, …, N}
N
A = ∑ Ai
i=1
- Critère de Levine et Nazif (uniquement basé sur la dispersion)
N
F =∑
1
i=1
σ
σ
2
i
2
avec σi2 mesure de dispersion des couleurs de Ri
total
- doit être le plus faible possible
- mise a jour facile lors de la fusion ou division de régions
- ne tient pas compte des surfaces de régions
[Levine et Nazif, Dynamic measurement of computer generated image segmentations,
IEEE Trans. PAMI, vol 25, N° 7, p. 155-164;1989 ]
72
Critères basés sur la dispersion des couleurs
- Critère de Liu et Yang
1
F=
1000 . A
2
N ∑
i
σ
2
i
A
i
-  N et  A pénalisent la sur-segmentation
- favorise les grandes régions homogènes
i
[Liu et Yang, Multi-resolution color image segmentation,
IEEE Trans. PAMI,vol 16, N° 7, p. 689-700;1994]
73
Critères basés sur la dispersion des couleurs
- Image segmentée=
Ai = aire ( Ri)
{ Ri, i= 1, …, N}
N
A = ∑ Ai
i=1
- Critère de Chabrier
N
F =∑
3
i=1
A
σ
A
i
2
i
−
σ
2
total

- compromis surface/ dispersion
- attributs de texture couleur
[Chabrier et al, Contribution à l'évaluation de performance en segmentation d'images,
Thèse de l'Université Orléans, 2005]
74
Compromis dispersion/surface
Critère de Borsotti et al
σ
R A 
1
 N ∑ 1 LogA 
000 . A
A
2
F=
4
2
i
10
i
2
i
i
i
avec R(Ai) = nombre de régions d’aire Ai
le premier terme favorise les régions avec des couleurs
homogènes,
le deuxième terme dépend du nombre de petites régions
reconstruites
[Borsotti et al., Quantitative evaluation of color image
segmentation results, Pattern Recognition Letters,
vol 19, n° 8, p.741-747,1998]
75
Examen du voisinage
Contraste intérieur de la région Ri
1
∑ max d  P , P '  , P ' ∈V  P ∩ R 
A P∈ R
Contraste extérieur de la région Ri
1
C  R = ∑ max d  P , P '  , P ' ∈V  P et P ' ∉ R 
l P ∈R
C  R =
int
i
i
i
ext
i
i
i
i
i
V(P): voisinage de P et li:nombre de pixels frontières
C
Contraste de la région Ri: C  R =1−
C
int
i
ext
N
Critère de Zéboudj: F 5 =∑ A .C  R 
i
i
i=1
[Zéboudj, Filtrage, seuillage automatique, contraste et contours:
du pré-traitement à l'analyse d'images,
76
Thèse Université de Saint-Etienne;1998 ]
Comparaison des critères
apprentissage
compétitif
F2- (Liu-Yang)
flou
F1 (Levine)
F4 (Borsotti)
split and merge
croissance régions
Tominaga
[Trémeau et al., Image numérique couleur,
Chapitre Segmentation, Editions Dunod, 2004]
77
Comparaison des critères
F1(Levitz), F2 (Liu) et F4 (Borsotti)
[Philipp-Foliguet et L. Guigues,
Evaluation de la segmentation:
état de l'art, nouveaux indices et comparaison,
Traitement du Signal,
vol 23, N° 2,page 109-125, 2006]
78
Base de segmentations
Base de 14 Vérités
Terrain pour 2 à 15
classes
8400 x 3
résultats de
segmentation
[Rosenberger,
Contribution à l'évaluation
d'algorithmes
de traitement d'images,
HDR, Université Orléans, 2006]
79
Comparaison des critères par
Taux de bonne classification par rapport au critère de Vinet
BCU
BC100U( 100% uniformes)
BC75U (75% uniformes + 25% textures)
BC50U (50% uniformes + 50% textures)
BC25U (25% uniformes + 75% textures)
BC0U (100% textures)
BC0UN (textures avec ndg identiques)
F1 (LEVITZ)
66
73
70
72
73
74
33
F3 (CHABRIER)
57
50
52
55
60
65
61
F4 (BORSOTTI)
24
65
27
19
12
11
11
F5 (ZEBOUDJ)
49
88
67
54
38
32
15
Critère de Levitz le plus performant
Critère de Zeboudj performant pour la segmentation
de régions uniformes
Critère de Chabrier adapté à la discrimination
des textures
[Rosenberger,
Contribution à l'évaluation
d'algorithmes
de traitement d'images,
HDR, Université Orléans, 2006]
80
Conclusion
• Evaluation de la segmentation utile pour
– comparaison des algos
– paramétrage de l'algorithme
• Nombre important de critères quantitatifs
• 3 démarches
– Évaluation globale spécifique à une application
– Evaluation avec vérité terrain (contour-région)
– Evaluation sans vérité terrain (région)
• Information couleur et perception humaine peu prises en
considération
81
Auteur
Документ
Catégorie
Без категории
Affichages
5
Taille du fichier
15 965 Кб
Étiquettes
1/--Pages
signaler