Cet article propose une nouvelle méthode pour la construction automatique de hiérarchies sémantiques adaptées à la classification et à l'annotation d'images. La construction de la hiérarchie est basée sur une nouvelle mesure de similarité sémantique qui intègre plusieurs sources d'informations : visuelle, conceptuelle et contextuelle que nous définissons dans cet article. L'objectif est de fournir une mesure qui est plus proche de la sémantique des images. Nous proposons ensuite des règles, basées sur cette mesure, pour la construction de la hiérarchie finale qui encode explicitement les relations hiérarchiques entre les différents concepts. La hiérarchie construite est ensuite utilisée dans un cadre de classification sémantique hiérarchique d'images en concepts visuels. Nos expériences et résultats montrent que la hiérarchie construite permet d'améliorer considérablement les résultats de la classification.