Les caméras multispectrales de type "snapshot" équipées d'une matrice de filtres optiques multispectraux (MSFA) acquièrent instantanément plusieurs bandes spectrales et fournissent une image brute dans laquelle un seul canal est disponible pour chaque pixel. Les caractéristiques de texture sont classiquement extraites d'images entièrement définies qui sont estimées par dématriçage. Cette procédure peut toutefois générer des artefacts spatio-spectraux. En outre, les coûts de calculs de l'extraction d'attributs de texture ainsi que la dimension de ces derniers augmentent avec le nombre de bandes spectrales échantillonnées par les filtres de la caméra. Dans cet article, nous proposons une approche originale basée sur un réseau neuronal convolutif appelé MSFA-Net pour capturer des interactions spatio-spectrales dans les images brutes à coûts de calcul réduits. Les expériences de classification d'images multispectrales et de segmentation d'images acquises en conditions extérieures montrent que l'approche proposée surpasse plusieurs descripteurs de l'état de l'art.