Chefchaouen didirikan pada 1471 oleh Moulay Ali Ben Rachid sebagai benteng pegunungan untuk membendung ekspansi Portugis di pesisir Maroko, dan segera menjadi tempat perlindungan bagi umat Muslim dan Yahudi yang melarikan diri dari Andalusia setelah jatuhnya Granada. Kota ini kemudian terkenal karena dinding-dindingnya yang dicat biru, hingga mendapat julukan "Mutiara Biru".