Sesudah era St. Agustinus, pemakaian karisma-karisma itu semakin berkurang. Penyebabnya adalah pada waktu itu ada penyimpangan-penyimpangan oleh kelompok tertentu dan reaksi Gereja seringkali berlebih-lebihan. Artinya karena penyimpangan-penyimpangan itu maka semua karisma agak dilarang. Akibatnya karisma itu surut dan tidak berkembang. Santo Irenius mengatakan bahwa memang selalu ada penyimpangan-penyimpangan tetapi untuk mengatasi itu, bukan dengan memadamkan Roh, melainkan dengan memberi pembinaan yang sehat. Seperti St. Paulus, dia sadar bahwa ada penyimpangan-penyimpangan, tetapi dia tidak menghapuskannya. Sebaliknya dia mengatakan supaya orang memakainya dengan baik dan dia menunjukkan cara-cara penggunaan yang benar.