伝香寺は、戦国時代の大名　筒井じゅんけい順慶法印「1549天文十八～1584天正十二」の香華院（菩提所）として建立されました。
諸記録によると、この地は奈良時代に唐より来朝され、唐招提寺を創建された、鑑真大和上の高弟、したく思詫律師が、天平770～780宝亀年間に、故国を偲んで唐風の庵を結んだ処で、実円寺と称されていました。

爾来八百有余年の星霜を経た1585天正十三年、順慶法印の母ほうしゅん芳秀尼は、若くして没した息子の菩提を弔うため、香花の絶やさざる寺院の建立を発願、おおぎまち正親町天皇の勅許を賜り、唐招提寺せんじょう泉奘長老を請じて、実円寺を再興「表門（県文）、本堂（重文）が現存」、古額を改め、伝香寺と号しました。

伝香寺開創の願主となった芳秀尼が、堂前に供えた椿が存続（三代目）しています。
この椿は色まだ盛んなとき、桜の花びらの如く散る椿で、その潔さが若くして没した順慶法印になぞらえ「もののふ武士椿」の名を得たといわれています。江戸時代末期に、唐招提寺長老と伝香寺住職を兼ねたほうじょう宝静長老は椿の愛好家で、奈良三名椿（伝香寺散り椿、東大寺糊こぼし椿、百豪寺五色椿）を好んだと云われています。

仏像では、伝香寺本尊釈迦如来坐像の光背柄に仏師宗貞の名と、1585酉年の記述が有りますので、秀吉が発願した京都方広寺大仏の試みの仏と云われています。又当寺の裸形地蔵菩薩（重文）は客仏で、通称「はだか地蔵尊」として、親しまれています。近年体内納入品が発見され、1228安貞二年の発願年記が願文に有り、春日四所明神の本地仏として造立されたことが判りました。
他に島左近が筒井家に奉納した南無仏太子像（嘉元二年1334　県文）、祭祀用に制作された筒井順慶画像（市文）、市守長者持念の弁財天像を当寺の鎮守神として祭るなど、筒井家に由来する宝物を今に伝へています。