İlçeye bağlı Bahçeli köyünde bulunan ve bir kayanın üzerine inşa edilen kalenin görkemi kendine hayran bırakıyor. Geçmişiyle ilgili tam bir bilgi bulunmayan kalenin Ortaçağ Döneminden günümüze kadar geldiği tahmin ediliyor. Osmanlı Döneminde de kullanılan kale şimdi neredeyse atıl durumda. Ulaşımı oldukça zor olan kale baraj yapımı nedeniyle sular altında kalacak olan Yusufeli'nin su üstünde de kalan nadide tarihi eserlerinden biri.
Bahçeli köyünde varlığı bilinen tek tarihsel yapı olan Kisporot Kalesi, köyün 2,4 km kuzeydoğusunda, Barhal Deresi'nin sağ kıyısında yer alıyor. Yüksek bir kayanın üzerinde, kireç harcı kullanılarak inşa edilen kaleye turistlerin yanı sıra bölge halkı dönem dönem Türk bayrağını asmak için çıkıyor.