Autrefois appelé Seguntiaco, le village de Segonzac est très ancien. On en trouve trace dans des documents à partir de l’an 875.
Plus précisément, dans une charte tirée du cartulaire de l'abbaye de Vabres, (N°14) on y trouve une donation faite par le comte de Rouergue Ermengaud et son épouse la comtesse Adelais, de la cour de Segonzac. Ces derniers léguaient à l'abbaye, le village de Segonzac, avec son église et ses dépendances, en juillet 935. Cela se passait sous le règne de Raoul, Roi de France (923-936) Epoque Carolingienne.En 1116, le pape Pascal II pris sous sa protection l'abbaye de Vabres et lui confirma les donations faites, et nommément l'église de Notre Dame de Segonzac.
En 1312, lors du partage des biens de l'abbaye, le prieuré et la seigneurie de Segonzac seront attribués à l'abbé de Vabres et passèrent dans la mence épiscopale après l'érection de Vabres en évêché en 1317. En 1355, l'évêque de Vabres avait la basse et moyenne justice dans le lieu de Segonzac.
En ce lieu, l'évêque possédait une tour, une prison et quelques maisons contiguës à la tour ainsi que 3 vignes, un pigeonnier, un jardin, et un droit de dîme de 12 deniers par feu. En 1673, Monseigneur Louis de Baradat évêque et comte de Vabres, est prieur et seigneur de la terre de Segonzac, il y prélève la dîme. Il possède le bois de Castel bouc et le sol de l'ancienne tour, démolie au cours des guerres de religion.
Toutes ces indications sont tirées d'une étude réalisée par la Société Archéologique du Rougier et des Avant Causses.