Nestvarna slika čudno poređanih kula na padini brda, snažno su uticali na maštu meštana, pa je tako o Đavoljoj Varoši stvoreno nekoliko legendi.
Jedna legenda kaže da su se đaci, koji su više voleli provod nego učenje, opkladili sa đavolima da će ih nadmudriti. Izgubivši opkladu đavoli su se pretvorili u glavutke, a đaci, ogrešivši se o dati zavet, pretvorili su se u đavole.
Druga legenda kaže da se u dalekoj prošlosti tu nalazilo dobro utvrđeno naselje čiji stanovnici nisu želeli da se pokore strašnom vladaru koji je bio zao kao sam đavo. Zbog te napokornosti vladar se naljutio, sakupio silnu vojsku i porušio grad, a njegove stanovnike pretvorio u kamene figure.
Po trećoj legendi zemljani stubovi nisu ništa drugo no okamenjeni svatovi iz dve različite porodice koje su se davnoj prošlosti posvađale oko iste devojke. Obe porodice su poslale svoje svatove po devojku, ali su se oni sreli na mestu Đavolje Varoši. Obe porodice su želele da devojka bude baš njihova, pa da bi se izbeglo prolivanje krvi, neka tajanstvena sila ih je kaznila i okamenila.
Po četvrtoj legendi, nekada davno, na obroncima planine Radan, živeli su skromi i veri posvećeni ljudi. Međutim, jednoga dana je đavo, kome je smetala njihova privrženost bogu, rešio da umeša svoje prste i potok pretvorio u „đavolju vodu“. Kada su meštani popili vodu sa izvora, zaboravili su na rodbinske odnose i rešili da venčaju rođenog brata i sestru! Videvši kako idu ka obližnjoj crkvi, šumska vila je na sve načine pokušala da urazumi svatove, ali bezuspešno. Onda se ona stade moliti Gospodu kako bi on sprečio ovo rodoskrvnuće. Bog je uslišio njene molitve i poslao oluju i jak vetar koji su okamenili svatove.
Goran