قلعه اصلی که بر روی تپه ساخته شده بود با نام گوری خوانده شد که در زبان انگلیسی به معنای تپه است. در تاریخ گرجستان در اوایل قرن هفتم به آن اشاره شده است. برخی از تاریخدانان بر این باورند که این قلعه توسط سزار هراکلیوس برای ذخیره مهمات جنگ در برابر ایرانیان ساخته شده است.
پس از قرن یازدهم این منطقه به یک مرکز فعال تجاری تبدیل شد. بر اساس نوشته‌های تاریخدانان، این فعالیت‌ها به خاطر بنیانگذار شهر بوده است.
به خاطر موقعیت جغرافیایی آن، دشمنان اغلب قلعه را هدف قرار می‌دادند و تلاش می‌کردند آن را فتح کنند تا بتوانند بر روی منطقه Shida Kartli تسلط داشته باشند. این قلعه بارها در طول تاریخ مورد تهاجم دشمنان قرار گرفته است و توسط ایرانی‌ها و سایر کشورها کنترل گشته است. این دژ محکم بارها تخریب شده و دوباره از نو ساخته شده است.
ظاهر فعلی این قلعه در سال 1774 ساخته شده است که در دوران پادشاهی Erekle دوم بوده است اما در سال 1920 توسط زلزله آسیب شدیدی دید.
موزه استالین در برگیرنده خانه یادبودی است که در آن جوزف استالین متولد شده است. بنای این موزه به همراه برجی است که در آن قرار دارد. موارد منحصر به فرد زیادی در این موزه به نمایش گذاشته می‌شود که در این میان می توان به مجموعه‌های شخصی از نقاشی‌ها، تصاویر، عکس‌ها، فیلم‌ها و سایر آثار تاریخی منحصر به فرد اشاره کرد.