Это место являлось одним из важнейших пунктов защиты границ великого княжества Тверского - город расположен на восточной окраине Валдайской возвышенности, в 75 км к юго-западу от Твери. Крепость же была построена на высоком холме на мысу и представляла собой надежное укрепление с земляными валами, со всех сторон окруженное водой - узкий мыс, возвышающийся над окружающей местностью на месте впадения речки Старицы в Волгу, как нельзя лучше подходил для основания крепости. Ров же был утыкан острыми кольями, выложенные камнем крутые откосы холма находились под прицелом защитников.

В центре крепости в XIV-XVI веках стоял кремль, окруженный земляными валами и стеной из толстых бревен с 13 башнями, две из них были с воротами, на некоторых башнях возвышались «сторожни» для дозорных. На территории кремля размещались церкви, княжеский дворец, житницы, дома бояр, стрельцов и прочих горожан. Была здесь и большая площадь, где велась оживленная торговля. А еще был выкопан «тайнишний» ход длиной 54 метра, который уходил в землю у подножия одной из башен и вел к речке Старице. Стены подземного хода были укреплены дубовыми бревнами, а свод выложен белым камнем и кирпичом.