Козельский крест является древнейшим в Калужской области каменным изваянием. Его происхождение восходит к дохристианской эпохе вятичей, пришедших в козельские земли в V веке н.э.
Как предполагают специалисты, каменный крест в то время выполнял роль бога-идола, скорее всего – языческой богини, покровительницы женщин. Об этом свидетельствуют антропоморфные формы камня, напоминающие женскую фигуру, поднявшую вверх в молитвенном или благословляющем жесте руки. Подобные каменные изваяния были распространены у народов балто-славянской культуры и найдены в степной части России, южной Сибири, на востоке Украины, на территории европейских государств, в Средней Азии и Монголии.
С принятием христианства идол превратился в Крест. Лицо бабы было стесано, камень приобрел обобщенные формы. Позднее в этом виде камень был установлен на братской могиле погибших во время осады Козельска Батыем. Такое размещение главной козельской святыни говорит о многом. Оставшиеся в живых жители «злого города» увековечили память воинов символом веры и отречения от язычества. Кроме того, разрушенный и сожжённый дотла город вряд ли сохранил какие-либо церковные святыни (ведь храмы Козельска тогда были деревянными). Таким образом неповреждённый огнями пожарищ Каменный крест в глазах козельчан символизировал несгибаемый дух Козельска.
В советский период христианская святыня, как и многие другие, несколько раз подверглась гонениям. До 50-х годов о судьбе Козельского креста ничего не было известно. Он был заново обретён благодаря авторитетному краеведу и основателю Козельского краеведческого музея Василию Николаевичу Сорокину, который установил его на мемориальной площади Козельска. После смерти Сорокина Крест был демонтирован и отправлен в музей, где он и хранится в настоящее время. На Площади Героев Козельска в 2007 году установлена копия креста.