Киммериец Конан работал кузнецом и счастливо жил со своей женой в деревне Ирскулд... до одного рокового дня. Группа всадников совершила набег на его деревню. Конан потерял сознание, очнувшись только для того, чтобы обнаружить, что его жена и друзья были убиты. Конан обнаруживает, что виновником резни был волшебник по имени Тот Амон, верховный жрец культа Сета. С мечом в руке, пылая местью, Конан теперь путешествует на юг по земле Хайборея в город Шадизар. Здесь начинается его путешествие мести.
В Conan: The Cimmerian игровой процесс разделен между тремя различными экранами: карта мира, которую игрок может использовать для путешествий с места на место, вид сверху вниз, который игрок использует для изучения игрового мира, и вид сбоку, который используется во время изложения истории, боя и внутри зданий. На двух последних экранах игрок должен с помощью мыши щелкнуть туда, куда он хочет отправить Конана, заставив его дойти до этого места. Игрок также может получить доступ к экрану своей статистики или инвентарю в любой момент.
Большая часть игры проходит в центральном городе Шадизар, и по мере того, как игрок путешествует по миру, он может взаимодействовать с NPC, сражаясь, беседуя, а в случае с торговцами покупая и продавая предметы или торгуясь с ними для получения оптимальных сделок. Квесты также можно получить у различных NPC, гостиницы и священников можно использовать для лечения, а храмы можно задействовать как средство хранения предметов и денег. Игрок может войти в любое пустое здание в игре, чтобы исследовать объекты в надежде разграбить их за предметы или деньги, однако в этих случаях учитывается скрытность игрока, и если он будет пойман, то будет арестован и потеряет все предметы и деньги. Для исследования некоторых областей мира игрокам также могут понадобиться факелы, веревка или подобные предметы.