Câu chuyện của Idol Memories lấy bối cảnh trong tương lai gần, nơi các buổi biểu diễn âm nhạc trực tiếp của thần tượng trong thực tế ảo đã trở nên phổ biến. Trong bối cảnh đó, một cặp nhóm nhạc thần tượng đối thủ cạnh tranh để giành được "vương miện" đáng thèm muốn, tượng trưng cho vị trí số một trong "Idol League".