Дія «Літніх кишеньок» відбувається на ізольованому, сільському та мирному острові Торішіроджіма у Внутрішньому Японському морі. Головний герой, Хайрі Такахара, прибуває сюди, щоб зайнятися розпродажем маєтку своєї нещодавно померлої бабусі, використовуючи це як привід, щоб відволіктися від неприємного інциденту, що стався з ним у місті.
Опинившись на острові, Хайрі знайомиться з кількома місцевими дівчатами, кожна з яких має свою унікальну історію та таємниці: Шіроха Нарусе, яка, здається, забула свої літні канікули; Ао Соракадо, яка шукає острівні легенди; Камоме Кушіма, дівчина з вищого світу, що шукає піратський корабель; та Цумугі Вендерс, яка намагається знайти себе.
Проводячи літо на Торішіроджімі та взаємодіючи з новими друзями, Хайрі поступово занурюється в атмосферу острова, сповнену ностальгії, дивних явищ та глибоких емоцій, що змушує його переосмислити своє минуле та знайти щось важливе у цьому літньому часі.