이야기는 해리 포터가 더즐리 가족의 집에서 방학을 보내는 것으로 시작된다. 이 시기, 집요정 도비가 나타나 해리에게 호그와트로 돌아가지 말 것을 경고한다. 도비는 호그와트에 위험이 도사리고 있음을 암시하지만, 구체적인 내용은 밝히지 않는다. 해리는 도비의 경고에도 불구하고 론 위즐리, 프레드 위즐리, 조지 위즐리의 도움으로 더즐리 가족의 집을 탈출하여 위즐리 가족의 집인 버로우로 향한다.

호그와트 마법학교에 복귀한 후, 학교는 이상한 사건들로 혼란에 빠진다. 머글 태생 학생들이 차례로 습격당하여 몸이 굳어버리는 사건이 발생하며, 벽에는 "비밀의 방이 열렸다. 후계자의 적들은 조심하라."는 문구가 피로 쓰여진다. 이 사건들은 호그와트 설립자 중 한 명인 살라자르 슬리데린이 비밀의 방을 만들어 놓았다는 전설과 연결된다. 전설에 따르면, 슬리데린의 후계자만이 비밀의 방을 열어 그 안에 갇힌 괴물을 풀어 학교에서 머글 태생 학생들을 제거할 수 있다.

사건의 용의자로 지목되는 인물들은 다양하게 나타난다. 처음에는 해리 포터 자신이 뱀과 대화할 수 있는 파셀통그 능력을 보여 비밀의 방 후계자로 오해받는다. 이후 해그리드가 과거 비밀의 방 사건의 범인으로 지목되어 아즈카반에 수감되기도 한다. 그러나 해리와 론, 헤르미온느는 진정한 범인을 밝히기 위한 조사를 계속한다.

결정적으로 헤르미온느가 괴물에 의해 습격당하여 몸이 굳은 상태에서 남긴 쪽지에서 괴물의 정체가 바실리스크임을 밝혀낸다. 바실리스크는 눈을 마주치는 모든 것을 죽음에 이르게 하는 능력을 지닌 거대한 뱀이다. 또한, 헤르미온느는 바실리스크가 학교의 파이프를 통해 이동한다는 사실을 추론한다.
해리는 도비의 자유를 위해 그에게 루시우스 말포이의 양말을 건네주며 도비가 자유를 얻는 것으로 이야기는 마무리된다.

본 작품은 추리 소설의 요소를 강하게 포함하고 있다. 일련의 단서들을 수집하고 분석하여 미스터리를 해결하는 과정이 서사의 주를 이룬다. 또한, 선과 악의 대립, 편견과 차별에 대한 문제의식 등 다양한 주제를 다루고 있다. 특히, 머글 태생 마법사에 대한 차별과 그로 인한 갈등은 작품의 중요한 메시지 중 하나로 해석된다. 해리 포터의 영웅적인 행동과 친구들의 협력은 이러한 문제들을 극복하는 과정을 보여준다.