1937년 경북 김천에서 태어났으며, 1957년 경남고등학교를 졸업했다. 1961년 서울대학교 문리과대학 국어국문학과를 졸업한 뒤 1963년에는 [사상계] 편집원을 지냈다. 1975년 ＜현대시와 영원의 재발견]([심상])을 발표하며 비평 활동을 시작했다. 1976년 [현대시의 현상학적 고찰]로 동아대학교 대학원에서 문학 석사 학위를 받았다. 1977년 부산대학교 문리과대학(현 인문대학) 국어국문학과 전임강사로 부임하여, 이후 조교수, 부교수, 교수를 지냈다. 1987년 [한국 근대문학의 장르론에 대한 연구]로 계명대학교 대학원에서 문학박사 학위를 받았다. 1993∼1994년 부산대학교 교무처장과 대학원장을 지냈다. 1999년 부산대학교 인문대학 국어국문학과에 재직 중 지병으로 작고했다.
대표 저서로는 [시론]을 들 수 있다. 이 저서는 1982년 문장사에서 제1판이 나온 이래, 1988년 이우출판사에서 제2판, 1991년 삼지원에서 제3판이 나왔다. 1997년 삼지원에서 나온 제4판은 2014년 8월 30일 현재 32쇄를 발행했다. 이외에 저서(비평집)로 [가면의 해석학](이우출판사, 1985), [한국 현대 장르 비평론](문학과지성사, 1990), [도시시와 해체시](1992년, 문학과비평사), [현대시의 환유성과 메타성](살림, 1997), [신동엽](건국대학교출판부, 1997)이 있으며, 작고한 뒤 유고집(저서)으로 [문학사와 장르](문학과지성사, 2000), [현대시와 장르 비평](문학과지성사, 2009), [현대시의 방법론과 모더니티](새미, 2009), [현대시의 해부](새미, 2009)가 있다.
역서로 [문학과 시간 형상학](심상사, 1979), [장르론](문장사, 1983)이 있으며, 편저로 [김영랑](서강대학교출판부, 1997)이 있다. 공저로 [한국 문학 연구 입문](지식산업사, 1982), [한국 현대시사 연구](일지사, 1983), [한국 현대시 연구](민음사, 1989), [한국 현대시와 패러디](현대미학사, 1996), [중국 조선족 문학의 전통과 변혁](부산대학교출판부, 1997), [한국 서술시의 시학](태학사, 1998)이 있으며, 유고 공저로 [동서시학의 만남과 고전 시론의 현대적 이해](새미, 2001)가 있다. 대표 평론으로 이 책에 실린 작품 외에 [탈의 시론 서설], [시의 형식과 이데올로기], [시와 서정성, 그리고 신서정] 등이 있다.
1985년 부산시문화상, 1992년 대학민국문학상 평론 부문 우수상, 1997년 제2회 시와시학상 평론상을 수상했다. 2011년 현대시학의 최고 권위자 중 한 사람인 김준오 평론가가 끼친 시학의 깊이와 그 정신을 기리고 현대시학의 발전을 목적으로 ‘김준오시학상’이 제정되어 2013년 현재 제3회까지 시행되었다.