まあ、結論をずばっと言えば恥ずかしい話、情けない話ですが「想像力がないから」です。
１）漫画、アニメや映画やテレビドラマと違い小説には想像力が必要
たとえば「砂の器」を読んで「犯人・和賀英良の人間性やその作る音楽」に思いをいたすにはそれなりの想像力がいります。当たり前ですけど、本を読んでも和賀の顔が目の前に浮かんでくるわけではないし、和賀の作曲した音楽が耳に聞こえてくるわけでもない。
これが映画「砂の器」なら「和賀の顔（和賀を演じる加藤剛の顔）が目の前にでてくるし」、和賀の作曲した音楽「宿命」が実際に演奏されるわけです。
これは漫画やアニメも同じで「ある程度視覚的な物、あるいは聴覚的なもの」がある。一方小説てのは文字しかないので非常に想像力が必要になる。小生みたいな「想像力のない」人間には漫画やアニメ、映画やテレビドラマはともかく小説はちょっとつらいわけです。
２）ハウツー本やノンフィクションと違い小説には想像力が必要
まあ、小生、そんなに本を読んでるわけではありませんが、思うに「小説よりはハウツー本やノンフィクションの方が読んでる量は多い」ように思います。
何でかというと「ハウツー本やノンフィクション」はたいていの場合、作者の問題意識、目的意識が読み手によく分かるからです。
「デジタルカメラの綺麗な撮影法」「糖尿病の方のための低カロリー料理の作り方」「ホロコースト否定論はどこが間違っているのか」「アベノミクスをどう考えるべきか」などなど。
一方小説というのは必ずしもそうではない。作者の問題意識というのは必ずしも明快じゃないわけです。まあ、「アンクルトムの小屋（黒人奴隷制廃止）」とかプロレタリア小説（労働問題の社会的アピール）とかは目的意識は明快でしょうが、全ての小説がそうではないですから。
作者の目的意識、問題意識を知るにはある種の想像力が必要になる。下手すると「小説を読んだけど作者が何を言いたいのか、さっぱり分からなかった」てことになりかねない。当然そうなると何ら楽しくない。そのあたりも「想像力のない」俺が小説を敬遠する理由があるかなとは思います。
小生、井上ひさしのエッセイはいくつか読んだことがありますが彼の小説は『野球盲導犬チビの告白』*1（文春文庫）など一部を除いてほとんど読んでないのもそういうことでしょう。
まあ、想像力がないことは情けないことですが、別に「小説を読むことが偉いこと」だと思ってないのは勿論「小説を読むことが楽しいことだとも必ずしも思ってない」のでこの状況は死ぬまで変わらないでしょう。
まあ、それでも「松本清張の短編*2」とか面白いと思う小説がないわけではないですし、そういうのは読みますが。
