奥武蔵の急峻な山岳地帯を流れてきた「名栗川」は、ここ飯能から「入間川」と名前を変えて広々とした武蔵野台地に注ぐ。そんな地理条件が林業や養蚕で町を栄えさせてきた。
江戸時代の江戸は人口急増と度重なる大火で木材の需要が高まった。ここ飯能からは名栗山地の木材を切り出し、筏を組んで川を下り、川越経由で材木問屋のある千住まで行き来したという。江戸では「江戸の西から来る材」ということから「西川材」と呼ばれ、当時の一大ブランド商品であった。
また奈良時代には高句麗系渡来人が飯能周辺に集められ、高麗郡が置かれている。その時には多分絹織物も伝えられたかと思われるのだが、江戸時代末期には武州平絹として全国に知られる絹織物の産地となっていて、特に密着性の良い「飯能の裏絹」として、高く評価されていた。さらに明治になると銘仙の製造に更なる改良が加えられ「飯能大島紬」として県の伝統的手工芸品にも指定されている。