唐津城にほど近いこの一帯は城内と呼ばれ、唐津の歴史的街並みを色濃く残す。
マンション計画が持ち上がったこの敷地を市が買い取り、市民の為になる施設としてこの西ノ門館は計画された。当初、埋蔵文化財の展示や唐津くんちの休憩所として考えられたが、将来的には多様な用途に利用されることを想定して、大スパン1ルーム構成とした。
外観は街並みの景観を考慮し蔵造りの佇まいとした。