Budynki pasywne odznaczają się zwartą bryłą minimalizującą powierzchnie zewnętrznych przegród termicznych oraz współczynnik kształtu budynku. Współczynnik kształtu budynku jest stosunkiem pola powierzchni ścian zewnętrznych do objętości budynku, dla domów pasywnych mieści się w przedziale 0,75-1,25 [m-1]. Ogranicza to możliwości architektoniczne budynku.
W celu optymalnego wykorzystania energii słonecznej od strony południowej stosuję się wielkoformatowe przeszklenia, które z kolei ogranicza się od strony północnej. Efektywne wykorzystywanie słońca narzuca jednak ograniczenia związane z lokalizacją planowanego budynku pasywnego, mianowicie od strony południowej nie może znajdować się nic co by ograniczało bądź blokowało dostęp promieni słonecznych w sezonie zimowym. Odpowiednie gospodarowanie zielenią na działce może zapewnić dodatkowy komfort. Przykładowo zasadzenie drzew liściastych od strony południowej ograniczy nasłonecznienie w sezonie letnim ochraniając budynek przed „przegrzewaniem”, za to w sezonie zimowym po zrzuceniu liści pozwoli na efektywne dogrzewanie przeszklonych pomieszczeń.
Istotą budownictwa pasywnego jest minimalizacja mostków termicznych. Szczególną uwagę należy zwrócić na montaż okien oraz parapetów oraz ciągłość zewnętrznej izolacji termicznej zwłaszcza przy łączeniu ścian z dachem. Przykładowo balkony w budynkach pasywnych powinny stanowić osobną konstrukcję.