假山組合單元中，主要有絕壁及峰、巒、谷、澗、洞、路（蹬道）、橋、平臺、瀑布等，其組合方法大抵是臨池一面建有絕壁，絕壁下設路（有的則以位置較低的石橋或石磯作陪襯），再轉入谷中，由蹬道盤旋而上，經谷上架空的橋（石梁）至山頂。山頂上或設平臺，或建小亭，以便休憩、遠望。一般峰、巒的數量和位置，都是根據假山的形體、大小來決定的；而石洞只不過一二，常隱藏于山腳或山谷之中；少數在山上再設瀑布，經小澗而流至山下。

但園中假山并不一定都具備這些單元，有的只是部分，如明代假山的主體，多半用土堆成，只是假山臨水處建一小石洞。如蘇州藝圃在山的西麓，南京瞻園在山的東麓。這種辦法既可節省石料、人工，又可在山上栽植樹木，以形成蔥郁蒼翠的山林之氣，其景與真山無異。至于清末的假山，則形體多半低而平，在橫的方向上，很少有高深的谷、澗以及較大的峰巒組合，僅在縱的方面，以若干蹬道構成大體近于水平狀的層次。
 
現代房地產的假山因受地力與面積的影響，一般較小，往往和水池、亭臺、花草相結合，故要求小而全而精。