电梯在一座12层的楼房内上下运行，到2楼时，如果有人上或下，管理员就在盒内放入一个小球，到3楼时，如果有人上或下就放两个小球，到4楼时，如果有人上或下就放三个小球，以此类推，并且这个规律不变，如果无人上或下则不放小球，一次，电梯从1楼开始上行，到达顶层时共有4层楼无人上或下，管理员共放了32个小球，请问有哪几层楼无人上或下？简要说明你的理由。