原意指教士栖身或研究的地方，用引申意义来说明那些生活在象牙塔里，远离寻常世界的一些人，他们往往根据自己的兴趣爱好、个人认知以及所处领域的特殊性质限制，最终形成一种自然而然的凝聚，建起一座特殊文化体系和性质的象牙之塔，世俗的外部世界很难进入，而塔内的人们又很难融入到社会生活中。
现代语境下，真正的象牙塔里的知识分子已经很少，景象也有所变化。如今，古代名词“象牙塔”被新的涵义覆盖，形容对某一领域的专业人士进行的贬低，尤其是在某些公共舆论场合。
一些被批评者在提出一些问题、某种思想或理论时，往往会被一些人以何以没有与群众打成一片、脱离群众批评，形成社会舆论的鄙视力量，嘲讽其“从象牙塔里跑出来了”，其中说法较为流行的还有“走向群众的‘语出惊人’”、“从大学里出来，又往回钻了回去”、“像孔子那样腻歪着，衣被脸不改色的讲学”，等等。
虽然本意强调专业性和独立性，但象牙塔的消极形象逐渐深入人心，给人一种高傲、鄙视的感觉。因此，更准确地说，我们要适当纠错，舆论不要成为挑战专业性和学术品质的恶渊，而是保持以理性为代价、以公义为准绳、以提高自己为目的来讨论专业问题。
