成语“青红皂白”里的“皂”是什么颜色？

我们经常用“不分青红皂白”来表示不分是非。按照这个用法，我们很容易理解：这几个应该都是颜色的词汇。但为何不是“青红黑白”什么的，而是“皂白”呢？

肥皂和白色并不是对等的东西呀？其实“皂”在这里确实指的就是黑色，因为旧时所用的肥皂就是皂荚树的黑色的树荚。