일단 판서이니 고위급이기는 하지만 사농공상을 표방하던 조선시대 특성상 공조 역시 당대에 상업 다음으로 경시된 공업(건축/토목 및 도기/금속기구 제조 등)을 담당하는 부서였던만큼 육조판서 중에서는 가장 박한 대우를 받았다. 의전서열로도 6조 중 최하위이고, 조선 중기 이후의 권력기관이였던 비변사에도 참여 할 수 없었다. 실권이 가장 낮은 직책이니만큼 다른 판서직에 비하면 무관, 음서 출신도 자주 임용된 편이다.
공조판서 중 매우 황당하게 죽은 사례가 있는데 바로 태종 시기 공조판서(당시 직제로는 공조 전서)를 지냈던 이우(李玗)이다. 일본 무로마치 막부의 쇼군 아시카가 요시모치가 조선에 코끼리를 진상했는데, 이우는 코끼리를 보고는 침을 뱉으면서 뭐 저런 못생긴 짐승이 있냐며 비웃었고 이에 화가 난 코끼리에 의해 밟혀죽었다.