這個問題十分繁雜，我暫時只能提供簡略的回答，若有時間會再寫文章詳細說明。
一、法官
1.行政監督：
各法院的院長在法官廢弛職務、行為不檢時，可對其警告，若情節嚴重或警告後仍不聽勸者，則依法官法處理，例如最高法院的法官就是由最高法院的院長監督（參見法院組織法第110、112、113條）
2.監察院彈劾或糾舉：
法官有應迴避未迴避、裁判書書寫錯誤、關說等違法失職的情形時 ，監察院可以對其提起彈劾或是糾舉（參見憲法第97條第2項 、法官法51條第1項）
3.法官評鑑：
法官有違反法官法第30條所規範的行為不檢、影響審判獨立等情事時，可以交付法官評鑑委員會作個案評鑑。
4.職務法庭：
法官有法官法第47條之情事時，交由公務員懲戒委員會所設立的職務法庭審理。5
5.法官自律委員會：
各級法院法官依各級法院法官自律實施辦法組成自律委員會，法官有違法失職的情況時則交由自律委員會做進一步處理。（參見各級法院法官自律實施辦法第6條、第12條）
二、大法官
1.大法官自律委員會：
現行法規下由於大法官在憲法上的特殊地位，僅能要求大法官自律，若大法官行為不檢、違法失職 ，則自律委員會可移送監察院審理，或給予遣責、要求道歉等處置。（參見司法院大法官自律實施辦法第10條）
令外，無論是法官還是大法官，只要行為涉及刑法，仍是由各級法院刑事庭審理。
這個問題十分複雜，若有錯誤或需要補充的部分還請不吝指出！
2019／12／13更新：
前面部分內容有誤，第一段行政監督部分＂若情節嚴重或警告後仍不聽勸者，則依公務員懲戒法處理＂應為＂依法官法處理＂，現已更正
更詳細部分可參考本人最近整理之文章：