奥运会比赛的技术问题一般是由各国际单项体育组织负责的，裁判员也不例外。各单项组织在奥运会前向各国的国际裁判们发出邀请，并组织他们进行所管辖项目比赛的裁判工作。但是那些担任辅助工作的裁判员，如巡边员、司线员、记录员等大都由东道国派出。应邀参加奥运会裁判工作的裁判员所需的费用由奥运会组委会负责。在奥运会期间，他们不住在奥运村，而是根据项目分开居住在旅馆里。他们凭身份卡进入比赛场馆，但不能进入运动员居住的奥运村。
奥运会要求裁判工作公正准确，并接受国际单项体育组织、技术委员会和仲裁委员会的监督。不公正的裁判员将受到控告或被撤换。当然，任何比赛中的错判甚至有意偏向都不可能完全避免，在历届奥运会上几乎都有因裁判问题而引起的争议。例如在汉城奥运会上，韩国拳击运动员道丁一的教练甚至因对裁决不满，而对当值裁判瓦尔克大打出手，成为该届奥运会的一大丑闻。
