개인정보 보호위원회

캘리포니아: 고용 분야의 자동화된 결정 시스템에 대한 규제 도입

캘리포니아 민권위원회가 인공지능 기반 자동화된 결정 시스템에 대한 고용 규정 최종안을 채택함에 따라, 기업들은 채용 및 인사관리 시 AI 시스템 활용에 대한 법적 책임과 준수 의무가 강화됨

자동화된 결정 시스템 규제 배경 및 목적

-인공지능, 머신러닝 등을 활용한 자동화된 결정 시스템(Automated-Decision Systems)이 채용, 승진, 평가 등 고용 전반에 활용됨에 따라, 알고리즘 편향성으로 인한 차별 위험이 증가하고 있음.

 * 인공지능(AI), 머신러닝, 알고리즘, 통계 분석, 기타 데이터 처리 등을 활용해 고용 혜택(employment benefit) 관련 결정을 자동으로 내리거나 인간의 의사결정을 지원하는 계산 절차(computational process)

-캘리포니아 민권위원회(California Civil Rights Council)는 고용 분야에서 자동화된 결정 시스템 사용으로 인한 불공정한 차별을 방지하고, 고용주의 책임을 명확히 하기 위한 규정을 마련함.

-특히, 고용 결정에서 인종, 성별, 장애, 연령 등 보호대상 특성에 기반한 차별을 방지하는 데 중점을 두고 있음.

-이번 규제는 캘리포니아 공정고용주택법(Fair Employment and Housing Act)의 차별 금지 원칙을 자동화된 결정 시스템 영역으로 확장한 것으로, 디지털 전환 시대에 부합하는 고용의 공정성 확보 조치로 평가됨.

자동화된 결정 시스템 고용 규제 핵심 내용

-적용 범위 및 정의: 규제는 캘리포니아 내 5인 이상 고용 사업장에 적용되며, 자동화된 결정 시스템을 "인적 개입 없이 또는 제한된 개입으로 결정을 내리거나 지원하는 계산 프로세스"로 정의함.

-고용주 책임 및 의무: 고용주는 채용, 평가, 승진, 해고 등에 자동화된 결정 시스템을 사용할 경우, 해당 시스템이 차별을 유발하지 않도록 관리·감독할 책임이 있음.

-알고리즘 영향평가 의무: 일정 규모 이상의 고용주는 자동화된 결정 시스템 도입 전 차별 가능성에 대한 영향평가를 실시하고, 발견된 편향성에 대한 개선 조치를 문서화해야 함.

-투명성 및 고지 의무: 고용주는 구직자와 직원에게 자동화된 결정 시스템 사용 여부, 수집되는 데이터 유형, 의사결정 방식 등을 명확하게 고지해야 함.

-인적 검토 및 이의제기 권리: 자동화된 결정 시스템으로 인해 불이익을 받은 구직자 및 직원은 인적 검토를 요청하고, 결정에 대해 이의를 제기할 수 있는 권리를 보장받아야 함.

자동화된 결정 시스템 관련 주요 법적 쟁점

-기술적 중립성 확보: 자동화된 결정 시스템이 성별이나 인종 같은 민감한 개인정보를 직접 사용하지 않더라도, 이와 밀접하게 연관된 다른 정보(예: 거주 지역, 학력 등)를 통해 간접적으로 차별이 발생할 수 있음. 따라서 이러한 우회적 차별 가능성을 사전에 파악하고 검증하는 절차가 반드시 필요함.

-데이터 품질 관리: 학습 데이터의 대표성, 정확성, 최신성을 확보하고, 과거의 편향이 반영된 데이터로 인한 구조적 차별 가능성을 지속적으로 모니터링해야 함.

-설명 가능성 확보: 블랙박스 방식의 알고리즘이 아닌, 의사결정 과정과 결과를 설명할 수 있는 투명한 시스템을 도입하는 것이 바람직함.

규제 시행 일정 및 기업 대응 방안

-캘리포니아 민권위원회의 고용 분야의 자동화된 결정 시스템에 대한 규제는 2025년 7월 1일부터 본격 시행될 예정이며, 기업 규모에 따라 단계적으로 적용됨.

-기업들은 현재 사용 중인 모든 자동화된 결정 시스템을 식별하고, 규제 준수 여부를 평가하는 내부 점검을 즉시 시작해야 함.

-장기적으로는 공정성과 비차별을 핵심 가치로 하는 "책임 있는 AI" 프레임워크를 수립하여, 지속가능한 자동화된 결정 시스템 활용 체계를 구축해야 함.

출처: California: Civil Rights Council adopts Employment Regulations regarding automated-decision systems (Dataguidance, 2025.03.24.)

       Final Unmodified Text of Proposed Employment Regulations Regarding Automated-Decision Systems (California Civil Rights Counci, 2025.03.17.)