『Ironies of Automation』
Lisanne Bainbridge, 『Ironies of Automation』, Automatica 19 (6), 1983.
산업 공정의 자동화가 인간과 관련된 문제를 없애기는커녕 오히려 악화시키는 현상에 관한 연구. 자동화에 대한 고전적인 목표는 인간의 수동 제어, 계획 수립, 문제 해결을 자동화된 장치와 컴퓨터로 대체하는 것이다. 고전적인 접근의 아이러니는 시스템 설계자의 기대와 인간 작업자에게 주어진 작업의 성격에 있다. 시스템 설계자는 인간 작업자를 신뢰할 수 없고 비효율적인 존재로 본다. 이러한 태도에는 두 가지 아이러니가 있다. 첫째, 설계자의 오류가 문제의 주요한 원인이 될 수 있다는 점이다. 둘째, 설계자가 자동화 방법을 생각해 내지 못한 작업을 여전히 인간 작업자에게 맡긴다는 점이다.
자동화된 시스템에서 인간 작업자에게 남는 작업은 크게 두 가지다. 시스템이 올바르게 작동하는지 감독하고, 올바르게 작동하지 않는다면 수동 제어를 인계받는 것이다. 공정에 급격한 변화를 주면 경험이 부족한 작업자와 숙련된 작업자 사이에 차이가 있다. 숙련된 작업자는 최소한의 조작을 수행해 공정의 출력이 새로운 목표에 맞게 빠르게 달성된다. 반면, 경험이 부족한 미숙련 작업자는 출력이 목표값 주위에서 진동한다. 문제는 신체적 숙련은 사용하지 않으면 퇴화한다는 것이다. 즉, 과거에 숙련되었더라도 자동화된 공정을 감독만 하게 된 작업자는 시간이 지나며 미숙련 작업자가 될 수 있다는 의미이다. 수동 제어를 인계해야 하는 상황은 공정에 흔치 않은 문제가 생겼을 가능성이 크다. 따라서 이를 제어하는데 평소와는 다른 조작이 필요하다. 이때 작업자는 흔치 않은 상황에 더 높은 숙련도를 요구받는다.
자동화된 시스템이 올바르게 작동하는지 감독하고, 문제가 생겼을 때 숙련된 작업자를 호출하기만 하는 작업자는 비교적 단순한 작업을 하는 것처럼 보일 수 있다. 그런데 자동화된 시스템이 인간 작업자보다 일을 더 잘할 수 있어서 도입했는데, 작업자에게 그 시스템이 효과적으로 동작하는지 감독하라고 요구하는 상황 자체가 아이러니다. 작업자는 올바른 공정을 이해해야 자동화된 시스템이 올바르게 동작하고 있는지 알 수 있다. 컴퓨터는 인간보다 훨씬 빠르게 결정을 내리기 때문에 인간 작업자는 컴퓨터가 규칙을 올바르게 따르고 있는지 실시간으로 확인할 방법이 없다. 결국 인간 작업자에게 기대할 수 있는 것은 어느 정도 메타 수준에서 컴퓨터의 결정을 감시하며 그 결정이 용인할 수 있는 정도인지 판단하는 정도일 뿐이다. 그런데 이 상황에서 인간의 판단과 직관적 추론이 충분하지 않기 때문에 컴퓨터에게 의사결정을 맡긴 것이라면, 어느 쪽의 결정을 받아들여야 하는가? 인간 작업자에게 불가능한 작업이 주어진 셈이다.
일반적으로 숙련된 작업자는 필요할 때 자신이 자동화된 시스템으로부터 제어를 인계받을 수 있다는 확신을 갖는다. 그렇지 않다면 그 일은 최악의 직무가 된다. 매우 지루하면서도 책임은 막중한데, 정작 그 책임을 감당하는데 필요한 능력을 습득하거나 유지할 기회는 없기 때문이다. 작업자의 업무가 감독만으로 축소되어 탈숙련화되면 직장 안팎에서 사회적 지위가 위협받기도 한다.
Approaches to solutions
이 문제를 해결하려면 매우 다차원적인 의사결정이 필요하다. 발생 가능성이 낮은 사건을 신속히 인식해야 하는 모든 상황에서는 작업자에게 인공적인 보조 수단을 제공해야 한다. 필요하다면 경보 장치를 감시하는 경보까지 필요하다. 제어 루프가 많은 공정에서는 경보 없이 인간 작업자가 신속하게 설비에서 발생한 문제의 원인을 파악할 방법이 없다. 또한 어떤 형태로든 경보 분석을 제공하는 편이 좋다. 안타깝게도 깜박이는 빨간 불빛이 쏟아지면 도움이 되기보다는 혼란을 일으킨다. 컴퓨터 소프트웨어로 출력하는 영상 표시 장치는 목표값을 보여줌으로써 작업자가 시스템의 성능을 감시하도록 도울 수 있다. 그러나 시스템의 실패율이 매우 낮다면 작업자는 표시 장치를 지켜보지 않을 것이다. 컴퓨터가 값을 표시할 수 있다면 감시와 경보도 수행할 수 있어야 한다. 그런데 컴퓨터가 올바르게 작동하는지는 어떻게 감시할 수 있을까? 합리적인 제안 중 하나는, 주요 공정 정보에는 직접 배선된 표시 장치를 사용하고, 정량적 세부 정보에는 소프트웨어 화면을 사용하는 것이다.
인간 작업자가 실시간 제어에 참여하지 않으면 시스템의 상태에 대한 상세한 지식을 얻을 수 없다. 한 가지 방법은 작업자가 매 근무 조마다 짧은 시간 동안 시스템을 수동 제어하도록 하는 것이다. 이것이 불가능한 공정이라면 시뮬레이터 연습을 제공해야 한다. 하지만 알려지지 않은 결함은 시뮬레이션할 수 없고, 예측 가능하지만 경험하지 못한 결함에 대해서는 시스템의 동작을 알 수 없다. 이는 시뮬레이션이 특정 행동보다는 일반적인 전략에 초점을 맞춰야 한다. 물론 하루 종일 경보가 자주 울린다면 작업자는 일상 업무의 일부로 공정을 직접 제어하고, 공정에 관해 생각하는 경험을 충분히 쌓을 것이다. 어쩌면 마지막 아이러니는 수동 개입이 거의 없는 가장 성공적인 자동화 시스템일수록 인간 작업자 훈련에 가장 많은 투자를 필요로 한다는 점일 것이다.
Human-computer collaboration
자동화는 인간 작업자의 작업 중 쉬운 부분을 가져감으로써 어려운 부분을 더욱 어렵게 만들 수 있다. 인간과 기계가 각자 가장 잘하는 작업을 배분하는 피츠 목록(Fitts’ list)식 자동화만으로는 이제 충분치 않다. 이 접근은 인간과 컴퓨터의 통합도, 숙련과 동기를 지원해 인간 작업자의 효율을 높이는 방법도 고려하지 않는다. 자동화된 시스템에는 언제나 인간이 상당한 정도로 관여할 것이다. 효율성 이외의 기준도 충족해야 하기 때문이다. 예를 들어 특정 작동 모드의 자동화 비용이 제품의 가치에 비해 정당하지 않을 수도 있고, 대중이 인간의 관여가 전혀 없는 고위험 시스템을 받아들이지 않을 수도 있다.
작업자가 단순히 신호를 받아 행동으로 바꾸는 변환기 역할만 한다면, 컴퓨터로 지시를 내리는 것은 적절하지 않다. 컴퓨터가 더 신뢰성 있는 변환기를 직접 작동시킬 수도 있기 때문이다. 인간이 컴퓨터의 지시를 따를 때 작업자의 반응은 스스로 일련의 행동을 수행할 때보다 느리고 덜 통합적이며, 지적으로 판단하는 연습도 하지 못한다. 반드시 정해진 조작 순서를 따라야 하는 경우를 제외하면, 인간 작업자의 오류를 완화하기 위한 점검은 행동의 결과에 적용하는 편이 더 적절하다. 그 결과에 이르는 데 어떤 전략을 사용할지 가정할 수 없기 때문이다. 수동 제어에서 인간 작업자는 수 초 내에 자신의 행동 결과에 관한 충분한 피드백을 얻어 스스로 오류를 수정한다. 그러나 자동화된 장비를 사용할 때는 충분한 피드백을 받지 못해 인간 작업자가 같은 유형의 우류를 범하는 사례들이 많다.
관련문서
- 인간-컴퓨터 상호작용
- 안전공학
- 『Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy』
- 『Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity』