[시스템 엔지니어링] 트레이드 스터디(Trade Studies)

 

System engineering toolbox for design-oriented engineers - NASA Technical Reports Server (NTRS)

 

트레이드 스터디

공학자가 공학을 수행할 때에는  여러 선택 중 하나를 해야하는 문제에 자주 봉착합니다. 

 

"

가격이 저렴하지만 성능이 낮은 A가 좋을까? 아니면 비록 가격은 높지만 성능이 높은 B가 좋을까? 

만들기 쉽지만 제조 기간이 긴 C가 좋을까? 혹은 만들기 복잡하지만 제조 기간이 짧은 D를 해야할까?

"

 

이런 트레이드 오프의 성질을 가진 여러 대안들의 속성들을 비교, 분석하며 의사결정을 하는 것은 쉬운 것이 아닙니다.

때문에 시스템 엔지니어링에서는 이를 도와주는 도구로서 트레이드 스터디(Trade studies) 혹은 트레이드 오프 스터디(Trade-off studies)라는 것이 있습니다.

 

트레이드스터디는 비용, 복잡성, 제조 가능성, 안전성과 같은 추상성은 물론, 무게, 속도, 가격 등 수치 값들을 비교할 수 있는 방법론으로, 정성적, 정량적 분석을 도와주는 도구입니다.

 

트레이드 스터디의 과정은 대략적으로 요구사항에 따라 일정한 기준들을 만들어내고, 각 기준에 대한 가중치를 부여합니다.
그리고 여러 대안들을 기준에 따라 평가하고 점수를 매긴 후, 최종적으로 평가치에 가중치를 곱하여 합산 후 대안에 순위를 매깁니다. 

 

일반적으로 프로덕트 혹은 시스템의 컨셉을 잡을 때 사용하지만, 개발 단계에서는 물론, 테스트방법을 정할 때나 물품을 구매할 때 등 여러 선택이 필요한 순간에서 사용될 수 있습니다.

 

다음은 자세히 어떤 절차를 통해 수행이 되는지 알아봅시다.

트레이드 스터디 절차

트레이드 스터디를 진행할 때 가장 중요한 것은 어떠한 기준을 만들지, 그리고 그 가중치를 얼마를 할지입니다.

잘못 설계하다가는 누군가의 주관성이 들어가게 되고, 그렇게되면 결정에 여러 오염이 발생하기 때문입니다.

 

이를 위해 NASA에서 발행한 <System Engineering Toolbox for Design-Oriented Engineers>에서는 다음 11단계의 트레이드 스터디 과정을 통해 진행하는 방법을 안내합니다.

 

1. 시스템의 목표와 고려하고 있는 요구사항들을 정의하고 우선 순위를 정합니다.
목표와 요구사항은 평가하게 될 기준이 되기 때문에 매우 중요합니다. 
그 후 목표와 요구사항의 우선순위를 매기는 행위는 가중치 팩터를 산정하는 데에 도움이 되기 때문에 미리 수행하는 것을 권장합니다.

 

2. 시스템을 위한 적절한 대안 후보군들을 수집합니다.

대안들은 브레인스토밍 등의 과정을 통해 얻을 수 있습니다.
이때 생성된 모든 대안들을 수용하는 것은 아닙니다. 요구사항에 충족하지 않는 대안들 , 지나치게 비싼 코스트가 기대되는 것들, 제작하기 낮은 가능성들은 지우도록 합니다.

그렇게 해서 남은 적절한 대안 후보군들에 대해서는 특징을 기술할 수 있도록 합니다.

 

3. [옵션] 트레이드 트리(Trade Tree) 생성합니다.

트레이트 트리는 대안들을 그래픽적으로 묘사하는 방법입니다. 

대규모의 트레이드 스터디들을 수행할 때에는 많은 기준들과 대안들이 나타나게 되는데,
이때 트레이드 트리는 대안들을 어떤 하나의 기준을 통해 그룹화하여 보기 쉽게 만듭니다.

이런 과정은 미리 한단계의 계층화를 수행했기 때문에, 앞으로 평가하는 데에 쓰이는 리소스를 줄일 수 있습니다.

하나의 계층으로 묶인 대안들은 같은 속성을 가지기 때문에, 좀 더 쉬운 비교분석을 수행할 수 있습니다.

트레이드 트리 예시 @https://www.youtube.com/watch?v=bckHxdGjtQc 발췌

 

4. 선택 기준들을 생성하고, 적합한 것들을 택합니다. 

선택 기준들은 해당 기준을 토대로 대안들에게 점수를 매기게 됩니다.

따라서 고려 중인 대안들의 특징과 영향을 평가하는 데에 가장 중요한 것입니다.

 

이상적으로 선택 기준들은 아래의 특징들을 가져야합니다.

 

a. 모든 평가자들에게 같은 의미를 가질 수 있도록 보편적인 표현으로 나타내야합니다.

b. 측정과 비용에 대한 예측이 가능해야합니다.

c. 대안들 간에 편견없는 차별점을 제공해야합니다.

d. 우선순위와 만들어진 요구사항들에 대한 상관성이 직접적으로 있어야합니다.
(즉, 순위가 높으면 해당 요구사항을 만족에 가깝게 되어야한다라는 의미입니다.)

e. 모든 평가에 대해, 각 기준들은 서로 독립적이고 분리되어야합니다. 

 

5. 선택 기준안에 대한 가중치를 생성합니다.

가중치는 각각의 기준에 대해 선택에서 얼마나 중요한 요소인지를 나타냅니다.

또한 가중치는 수치 정보로 나타나는데, 이는 전혀 연관성 없는 기준들에 대한 객관적 비교를 할 수 있도록 돕습니다.

가중치들의 합은 100이 되어야합니다.

가중치는 어느 주요 결정권을 가진 사람 혹은 집단이 선택할 수 있지만, 

가중치들에 대한 정보는 객관성을 위해  분석하는 사람들(엔지니어 등)에게 숨겨질 수도 있습니다.

 

추가로 기준과 가중치가 충분한지에 대해 이해관계자(내부자 혹은 고객)를 통해 시험해봄으로 확인받을 수 있습니다.

 

 

6. [옵션] 계층화 분석법(Analytical Hierarchy Process)을 수행하여 선택 기준에 대한 가중치를 수행합니다. 
이는 운영 데이터를 획득하기 어렵거나, 추상 분석이 필요할 때 선택될 수 있습니다.

 

7. [옵션] 유틸리티 함수(utility functions)를 생성합니다. 
이 방식은 서로 크기가 다른 기준들에 대해서 점수들을 정규화하여 0부터 10사이의 숫자로 만들어주는 함수입니다.

비용, 일정, 위험도 혹은 높음, 중간, 낮음 등의 주관적 용어 척도를 수치로 바꾸는 용도로 사용됩니다.

이러한 주관적 용어 척도는 다음과 같이 연속이 아닌 비연속 함수로 나타낼 수 있습니다.

주관적 용어 척도에 대한 유틸리티 함수 예시

 

8. 선택 기준들을 통해 대안들을 평가합니다. 

하나의 선택 기준에 대해 모든 기준안에 대해 성능을 평가합니다. 

이상적인 평가는 테스트 데이터, 혹은 제품 공급자가 제공하는 데이터(데이터 시트), 유사도 분석, 모델링, 해당 기준에 대한 엔지니어링 경험이 사용됩니다.

하지만 이렇게 객관적으로 하는 것은 다소 어렵기 때문에, 엔지니어링 경험에 의존하여 책정하는 것도 좋습니다.

 

만약 순위에 따른 수치화가 사용되었다면, 결론을 이끌어 낼때 주의하는 것이 좋습니다.
수치화한 뒤, 그것이 그 이전 단계와 1/2 정도 차이나는 정도는 같은 값으로 취급합니다. 일종의 반올림입니다.
이런 방법은 평가에서 믿을 수 있는 점수 스코프를 생성하는 데에 도움이 됩니다.

 

다음 모든 기준에 대해 점수를 결정합니다. 이때, 7단계에서 생성한 유틸리티 함수를 사용합니다. 이후 점수에 가중치를 곱하여 가중화된 점수를 구합니다. 

 

9. 결과들을 표로 나타냅니다.

예시로는 다음의 표가 있습니다. x_1부터 x_n까지의 각 기준에 대한 점수와 가중화된 점수를 나타냅니다. 

System Engineering Toolbox for Design-Oriented Engineers @NASA

 

10. 민감도 분석을 수행합니다.
입력변수가 얼마나 결과 점수에 영향을 주는지를 분석하는 것으로, 해당 점수가 충분히 결정을 내리는 데에 신뢰도가 있는지를 분석하는 것입니다. 만약 점수 차이가 너무 촘촘하여 충분한 신뢰도를 형성할 수 없다면, 좀 더 정보를 모으고 점수화 과정을 다시 트레이드 스터디를 수행하고,  선택 기준들과 가중화 팩터를 다시 검토하도록 합니다.

 

11. 가중화된 점수가 가장 높은 대안을 선택합니다. 

 

예시

다음은 NASA <System Engineering Toolbox for Design-Oriented Engineers>의 예시인 차량 설계입니다.

 

ABCD 4가지 대안 중 하나를 택하는 상황인데, 다음의 6개의 선택 기준을 정하고 가중치 팩터를 다음과 같이 정했습니다.

위에 언급한 것처럼 가중치 팩터의 합은 100이 되도록합니다.

System Engineering Toolbox for Design-Oriented Engineers @NASA

그 후 위 기준에 따라 정보를 수집하였습니다.

System Engineering Toolbox for Design-Oriented Engineers @NASA

 

그 뒤 유틸리티 함수함수를 생성합니다.

System Engineering Toolbox for Design-Oriented Engineers @NASA

 

최종적으로 트레이드 스터디 테이블을 만듭니다.

System Engineering Toolbox for Design-Oriented Engineers @NASA

 

이 테이블을 보았을 때, 가장 효과적인 대안은 B번 대안입니다. 

연비는 C에 이어 2번째이고, 가속 성능은 A에 이어 2번째이고, 기술 도입시 위험도는 높은 편이지만,
다른 성능인 브레이킹 성능, 로드 핸들링, 비용면에서 가장 높은 성능을 차지했으니,
개발 컨셉에 있어 B안이 가장 좋다는 판단을 내려졌습니다.

 

장점과 한계

트레이드 스터디는 장단점이 명확한 도구입니다. 

따라서 한계에 유의하며 사용하는 것이 좋습니다.

 

장점에는 다음과 같습니다. 

 

1. 비용이나 일정과 같은 프로그램적 고려사항은 물론 무게나, 신뢰성같은 기술적인 고려사항에 대한 우선 순위를 정하는 데에 적합합니다.

2. 특정 대안에 대한 단점 식별이 가능하고, 이를 다른 대안과 결합할 때 효과적인 방안으로 정의할 수 있도록 합니다.

 

 

한계는 다음과 같습니다.

 

1. 전문가 분석역량에 의존되어 있습니다. 

2. 부적절한 선택 기준, 가중치 팩터, 유틸리티 함수가 생성될 수 있고, 이는 평가를 잘못되게 이끌 수 있습니다.

3. 다룰 수 있는 대안들의 수가 분석 비용에 달려 있습니다.(사람, 시간 등)

4. 평가의 결과는 연구 결과에 따라 결정되지 않아야하고 결정권(또는 그룹)에 의해 결정되어야 합니다.
즉, 가중치 결정권은 의사 결정권자들에게 있습니다.

 

마무리

 

트레이드 스터디는 여러 대안들을 평가하고 수치화하는 데에 아주 매력적인 도구입니다.

다만, 가중치를 정하는 과정, 선택 기준을 과정, 유틸리티 함수를 생성하는 과정에서 여러 오염요소가 발생할 수 있으니
이 점들을 유의한다면 좋은 의사결정 방법으로 사용될 수 있을 겁니다.