Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2234-6937(Print)
ISSN : 2287-6979(Online)
Journal of Korea institue for Structural Maintenance Inspection Vol.21 No.6 pp.25-34
DOI : https://doi.org/10.11112/jksmi.2017.21.6.025

A Study of Evaluation System of NATM Tunnel using Delphi and AHP

Kwang-Rim Park1*, Jee-Seung Chung2

∙ 본 논문에 대한 토의를 2017년 12월 1일까지 학회로 보내주시면 2018년 1월 호에 토론결과를 게재하겠습니다.

Corresponding author : krpark@kistec.or.kr 315, Goyang-Daero, Ilsanseo-Gu, Goyang-City, Gyeonggi-Do, 10223, Korea
20170524 20171027 20171030

Abstract

Since the 30-year-old facility is expected to surge from 10.5% to 23.9% in 10 years, the new evaluation system is needed to establish efficient maintenance system for securing the safety and extending the life span of existing facilities. In this study, Delphi and AHP(Analytic Hierarchy Process) was conducted to provide a systematic new evaluation system for the NATM tunnel, which is the most frequently constructed structure of the existing tunnel. Since the existing assessment systems are limited in scope of evlauatuon criteria, the survey was conducted in conjunction with closed questionnaires on existing items and open questionnaires for eliciting new items. In results, suitable evaluation factors were derived for the NATM tunnel through the validation of the survey results. Also after calculating weighted value of the derived assessment item using AHP technique, a new evaluation system is proposed to meet the characteristics of the NATM tunnel, so that they can be used as reference materials for revising and supplementing detatiled guidelines in the future.


델파이 및 AHP 기법을 활용한 NATM 터널의 평가체계 연구

박 광림1*, 정 지승2
1정회원, 한국시설안전공단 진단본부 부장, 교신저자
2정회원, 동양대학교 철도건설안전공학과 교수

초록

현재 국내에서 준공 후 30년 이상 된 시설물은 현재 10.5% 수준에서 10년 후 23.9%로 급증할 전망이며, 국가 주요 시설물의 공용연 수 증가에 따라 신설보다는 기존 시설물의 안전 확보와 수명을 연장하고 효율적인 유지관리체계 구축을 위해 새로운 평가체계가 필요하다. 본 연구에서는 기존 터널의 여러 구조 형식 중 가장 많이 시공된 NATM 터널에 대하여 체계적인 새로운 평가체계를 마련하고자 하며, 이를 위해 델파이 기법과 AHP 기법을 활용하였다. 기존 평가체계 및 평가항목 검토결과 도출가능한 평가항목이 한정적인 것으로 판단되어 기존에 적용 되고 있는 항목에 대한 폐쇄적인 설문과 새로운 항목 도출을 위한 개방형 설문을 병행하여 설문조사를 실시하였다. 조사한 설문결과를 내용타 당도 검증을 거쳐 NATM 터널에 적합한 평가인자를 도출하였으며, AHP기법을 활용하여 도출된 평가항목에 대한 가중치를 산정한 후 구조물 의 특성에 맞는 평가체계를 새롭게 제시하여, 향후 세부지침 수정 및 보완 시 참고자료로 활용될 수 있도록 하고자 한다.


    1.서 론

    현재 국내에서 시설물의 안전관리에 관한 특별법상 준공 후 30년 이상 된 시설물은 현재 10.5%수준(‘15년 기준)에서 10년 후 23.9%로 급증할 전망이며, 국가 주요 시설물의 공용 연수 증가에 따라 신설보다는 기존 시설의 안전학보와 지속 가능한 유지관리체계 구축 필요성이 강조되고 있다. 또한 시 설물의 수명을 연장하고 경제·사회적 비용 절감과 국민의 안 전을 확보할 수 있는 예방적 유지관리체계로의 전환이 절실 히 필요할 때이다.

    현재 국내에서 시설물의 안전관리에 관한 특별법에 의해 실시하고 있는 지하구조물(터널 등)에 대한 안전점검 및 정밀 안전진단에서는 대상 구조물에 대하여 외관조사에 의한 상태 평가와 구조해석을 통한 안전성평가를 실시하여 구조물에 대 한 종합평가 및 안전등급을 지정하도록 안전점검 및 정밀안 전진단(터널, 2016)편에 제시되어 있다.

    그러나 외관조사 결과에 의한 평가는 구조물의 특성을 재 대로 반영하지 못한 채 평가가 이루어지고 있으며, 구조물의 공용연수가 증가됨에 따라 외관상태 못지않게 구조물의 내구 성에 대한 평가도 중요한데 현재 현장에서 실시하고 있는 시 험 중 일부만 평가에 반영되고 있고 그 외 콘크리트 비파괴 추 정강도, 단면측량 등 여러 가지 시험은 평가에 적절히 반영되 지 못하고 있다. 또한 현재 적용되고 있는 평가체계는 1995년 이후 20여년 이상 사용되어 왔으며, 안전성 위주의 평가체계 로 인해 공용연수 증가에 따른 구조물의 노후화를 평가에 제 대로 반영하지 못해 시대흐름을 맞추지 못한 면도 있다. 따라 서 기존 시설물의 안전 확보와 효율적인 유지관리 및 지속가 능한 유지관리체계 구축을 위해 사회적 눈높이에 맞는 신뢰 성과 안전성을 갖춘 시설물이 될 수 있도록 체계적인 새로운 평가체계를 마련하는 것은 매우 중요한 과제이며, 이를 위해 본 연구에서는 델파이기법과 AHP 기법을 활용하여 지하구조 물중 NATM 터널에 적합한 평가인자 및 평가인자의 가중치 와 구조물의 특성에 맞는 평가체계를 새롭게 제시하고자 하 며, 향후 안전점검 및 정밀안전진단 세부지침 수정 및 보완 시 참고자료로 활용될 수 있도록 하고자 한다.

    2.본 론

    2.1.안전성 평가항목 도출 방법

    2.1.1.평가항목 선정 방법

    평가항목 선정을 위하여 국·내외 기존 평가체계를 Table 1 과 같이 분석하였으며 국내의 상태평가, 안전성평가 체계와 일본, 독일, 미국 등에서의 평가체계를 분석한 결과 터널의 평 가항목은 국가별로 다소 차이를 나타냈다.

    기존 평가체계 분석을 통하여 국가별로 공통적인 평가항목 과 공통적이지 않은 특정평가 항목들로 분류하였다.

    기존까지 수행되어 왔던 평가체계를 검토한 결과 도출 가 능한 평가항목은 한정적인 것으로 판단하고 이에 대한 적절 한 분류 및 구분을 통해 평가항목이 도출될 수 있을 것으로 판 단되며, 연구방법론과 연구방향을 고려한 결과 델파이 기법 이 가정 적합한 것으로 판단된다.

    평가항목을 도출하기 위해서는 참여자는 터널과 평가체계 에 대한 높은 이해도를 가지고 참여해야 한다.

    2.1.2.델파이 기법

    기존 자료 부족으로 참고할 만한 자료가 없거나 미래를 예 측하고자 할 경우 도입하는 분석기법 중 하나로, 여러 전문가 의 의견을 되풀이해서 모으고, 교환하고, 발전시켜 미래를 예 측하는 방법을 말하며, 전문가 합의법이라고도 한다.

    집단의 의견들을 조정·통합하거나 개선시키기 위한 방법 으로 응답자의 익명성을 보장하고 반복적인 환류를 통하여 결국은 전문가들이 합의하는 아이디어를 만들도록 유도하고, 이러한 반복적인 피드백을 통한 하향식 의견 도출로 문제를 해결한 것이 특징이며, 많은 전문가를 한 장소에 모이지 않고 다른 사람의 영향 없이 문제해결에 필요한 다양하고 창의적 인 대안이나 아이디어를 찾아내고 전문가의 합의를 유도하는 기법이다. 평가항목 도출을 위하여 Fig. 1과 같은 단계의 과정 을 걸쳐 연구를 수행하였다.

    2.1.3.전문가 집단의 선정

    델파이기법에서 전문가 집단인 위원의 크기에 대한 명확한 규정은 없으나, 델파이 연구의 신뢰도와 위원 집단 크기 간에 는 함수관계가 성립한다. 델파이 연구의 신뢰도를 높이기 위 한 전문가 수에 대한 연구내용을 보면, Na(1999)은 집단별 위 원의 수가 13명이상일 때에는 전후 질문지 간 과정의 신뢰도 (Process reliability)는 전혀 문제가 되지 않으며, 평균 0.80이상 의 높은 상관관계를 보인다고 하였으며, Ziglio(1996)는 10~15 명의 소집단 위원만으로도 유용한 결과를 얻을 수 있다고 하 였다.

    이 연구에서는 터널에 대한 실무지식을 보유하고 있고 시 설물의 안전관리에 관한 특별법에 의거하여 실시하고 있는 안전점검 및 정밀안전진단의 평가체계에 대한 높은 이해도를 가지고 있는 안전관리 정책지원 기관, 연구기관, 관리주체, 관 련 학계 및 연구원, 관련업체 등에 종사하고 있는 전문가를 검 토하여 Table 2와 같이 구성하였으며, 전문가의 경력 및 전문 성은 Table 3과 같이 전부 특급기술자로 구성되어 있다.

    2.1.4.내용타당도 검증

    가.델파이 1차 조사

    델파이 1차 설문 중 폐쇄형 설문 결과에 대하여 내용타당도 를 검증하였다. 내용타당도 비율(CVR)은 패널 수에 따라 최 소값을 제시하고 있으며, 최소값 이상이 되었을 때 문항에 대 한 내용타당도가 있는 것으로 판단한다(Lawshe, 1975)(1)

    C V R = n e N 2 N 2
    (1)

    여기서, CVR(Content Validity Rotio) : 내용타당도 비율, ne : 중요하다고 응답한 사례 수, N : 응답한 전문가 수이다.

    타당하다고 응답한 전문가의 수가 50~100%일 때의 CVR 값은 0~1.0에 위치하게 되며, 이러한 CVR값은 델파이 조사에 참여한 전문가의 수에 따라 Table 4와 같이 최소값을 결정할 수 있다.

    나.델파이 2차 조사

    2차 델파이 조사는 1차 설문에서 모집된 전문가 의견을 수 렴하여 내용분석과 내용분석 타당도 작업을 거쳐 유사한 항 목을 통합하고, 중복되는 항목을 삭제하는 과정을 거쳐 도구 화하여 2차 델파이 설문지를 확정한다.

    2차 델파이 설문결과에 대하여 평균, 표준편차, 중앙값, 최 빈값 및 CVR을 산정하고 항목의 타당성과 패널의 의견수렴 여부를 평가하기 위하여 다음의 파라미터를 산정하였다.

    합의도

    합의도는 4분 편차와 중앙값을 이용하여 Q3과 Q1 사이에 값을 도식화함으로서 응답자 사이의 합의가 얼마만큼 이루어 졌는가를 검증하는 방법이다. IQR은 중위수를 중심으로 전문 가 응답의 분산을 나타내는 척도로 일반적으로 1.0이하이면 합의가 이루어진 것으로 여겨진다.(2)(3)

    합의도 : 1 Q 3 Q 1 M d
    (2)

    IQR = Q 3  - Q 1
    (3)

    여기서, Q3 : 3/4분위 수, Q1 : 1/4분위 수, Md : 중앙값이다.

    수렴도

    수렴도는 응답 결과가 수렴하고 있는가를 나타내는 지수로 수렴할수록 “0”에 가까워진다.(4)

    수렴도 :  Q 3 Q 1 2
    (4)

    안정도

    안정도는 전문가 응답의 일치성이 높은 경우 안정도가 확보 된 것을 의미하며, 변동계수(C.O.V)로 평가한다. 변동계수가 0.5 이하일 경우 추가 설문이 필요 없으며, 0.5∼0.8은 비교적 안정 적, 0.8이상이면 추가설문이 필요한 것으로 판단한다(No, 2006).(5)

    안정도:  C . O . V = σ μ
    (5)

    여기서, C.O.V(Coefficient of Variation) : 변동계수, σ : 표 준편차, μ : 평균이다.

    다.델파이 3차 조사

    3차 델파이 조사는 2차 설문에 대한 통계분석 결과 전문가 집단의 방향에 대한 피드백을 포함하였으며, 각 항목의 중요 도를 재평가하기 위하여 다른 전문가의 의견을 참고할 수 있 도록 2차 조사에 의한 중앙값 및 사분범위를 표시하였다. 또 한 어떤 전문가의 의견이 극단으로 치우쳐 나타날 경우 다수 의 의견과 다른 이유를 제시할 것을 요청하였다.

    2.1.5.평가항목 도출

    가.델파이 1차 조사 분석 결과

    1차 델파이 조사에 응답한 전문가는 25명이며, 내용타당도 판단기준은 Table 4에 의해 CVR 〉0.37로 하였다. Table 5와 같이 문헌연구를 통해 도출된 평가항목(총 40개)에 대하여 내 용타당도를 검토한 결과 31개 항목이 타당도를 만족하는 것 으로 나타났으며, 개방형 설문을 통해 모집된 추가 평가항목 13개 항목을 신규항목으로 반영하였다.

    나.델파이 2차 조사 분석 결과

    2차 델파이 조사에 응답한 전문가는 25명이며, 내용 타당도 분석결과 44개 항목 중 35개 항목이 적절한 것으로 나타났으 며, 합의도의 경우 28개의 항목에서 전문가의 의견이 합의되 었다. 안정도(C.O.V)의 경우 모든 항목에서 0.5이하로 나타나 전문가 응답의 일치성이 매우 높은 것으로 나타났다.

    다.델파이 3차 조사 분석 결과

    3차 델파이 조사에 응답한 전문가는 25명이며, 어떤 전문가 의 의견이 극단으로 치우쳐 나타날 경우 다수의 의견과 다른 이유를 제시할 것을 요청하였다.

    내용타당도 분석결과 44개 항목 중 2차 평가항목과 같은 35 개 항목이 적절한 것으로 분석되었으며, 합의도의 경우 2차 평가항목(28개 항목) 보다 3개 항목이 증가한 31개 항목이 합 의되었다. 안정도(C.O.V)의 경우 모든 항목에서 0.5이하로 나 타나 전문가 응답의 일치성이 매우 높은 것으로 나타나 전문 가의 의견은 일정수준 이상 일치성을 가지고 있는 것으로 판 단되고, CVR이 0.37이하인 항목을 최종적으로 제외하기로 하였다.

    라.평가항목 도출 결과

    총 3회의 델파이 조사를 통하여 NATM 터널의 평가항목을 Table 67과 같이 최종 선정하였다.

    2.2.NATM 터널의 평가체계 도출 결과

    2.2.1.상태안전성평가 방법

    가.AHP 개요

    본 기법은 계량적 접근이 어려운 분야의 의사 결정을 하는 경우 경험을 조직화, 구조화 및 체계화하여 평가요소의 가중 치를 설정하는 방법으로, 의사결정단계에서 수학적 모형으로 적합하도록 고안된 의사결정기법(Saaty and Vargas, 2001)으 로 의사결정자가 직면하는 복잡성과 곤란성을 대안 간 상호 비교를 통해 귀납적방법과 연역적 방법을 조합한 통합적 방 법으로 해결해 나갈 수 있도록 고안된 기법으로 평가하고자 하는 요소들을 계층화하고 상호비교 평가를 통하여 상대적 중요성을 결정하는 방법이다. 본 연구에서는 델파이 조사 분 석 결과 도출된 평가항목중 상태안전성평가 항목에 대하여 AHP기법을 활용하여 가중치를 산정하였다.

    나.일관성 검증 개요

    일관성 비율(CR)은 설문 응답자의 판단 진실성과 일관성 을 평가하는 것으로 통상 0.1 이하이면 응답자가 일관성 있게 쌍대비교를 한 것으로 판단하며, RI는 Table 8과 같다.(6)

    CR = CI / RI × 100% , CI = (λmax - n) / (n-1)
    (6)

    여기서, CR(Consistancy Ratio) : 일관성 비율, CI( Consistancy Index) : 일관성 지수, RI(Random Index) : 난수지수, 경험적 자료로 얻어진 평균 무작위 지수, λmax : 상호비교 행렬의 고 유치 중 최대값, n : 상호비교의 개수, 행렬의 크기이다.

    일관성이 완벽할 경우 λmax = n이 되므로 CI = 0이 되고, CR = 0 이 된다. 반대로 판단의 일관성이 불량해 질수록 λmax 〉n이 되고, CI 및 CR 이 0 보다 점점 커진다.

    다.일관성 검증

    본 연구에서는 일관성 비율이 1.0미만인 설문지를 활용하 여 상대적인 가중치를 도출하였으며, 일관성비율이 1.0미만 인 설문지는 22부로 확인되었다. 일관성 있는 설문지의 대부 분은 해당업무에 종사하고 있었으며, 관련 분야 경력은 10년 이상으로 나타났다.

    라.가중치 산정 결과

    도출된 평가항목에 대하여 AHP기법을 활용하여 가중치를 산정한 결과 Tables 910과 같으며, 가중치는 라이닝 콘크리 트, 주변상태, 특수조건으로 구분하여 산정하였다.

    마.결함지수 산정

    영향계수

    각 부재에서 발생하는 각종 손상 및 결함에 대한 상태평가 시 손상이 전체 구조물에 미치는 안전성의 결함정도, 구조적 인 중요도가 적절히 고려되어 평가될 수 있도록 영향계수를 Tables 11~13과 같이 적용한다.Table 12

    영향계수는 구조물의 안전에 크게 영향을 주지 않는 일반 적인 손상의 상태등급을 기준으로 하여 국부결함 및 중요결 함의 등급을 상향조정함으로써 이들이 전체 구조물에 미치는 영향을 평가 상향하는 계수이며, 영향계수는 상태평가를 위 한 표준기준이며, 조사책임자의 판단으로 조정할 수 있다. 단 영향계수를 적용할 경우에는 적용근거를 포함하는 소견을 달 아야 한다.

    평가기준 및 평가점수

    평가기준은 5단계로 세분화하였고, 평가항목별 상태안전 성 평가기준은 터널의 안전성 평가기준과 차이를 두기 위하 여 소문자 a, b, c, d, e로 표기하여 Table 14와 같다.

    결함지수 산정

    터널의 상태안전성평가 산출시 평가항목별 평가세부기준 과 등급 산정을 위한 결함지수는 현재 적용하고 있는 세부지 침을 준용한다. 부대시설이 있는 터널은 현재 적용하고 있는 평가체계를 준용하여 부대시설의 가중치를 산정한 후 기본시 설 결함지수(f)에 곱하여 전체시설물의 결함지수(F)를 산정하 면 된다.(7)

    기본시설결함지수 ( f ) = ( 평가점수 × 영향계수 × 가중치 ) 4 × 가중치
    (7)

    단, 시설물의 특수성으로 인하여 제시된 평가기표중 공통 적으로 적용되지 않는 것이 발생할 경우 해당 평가지표만큼 의 결함점수를 총점에서 제외한 후 산정하면 된다.

    2.2.2.구조안전성평가 방법

    터널의 구조안전성평가는 자료조사, 외관조사 및 비파괴조 사를 실시하여 얻은 실측 물성치를 반영하여 종합적으로 실 제 상태에 대한 해석을 통해 올바른 평가가 되어야 하며, Table 15와 같다.

    2.2.3.안전성평가 방법

    대상 터널에 대하여 상태 및 구조 안전성평가를 실시한 후 그 결과에 의해 산출된 상태안전성 평가등급과 구조안전성 평가등급을 비교하여 최저 등급을 최종 안전성 평가등급으로 결정한다. 단, 구조 안전성평가를 실시하지 않는 경우는 상태 안전성 평가등급을 최종 안전성평가 등급으로 갈음한다.(8)

    터널의 안전성평가 등급 = Min ( Tc, Ts )
    (8)

    여기서, Tc : 터널의 상태안전성 등급, Ts : 터널의 구조안전 성 등급이다.

    2.2.4.내구성평가 방법

    가.평가항목 및 판정기준

    터널의 경우 세부부재는 갱문, 본선 라이닝, 환기구가 대상 이 되며, 각 부재별 가중치는 Table 16과 같다.

    내구성 평가 시 평가항목은 Table 17과 같이 4개 지표로 평가 되며, 부재별 등급에 따른 결함도 지수 범위는 Table 18과 같다.

    나.내구성평가 결과 산정

    내구성평가 결과 산정방법은 지표별 가중치를 적용하지 않 고 평가항목에서 평가지표별 결과 중 가장 낮은 등급인 최저 등급을 적용한다. 최저등급제를 적용하는 것은 평가항목 중 어느 한 가지 지표에 의해서만 피해가 발생하여도 심각한 결 과가 발생할 수 있으며, 대책을 강구하여야 하기 때문이다.(9)

    터널의 내구성평가 등급 = Min(Tes,Tca,Tch,Trc)
    (9)

    여기서, Tes : 터널의 콘크리트 추정강도 등급, Tca : 터널의 탄산화깊이 평가 등급, Tch : 터널의 염화물 침투량 평가 등급, Trc : 터널의 철근부식 평가 등급이다.Fig. 2.Table 19

    2.2.5.종합평가 방법

    가.종합평가 산정 기준

    종합평가 산정시 평가항목인 안전성평가 및 내구성평가의 가중치는 AHP기법을 활용하여 산정하였으며, 본 연구에서 는 일관성 비율이 1.0미만인 설문지를 활용하여 상대적인 가 중치를 도출하였다.

    나.종합평가 결과 산정

    종합평가 결과의 산정방법은 터널의 안전성평가 및 내구성 평가 지수에 대해 각 항목에 따라 부여된 가중치를 곱한 값을 합산하여 구한다.(10)

    터널의 종합평가 지수(P) = ( 항목별 평가지수 × 항목간 가중치 )
    (10)

    3.결 론

    본 연구에서는 기존터널의 여러 구조형식 중 가장 많이 시 공된 NATM 터널에 대하여 델파이기법 및 AHP기법을 활용 하여 체계적인 새로운 평가체계를 도출하였다. 기존 평가체 계 및 평가항목 검토결과 도출가능한 평가항목이 한정적인 것으로 판단되어 기존에 적용되고 있는 항목에 대한 폐쇄적 인 설문과 새로운 항목 도출을 위한 개방형 설문을 병행하여 설문조사를 실시하였다. 조사한 설문결과를 내용타당도 검증 을 거쳐 NATM 터널에 적합한 평가인자를 도출하였으며, AHP기법을 활용하여 도출된 평가항목에 대한 가중치를 산정 한 후 구조물의 특성에 맞는 평가체계를 정량적으로 제시하 였다. 세롭게 제시한 평가체계는 NATM 터널의 구조적 특성 및 손상 발생위치와 발생요인의 특성을 반영시켰으며, 현재 적용되고 있는 평가기준에서 반영되지 못하는 현장조사 및 시험 항목들을 최대한 반영하여 NATM 터널의 안전성과 내 구성을 판단할 수 있도록 하였다. 따라서 평가결과를 활용하 여 구조물의 특성에 맞는 체계적이고 효율적인 유지관리가 가능할 것으로 기대된다. 또한 제시된 평가체계는 추후 관련 데이터가 많이 축적되면 이의 분석을 통하여 신뢰도가 높고 적합한 평가체계가 될 수 있도록 추가적인 연구 및 보완이 계 속적으로 필요하다.

    Figure

    JKSMI-21-25_F1.gif

    Delphi Method

    JKSMI-21-25_F2.gif

    The results of comprehensive evaluation procedure of the tunnel

    Table

    National arrangement of valuation items

    Experts distribution

    Professional experience and expertise

    Minimum value of content validity ratio(CVR) by number of respondents

    1st Delphi survey result

    NATM Tunnel(None rebar concrete lining)

    NATM Tunnel(Rebar concrete lining))

    Random index(RI)

    Weight Calculation results(NATM Tunnel-None rebar concrete lining)

    Weight Calculation results(NATM Tunnel-Rebar concrete lining)

    Damaged by Influence coefficient(Critical flaws)

    Damaged by Influence coefficient(Local flaws)

    Damaged by Influence coefficient(General flaws)

    Evaluation standard and Evaluation score

    Structural safety evaluation items and evaluation criteria

    Weights for Detail member

    Durability evaluation items and evaluation criteria

    Defect index

    Estimation criteria for comprehensive evaluation of tunnels

    Reference

    1. KISTECKISTEC (2011) Detailed Instructions of Safety Inspection and Precision Safety Diagnosis, Tunnel,
    2. KISTECKISTEC (2001) Establishment of criteria for condition evaluation of structures (tunnel),
    3. MolitMolit (2007) Tunnel design standards,
    4. MolitMolit (2012) Concrete Structural Standard,
    5. KISTECKISTEC (2002) Tunnel Maintenance Manual.,
    6. SaatyT.L. (1980) The Analytic Hierarchy Process., Mc Graw-Hill,
    7. SaatyT.L. (1990) Multicriteria Decision Marking: The Analytic Hierarchy Process, AHP series I., RWS Publication,
    8. SaatyT.L. (2008) Decision marking with the analytic hierarchy Process. , Int. J. Serv. Sci., Vol.1 (1) ; pp.83-98
    9. LawsheC.H. (1975) A UANTITATIVE APPROACH TO CONTENT VALIDITY. , Person. Psychol., Vol.28 ; pp.563-575
    10. NaS.I. (1999) A study on the contents of general agricultural education for elementaryA middleA high school students in the information society. , Journal of Agricultural Education and Human Resource Development, KSI KISS, Vol.31 (1) ; pp.21-42
    11. AdlerM. ZiglioE. (1996) Gazing into the Oracle: The Delphi method and its application to social policy and public health., Jessica Kingsley Publishers, ; pp.3-33
    12. JerryA. (2008) Effective Use of the Delphi Process in Research; Its Characteristics, Strengths and Limitations, Unpublished doctoral dissertation, Oregon State University,
    13. NoY.S. (2006) Delphi Technique; Get predictive insights from professional insights. , KRIHS, Vol.299 ; pp.53-62