제2회 「인공지능 신뢰성 대상」

접수 방법 및 제출 서류

□ 접수방법

◦ 과학기술정보통신부 홈페이지, 또는 TTA/KISDI 홈페이지에서 관련 문서 다운로드 후, 마감 기한까지 관련 서류를 이메일로 제출

□ 신청서 제출기한

◦ 신청 및 접수기간 : 2024. 9. 11.(수) ~ 10. 18.(금)

◦ 마감일 : 2024. 10. 18.(금) 18시까지

◦ 신청방법 : ai-award@tta.or.kr 로 이메일 접수

- 모든 신청 서류는 전자문서(.pdf) 및 스캔본으로 온라인(이메일)을 통해 접수

- 신청서 제출 메일 형식

* 메일제목 : [제2회_인공지능 신뢰성 대상_신청] XXX (신청기관명)

* 붙임문서 : 아래 ‘제출서류’에 기재된 모든 문서를 압축하여 1개 파일(예: .zip)로 첨부

◦ 2024년 10월 18일 18:00시까지 도착분에 한하여 접수를 마감

- 신청서의 기재사항 허위작성 시 탈락 등 불이익 조치함

□ 제출서류

◦ 제공 서식

- 제2회 인공지능 신뢰성 대상 신청서 1부 [첨부1]

- 제2회 인공지능 신뢰성 대상 심사자료 1부 [첨부2]

※ ‘[첨부3] 심사자료 작성 내용(예시)’과 ‘[첨부4] 샘플’ 참고

□ 제출형태

◦ ‘[첨부1] 제2회 인공지능 신뢰성 대상 신청서’는 작성 및 직인(서명가능) 후 스캔본 제출

◦ ‘[첨부2] 제2회 인공지능 신뢰성 대상 심사자료’는 PDF로 제출

□ 제출처

서류접수처

[온라인] TTA AI융합시험연구소 AI융합기획단

※ 이메일 : ai-award@tta.or.kr

※ 문  의 : 010-5110-2693, 010-5111-1867

* 제출된 서류는 반환하지 않으며 제출해야 할 서류의 일부 미제출 또는 오제출 등으로 인한 책임은 신청기관에 있고 평가대상에서 제외 등 불이익 처리할 수 있음

* 온라인으로 송부한 첨부서류는 추후 증빙을 위해 오프라인으로 요청하여 송부될 서류와 동일해야 하며, 만약 온라인과 오프라인 서류의 내용이 상이할 경우에는 선정 대상에서 제외 등 불이익 처리할 수 있음

[첨부1] 제2회 인공지능 신뢰성 대상 신청서(양식)

제2회 인공지능 신뢰성 대상 신청서
기업명
설립년도			대표자
업 종			사업자등록번호
기업구분	대기업 / 중견 / 중소 / 기타		법인등록번호
대표 전화번호			FAX번호
대표 E-mail			홈페이지
주소
자본금			전년도 매출
종업원수			주요사업분야
신청 제품· 서비스명 (버젼 명시)			신청제품 출시일	신청제품이 v1.0 일 경우 최초 출시일과 동일
			최초 출시일
제품개요
담당자	성명		부서
	직급		전화번호
	휴대폰		E-Mail
본 신청서에 기재된 사항은 사실과 일치함을 서약하며 제2회 인공지능 신뢰성 대상에 신청합니다. 붙임 : 인공지능 신뢰성 대상 심사자료 1부 2024 년 월 일 ; 대표자 : (서명 또는 인) ; 과학기술정보통신부장관 귀하

[첨부2] 제2회 인공지능 신뢰성 대상 심사자료(양식)

제2회 인공지능 신뢰성 대상 심사자료
구분	항목	내용
① 신뢰성·품질 이해 및 가이드 적용 수준	①-1 신뢰성·품질 이해 및 확보 적극성
	①-2 신뢰성·품질 가이드라인 준수 수준
② 신뢰성·품질 수준	제품·서비스 신뢰성·품질 우수성
③ 신뢰성·품질 관리 우수성	③-1 신뢰성·품질 관리체계의 우수성
	③-2 신뢰성·품질 전담 조직 및 인력
④ 시장성	④-1 경쟁 제품·서비스 대비 우수성
	④-2 시장경쟁력 및 성장가능성

[첨부3] 심사자료 작성 내용(예시)

제2회 인공지능 신뢰성 대상 심사자료
구분	항목	내용
① 신뢰성·품질 이해 및 가이드 적용 수준	①-1 신뢰성·품질 이해 및 확보 적극성	- 경영자(CEO, CTO 등)의 신뢰성·품질 속성, 관련 활동에 대한 인식 여부 및 정확한 이해 정도 - 개발‧기획 등 기술 실무자들의 신뢰성·품질 속성, 관련 활동에 대한 인식 여부 및 정확한 이해 수준 기업 경영진의 신뢰성·품질 확보 의지 및 이행을 위한 적극성 등
	①-2 신뢰성·품질 가이드라인 준수 수준	- 신뢰성·품질 확보를 위한 정부·품질전문기관의 지침, 가이드라인 등 준수 여부 및 적용 수준 * (예) 국가 인공지능 윤리 기준, 신뢰할 수 있는 인공지능 개발 안내서, 인공지능 학습용 데이터 품질관리 가이드라인 등 - 신뢰성·품질 관리 지침 및 관리 체계를 적용하여 달성한 실적 * (예) 제품·서비스의 신뢰성·품질 향상 정도, 개발 프로세스 개선 여부 등
② 신뢰성·품질 수준	제품·서비스 신뢰성·품질 우수성	- 인공지능 제품·서비스의 고품질 달성 및 신뢰성 확보 정도 - 인공지능 제품·서비스의 사회 문제 해결 기여 정도 * (예) 디지털 소외지역, 생활안전 및 복지·행정 효율화 등 인공지능 제품‧서비스의 유용성, 혁신성 등 * (예) 고객 편의 해결 사례 등 서술
③ 신뢰성·품질 관리 우수성	③-1 신뢰성·품질 관리체계의 우수성	- 제품·서비스 개발 및 유지보수 시 적용하고 있는 신뢰성·품질관리 체계의 우수성 - 신뢰성·품질 관련 기술 요구사항을 만족하기 위한 개발 환경, 도구 등의 운용 여부 및 정도 등
	③-2 신뢰성·품질 전담 조직 및 인력	- 신뢰성·품질 전담 조직 및 인력 보유 여부, 개발 인력 대비 신뢰성·품질 관리 인력비율 등 전담 조직의 우수성 - 신뢰성·품질 관련 교육 이수, 자격 보유, 경력 등 신뢰성·품질 전담 인력의 우수성 등
④ 시장성	④-1 경쟁 제품·서비스 대비 우수성	- 경쟁 제품·서비스 대비 우수성을 입증할 수 있는 시험 결과나 관련 자료 * (예) AI 모델 BMT 결과, PoC 결과 등 - 경쟁 제품·서비스 대비 우수성 및 소비자 편의성 등에 대한 시장 평판
	④-2 시장경쟁력 및 성장가능성	- 시장점유율 : 국내, 해외 - 매출액 : 국내, 해외 - 미래 성장 가능성 등

※ 심사자료는 분량에 제한이 없으며, 관련 증빙 자료는 수상 기업에 한해서 제출 요청 예정

[첨부4] 작성 샘플

제2회 인공지능 신뢰성 대상 신청서
기업명	㈜가나다
설립년도	2000. 01. 01.		대표자	홍길동
업 종	SW서비스		사업자등록번호	000-00-00000
기업구분	중소		법인등록번호	000000-0000000
대표 전화번호	00-000-0000		FAX번호	00-000-0000
대표 E-mail	abc@tta.or.kr		홈페이지	http://tta.or.kr
주소	경기도 성남시 분당구 분당로 47 (서현동)
자본금	000 백만원		전년도 매출	000 백만원
종업원수	000 명		주요사업분야	SW 서비스
신청 제품· 서비스명 (버젼 명시)	ABC v3.0 (가나다 v3.0)		신청제품 출시일	2023. 8. 1.
			최초 출시일	2023. 1. 1.
제품개요	본 제품은 ~~~~(제품의 특성이 잘 들어날 수 있는 간략한 설명) ~~~한 제품으로 주요 기능은 다음과 같다. - 주요 기능 1 . 상세 기능 1.1, 1.2, 1.3, 또는 기능 간략 설명 - 주요기능 2 . 상세 기능 2.1, 2.2, 2.3, 또는 기능 간략 설명
담당자	성명	김철수	부서	제품품질보증실
	직급	과장	전화번호	00-000-0000
	휴대폰	000-000-0000	E-Mail	zxy@tta.or.kr
본 신청서에 기재된 사항은 사실과 일치함을 서약하며 제2회 인공지능 신뢰성 대상에 신청합니다. 붙임 : 인공지능 신뢰성 대상 심사자료 1부 2024 년 9 월 1 일 ; 대표자 : 홍 길 동 (서명 또는 인) ; 과학기술정보통신부장관 귀하

※ <첨부4>에 포함된 내용은 신청서류 작성 시 참고할 수 있는 가이드라인 형태로 작성된 것으로, 추후 시상에 선정될 그 어느 기업 및 제품과는 연관이 없음

제2회 인공지능 신뢰성 대상 심사자료

구분

항목

내용

①

신뢰성·품질

이해 및

가이드 적용 수준

①-1

신뢰성·품질

이해 및

확보 적극성

○ 대표 혹은 실무자의 인공지능 품질·신뢰성 확보를 위한 신뢰성 협의체 등 대외 활동 여부

○ 대표 혹은 실무자의 인공지능 품질·신뢰성(윤리) 관련 내외부 교육 수료 여부

○ 인공지능 품질·신뢰성 확보를 위한 내부 절차, 지침 등 제정 여부

○ 인공지능 제품·서비스 계획 및 설계 단계에서 품질·신뢰성 확보 요구사항 검토 및 적용방안 수립 여부 등

○ 그밖에 대표 혹은 실무자의 인공지능 제품·서비스의 품질신뢰성 확보하기 위해 노력한 내용을 자유롭게 서술

①-2

신뢰성·품질

가이드라인

준수 수준

○ ‘신뢰할 수 있는 인공지능 개발 안내서’ 준수

- 준수정도: 요구사항 XX개 중 XX개 달성

- 준수 항목 중 특별히 강조하고 싶은 내용 서술

- 달성한 실적(성과): 정량적·정성적 실적을 자유롭게 서술

○ ‘인공지능 학습용 데이터 품질관리 가이드라인’ 준수

- 준수정도: 요구사항 XX개 중 XX개 달성

- 준수 항목 중 특별히 강조하고 싶은 내용 서술

- 달성한 실적(성과): 정량적·정성적 실적을 자유롭게 서술

○ ‘XXXX 가이드라인’ 준수

- 준수정도: 요구사항 XX개 중 XX개 달성

- 준수 항목 중 특별히 강조하고 싶은 내용 서술

- 달성한 실적(성과): 정량적·정성적 실적을 자유롭게 서술

②

신뢰성·품질

수준

제품·서비스

신뢰성·품질

우수성

○ V&V 시험 수행(제3자 기관)

- 시험성적서 번호 : BT-A-22-0000

- 시험기간 : 2022.1.17.∼1.28. (WD: 10)

- 시험항목 : 성능항목 3개, 기능항목 10개

- 수행결과 : 13개 모든 시험항목에서 목표치를 상회하는 결과치를 확보

<자사 제품의 우수성 확보를 위해 데이터, 알고리즘, 신뢰성, 제품 자체에 대한 우수성 확보 등 다방면으로 노력함>

① (데이터) 본 제품을 개발하는데 사용한 데이터를 통계적 다양성, 구문정확성, 의미정확성 측면에서 아래 내용을 확인

- (통계적 다양성)데이터 클래스 분포도, 인스턴스 분포도, 어휘개수 등 데이터 통계값을 분석하여 다양성을 확인

* (첨부) 자동화 도구를 활용하여 전수 검사 실시 후 추출한 결과 리포터

- (구문정확성) 라벨링 데이터의 포맷 형식, 값 등이 정확하게 입력되어 있고 누락된 정보는 없는지 확인

* (첨부) 자체 시험 결과서

- (의미정확성) 데이터 종류별 어노테이션 유형에 따라 측정 지표를 설정하고 지표값을 계산하여 목표값에 도달함을 확인

* (첨부) 자체 시험 결과서

② (알고리즘) 알고리즘의 우수성을 확보하기 위한 기업의 노력을 서술

③ (신뢰성) 신뢰성을 확보하기 위한 기업의 노력을 서술

④ (제품·서비스) 제품서비스 품질 확보를 위한 기업의 노력을 서술 – (예)제품 품질 검증을 위해 테스트 시나리오를 설계하고 테스트케이스 작성을 통해 자체 시험을 수행하고 그 결과를 확인

* (첨부) 테스트 시나리오 보고서, 테스트 케이스 보고서 , 시험결과서

○ (인공지능 도입 전후 성과)

- (예) 인공지능 기술 도입으로 인해 불량률이 xx% 감소하고, xxx 측면에서 효율이 좋아졌으며 등등 구체적인 사례를 통해 서술

③

신뢰성·품질

관리

우수성

③-1

신뢰성·품질 관리체계의

우수성

○ ISO 9001 품질경영시스템 인증 획득

- 인증범위 : SW 설계 및 개발

- 인증변호 : WQ00-0000

- 인증일자 : 2020.10.15.

○ TMMi Maturity Lv. 3 인증 획득

- 인증조직 : 품질보증실

- 인증변호 : 00000000-000

- 인증일자 : 2020.12.18.

○ 자체적으로 개발한 품질시스템 및 품질매뉴얼 보유

- 본 사에서 운영중인 품질시스템은 [설계-개발-시험-판매-유지보수] 전주기에 걸쳐 관리되고 있으며, 각 단계별 수행인력을 지정하여 완벽한 품질관리를 추구하고 있음

- 품질매뉴얼을 각 단계별로 세분화하여 보유하고 있으며, 이는 최종적으로 경영 및 품질책임자의 감독 하에 관리중

○ 테스트베드 구축 여부

- 품질시험을 위한 테스트베드 별도 구축(개발환경과 분리된 독립적 시험환경)

- 품질시험을 위한 별도 HW 장비 구축

※ 서버 10대, PC 20대, 모바일 5대 등

○ 품질시험용 (자동화) 도구 구축 및 활용 여부

- 데이터 분석 도구 : XXX, XXX

- 성능관리 도구 : LoadRunner, JMeter

- 코드분석 도구 : Sparrow, QAC++

③-2

신뢰성·품질

전담 조직 및 인력

○ 품질·신뢰성 전담 조직 및 전담 인력 보유

- 전담조직명 및 전담인원 : 품질신뢰성보증실 (실장 1명 외 9명)

- 총 인원대비 품질·신뢰성 인력비율 : 10% (총인원 100명)

*개발 인력이 품질·신뢰성 확보활동을 동시에 할 경우 관련 내용 표시

<조직도>

		대표이사(1명)		(단위: 명)
경영지원실(9명)		개발본부(80명)		품질·신뢰성 보증실(10명)
표준적용팀(2명)		품질평가팀(5명)		신뢰성확보팀(3명)

○ 품질·신뢰성 인력 우수성

- 업계 경력 20년 이상 수석급 2명, 15년 이상 책임급 3명, 10년 이상 2명의 인력을 보유

- 5명의 박사급 인력 및 3명의 석사급 인력 보유

- 팀원 전부가 인공지능 또는 데이터 관련 전공

④

시장성

④-1

경쟁 제품·서비스

대비 우수성

○ 암진담율 비교 성능 시험 수행(자체시험)

- 시험기간 : 2022.5.10.∼5.20. (WD: 9)

- 시험항목 : 성능항목 3개

- 수행결과 : 타사 대비 1.5배 이상의 정확도 확보

○ BMT 시험 수행(00은행)

- 수행개요 : 00은행 차세대금융시스템 XXX 사업

- 시험기간 : 2022.07.01.∼07.29.

- 성능수치 : 000,000

- 수행결과 : 타 A, B사 대비 1.1배 이상의 수치 확보를 통해 사업 수주

○ TPCx-AI 시험 수행(국제공인)

- 시험기간 : 2022.02.01.∼04.30.

- 성능수치 : 0,000 AIUCpm@1000

- 수행결과 : 타 A, B사 대비 1.1배 이상의 국제 공인 수치 확보

○ 동종경쟁제품 대비 비교 결과 ~~한 이유로 자사 제품이 전반적으로 우수함을 입증 (혹은, XX부분은 타사 제품이 우월하지만 XX의 이유로 자사 제품이 우수함)

구분	A사	B사
비교항목 1	O	X
비교항목 2	10%	20%
비교항목 N	2위	1위

○ 그밖에 다양한 방법(신문기사 활용 등)으로 자사 제품의 우수성을 입증할수 있는 내용 자유 서술

④-2

시장경쟁력

및 성장가능성

○ (해외시장) ABC v1.0 제품은 2021년 초, 해외 판로 개척에 성공하였으며, 이는 해당 분야에서 국산 제품이 국외로 진출한 첫 사례이기도 함

- 국외판매 여부 : 2021. 01.부터 베트남 000 사이트를 통해 판매중

- 이용자 수 : 100 여개 기관 (라이센스 수)

- 해외매출액 : 000 백만원

○ (국내시장) ABC v1.0 제품은 2020년에 베타 버전을 배포하여 시범 운영을 수행하였고, 2021년 초 1.0 버전을 출시하여 현재 동 산업 내 점유율 1위를 확보하고 있음

- 국내판매 여부 : 2021. 01.부터 000 사이트를 통해 판매중

- 이용자 수 : 100 여개 기관 (라이센스 수)

- 국내매출액 : 000 백만원

- 시장점유율 : 00 %

구분	2020년	2021년
산업규모(A)	100 백만원	200 백만원
기업 매출액(B)	10 백만원	40 백만원
시장 점유율(B/A)	10%	20%
시장 점유율 순위	2위	1위

○ 미래 성장 가능성 (자유 서술)

※ 위 내용은 간단한 작성 샘플일 뿐이며, 실제 작성시 ‘[첨부3]의 심사자료 작성 내용’을 기반으로 자유롭게 서술(분량제한 없음)

※ 서술 내용을 증빙할 수 있는 근거 자료는 수상 기업에 한하여 추후 제출 요청 예정