SPEC

기타 동음이의어에 대한 내용은 스펙 문서 참고하십시오.

<colbgcolor=#07223e><colcolor=#ffffff> SPEC Standard Performance Evaluation Corporation

설립일	1988년
국가	[[미국\| 파일:미국 국기.svg 미국 ]][[틀:국기\| 파일: 특별행정구기.svg 행정구 ]][[틀:국기\| 파일: 기.svg 속령 ]] ^{(비영리 단체)}
본부	버지니아주 게인즈빌
구성멤버	하드웨어&소프트웨어 공급자, 대학, 연구센터
링크	www.spec.org

1. 개요2. SPEC 벤치마크 제품군

2.1. SPEC CPU

2.1.1. SPEC2006

2.1.1.1. 아난드텍 SPEC2006 결과

2.1.2. SPEC2017

2.1.2.1. 아난드텍 SPECrate2017 결과

[clearfix]

1. 개요

Standard Performance Evaluation Corporation[1], 즉 SPEC은 컴퓨터를 위한 표준화된 성능 벤치마크를 생산, 수립, 유지, 보증하기 위한 미국의 비영리단체이다.

1988년 설립되었으며 멤버로는 Intel, AMD, NVIDIA, ARM, 아마존닷컴, Apple, 오라클, 퀄컴 등의 기업과 대학, 연구센터로 이루어진 수백 개 단체가 가입되어 있다.

이곳에서 만드는 벤치마크는 SPEC 벤치마크라 불리며 컴퓨터 시스템을 평가하는데 널리 사용된다. 컴퓨터공학과라면 수업 시간에 한 번쯤은 다루고 지나가게 되는 벤치마크이며 논문이나 기업의 공식 자료에 자주 인용되는 산업표준에 가장 가까운 벤치마크이다. 인텔, AMD, ARM이 새로운 CPU의 성능을 발표할 때도 SPEC 벤치마크 기준으로 발표하는 경우가 많다.

2. SPEC 벤치마크 제품군

SPEC 벤치마크는 클라우드, CPU, 그래픽, 워크스테이션, OpenCL, 스토리지, 파워 등 수많은 제품군을 평가하기 위해 다양한 종류로 개발되어 있다.
현재 판매되고 있는 벤치마크 종류는 크게 28가지이며, 단일 CPU 성능을 평가하는 데 주로 쓰이는 SPEC CPU의 경우 라이선스 하나에 1000달러에 판매되고, 워크스테이션을 평가하기 위한 SPECworkstation의 경우 상업용 라이선스가 5000달러에 판매되고 있다.

2.1. SPEC CPU

SPEC2017과 SPEC2006은 서로 다른 시스템, 서로 다른 아키텍처, 서로 다른 마이크로아키텍처 간의 성능을 비교하는데 표준이 되는 테스트이다.

CPU 설계 초기 단계엔 벤치마크 테스트를 RTL 시뮬레이션이나 ASIC 에뮬레이션을 통해 수행하는데, 일반적으로 ASIC 에뮬레이터는 현실보다 1000배 느리며 RTL 시뮬레이터는 ASIC 에뮬레이터보다 1000배 느리다. 따라서 Dhrystone이나 Coremark같은 작은 단위의 동일한 연산을 반복하여 수행하는 테스트를 주로 사용하여 성능을 검증하고, 전력 소모량을 예측한다. 하지만 Dhrystone과 Coremark가 정수연산만을 수행하고 부동소수점 연산이 포함되어 있지 않으며, 단순 연산만을 반복하기 때문에 CPU의 실제 연산 능력을 모두 표현하지 못한다는 단점이 존재했다. 따라서 SPEC은 SpecInt와 SpecFP 두가지 큰 틀 아래 각각 정수연산과 부동소수점 연산을 테스트 할 수 있도록 구성되어 있다.

SpecInt와 SpecFP는 실제 사용자가 CPU를 통해 주로 수행하는 코드컴파일과 인터프리터연산(perlbench, gcc), XML처리(xlancbmk), 비디오압축(x264), AI(deepsjeng,leela,exchange), 압축(xz), 각종 물리연산과 시뮬레이션(bwaves,cactuBSSN,namd,parest,povray,lbm,wrf 등) 같은 다양한 연산을 테스트에 반영하고 있다. 물론 Dhrystone과 Coremark에 비해 각 테스트의 연산량이 많고, 종류가 다양하기 때문에 반도체 설계 단계에서 RTL 시뮬레이션이나 ASIC 에뮬레이션으로 이를 수행하는 것에는 여전히 무리가 따르며, 이를 위해 통계학적으로 특이점만 추출해 테스트 하는 SimPoint 기법을 활용한다.

SPEC에 참여한 기업 목록에서 짐작 할 수 있겠지만, ARM과 x86 두 아키텍처 간의 비교에 사용하는데 무리가 없으며 두 진영 모두 프로세서 설계 단계에서 SPEC을 적극 활용하고 있다.

여담으로, 벤치마크를 컴파일할 때 사용한 컴파일러 종류나 플래그에 따라 결과가 달라질 수 있으므로 일관된 환경에서 컴파일된 벤치마크로 테스트하는것이 중요하다.[2]

현재 최신 버전은 SPEC2017이며 이전 버전은 SPEC2006이다.

2.1.1. SPEC2006

SPEC2006
SPECint2006 정수 연산성능 평가	SPECfp2006 부동소수점 연산성능 평가

2006년에 공개되었다.

후속 버전인 SPEC2017이 이를 대체하게 되었지만 여전히 구성이 알차고, ~~2017에 돈을 또 쓰긴 아깝고[3]~~ 최신 명령어 셋을 사용하도록 빌드되기 때문에 현재까지도 공식 성능 발표나 논문에 자주 인용되는 벤치마크이다.

정수 연산을 평가하기 위한 SPECint2006과 부동소수점 연산을 평가하기 위한 SPECfp2006으로 나뉜다.

각 항목의 처리 속도를 측정한 다음 기하평균을 내 전체 점수를 도출한다.

SPECint2006
인터프리터, 압축, 컴파일러, 조합 최적화 문제, 인공지능 바둑/체스, 양자 물리 컴퓨팅, 영상 처리, 이산 사건 시뮬레이션, 경로 최적화 알고리즘, XML 처리 등의 12가지 항목을 통해 정수 성능을 평가한다.

SPECfp2006
유체역학, 양자화학, 양자색역학, 전산유체역학, 레이 트레이싱, 음성 인식, 유한요소해석, 분자역학 등 17가지[4] 항목을 통해 부동소수점 성능을 평가한다.

2.1.1.1. 아난드텍 SPEC2006 결과

마이크로아키텍처별 벤치마크 결과이다. 아키텍처 규모가 클수록 클럭당 처리성능이 높은 경향을 보인다.[5]

밴더	마이크로프로세서	테스트 CPU	동작클럭	SPECint	SPECfp	SPECint @1GHz	SPECfp @1GHz	출처
Apple	Firestorm	M1	3.2	69.4	104.1	<colcolor=#3D99AA>21.68	<colcolor=#3D99AA>32.53	출처
Apple	Firestorm	A14	2.99	63.34	88.64	21.18	29.64	출처
Apple	Lightning	A13	2.65	52.82	70.28	20.18	26.52	출처
Apple	Vortex	A12	2.49	45.32	54.84	18.2	22.02	출처
Apple	Monsoon	A11	2.38	36.8	42.59	15.46	17.89	출처
Qualcomm	Kyro 680 Prime	Snapdragon 888	2.84	41.3	59.29	14.54	20.87	출처
AMD	Vermeer	5950X	4.9	68.53	94.08	13.98	19.2	출처
Samsung	Cortex-X1	Exynos 2100	2.91	39.28	58.34	13.49	20.04	출처
Samsung	Cortex-A78	Exynos 2100	2.81	36.03	51.88	12.82	18.46	출처
Qualcomm	Kyro 680 Gold	Snapdragon 888	2.43	30.32	43.65	12.47	17.96	출처
Intel	Ice Lake	i7-1065G7	3.9	47.7	66.5	12.31	17.16	출처
Huawei	Cortex-A77	Kirin 9000	3.13	37.77	50.94	12.06	16.27	출처
Amazon	Neoverse N1	Amazon Graviton2	2.49	29.99	38.78	12.04	15.57	출처
Qualcomm	Kryo 585 Gold	Snapdragon 865	2.43	28.9	40.05	11.89	16.48	출처
Qualcomm	Kryo 585 Prime	Snapdragon 865	2.84	33.35	45.88	11.74	16.15	출처
Intel	Tiger Lake	i7-1185G7	4.8	55.28	72.42	11.51	15.08	출처
Qualcomm	Kryo 585 Prime	Snapdragon 865+	3.09	36.15	49.36	11.5	15.57	출처
Intel	Ice Lake	i7-1065G7	3.9	44.77	66.5	11.47	17.05	출처
Samsung	M5	Exynos 990	2.73	30.9	46.62	11.31	17.07	출처
Intel	Comet Lake	i9-10900K	5.3	58.58	75.11	11.05	14.17	출처
Apple	Icestorm	A14	1.82	20.03	18.4	11	10.1	출처
Intel	Coffee Lake	i9-9900K	5	54.28	75.15	10.86	15.03	출처
AMD	Matisse	3900X	4.6	49.02	73.66	10.66	16.01	출처
AMD	Matisse	3950X	4.7	50.1	72.7	10.65	15.46	출처
Intel	Coffee Lake	i3-8100B	3.6	37.5	46.53	10.41	12.92	출처
Huawei	Cortex-A76	Kirin 980	2.6	25.74	33.97	9.9	13.06	출처
Samsung	M4	Exynos 9820	2.7	26.3	34.24	9.74	12.68	출처
Huawei	Cortex-A76	Kirin 990	2.86	27.68	38.72	9.67	13.53	출처
Intel	Sky Lake	i5-6267U	3.3	31.5	37.45	9.54	11.34	출처
Qualcomm	Cortex-A76	Snapdragon 855	2.84	26.65	36.87	9.38	12.98	출처
Intel	Kaby lake R	i7-8550U	4	36.9	49.59	9.23	12.4	출처
Qualcomm	Cortex-A76	Snapdragon 855	2.43	22.41	31.93	9.22	13.13	출처
Samsung	M3	Exynos 9810	2.3	20.79	26.13	9.03	11.36	출처
AMD	Pinnacle Ridge	2700X	4.35	39.1	55.67	8.98	12.79	출처
Samsung	M3	Exynos 9810	2.7	23.76	29.81	8.8	11.04	출처
Apple	Thunder	A13	1.73	14.83	13.44	8.57	7.76	출처
Apple	Tempest	A12	1.54	12.07	12.25	7.83	7.95	출처
Apple	Mistral	A11	1.69	11.98	10.87	7.08	6.43	출처
Samsung	Cortex-A75	Exynos 9820	2.3	15.61	20.5	6.78	8.91	출처
Qualcomm	Cortex-A75	Snapdragon 845	2.8	17.69	22.93	6.31	8.18	출처
Qualcomm	Cortex-A73	Snapdragon 835	2.45	13.59	16.63	5.54	6.78	출처
Qualcomm	Cortex-A55	Snapdragon 855	1.8	5.42	5.56	3.01	3.08	출처
Samsung	Cortex-A55	Exynos 9820	1.95	5.08	5.16	2.6	2.64	출처

2.1.2. SPEC2017

<colbgcolor=#a6b1b7,#505050>	SPEC2017
<colbgcolor=#a6b1b7,#505050>	<rowcolor=#000000,#e5e5e5> SPECint2017 정수 연산성능 평가	SPECfp2017 부동소수점 연산성능 평가
<colcolor=#000000,#e5e5e5> 정해진 시간동안 처리하는 연산량 평가	SPECrate2017 Integer	SPECrate2017 Floadting Point
정해진 연산량을 처리하는 속도 평가	SPECspeed2017 Integer	SPECspeed2017 Floadting Point

2017년에 공개된 SPEC CPU 벤치마크의 최신 버전이다.

정수와 부동소수점 연산이 SPECrate와 SPECspeed로 나뉜다.

SPECint2017
인터프리터, 컴파일러, 영상처리, 인공지능, 데이터 압축 등 10개의 항목을 거쳐 정수 처리 성능을 평가한다.

SPECfp2017
폭발, 날씨, 대기, 해양 시뮬레이션 모델 구동, 상대성 이론, 분자역학, 레이 트레이싱, 유체역학, 의생명 영상공학등 14가지 항목을 거쳐 부동소수점 성능을 평가한다.

2.1.2.1. 아난드텍 SPECrate2017 결과

마이크로아키텍처별 벤치마크 결과이다. 캐시나 아키텍처 규모가 클 수록 클럭당 처리 성능이 높은 경향을 보인다.

밴더	마이크로프로세서	테스트 CPU	동작클럭	SPECint	SPECfp	SPECint @1GHz	SPECfp @1GHz	출처
Apple	Firestorm	M1	3.2	7.14	12.54	<colcolor=#3D99AA>2.23	<colcolor=#3D99AA>3.91	출처
Intel	Ice Lake SP	Xeon 8380	3.4	5.73	8.65	1.68	2.54	출처
Ampere	Neoverse N1	Altra Q80-33(monolithic)	3.3	5.2	6.12	1.57	1.85	출처
AMD	Vermeer	5950X	4.9	7.65	12.19	1.51	2.41	출처
Intel	Tiger Lake	i9-11980HK(45W)	5	6.91	11.13	1.38	2.22	출처
Amazon	Neoverse N1	Graviton2	2.49	3.36	5.3	1.34	2.12	출처
Intel	Cascade Lake	Xeon 8280	4	5.39	7.54	1.34	1.88	출처
Intel	Tiger Lake	i7-1185G7 (28W)	4.8	6.42	10.75	1.33	2.23	출처
Intel	Ice Lake	i7-1065G7(15W)	3.9	5.16	9.11	1.32	2.33	출처
AMD	Matisse	3950X	4.7	5.78	9.72	1.26	2.09	출처
AMD	Matisse	3900X	4.6	5.77	9.56	1.25	2.07	출처
Intel	Comet Lake	i9-10900K	5.3	6.34	10.12	1.19	1.91	출처
Intel	Coffee Lake	i9-9900K	5	5.95	9.59	1.19	1.92	출처
AMD	Renoir	4900HS (35W)	4.3	5.01	8.38	1.16	1.94	출처
AMD	Renoir	4800U (15W)	4.2	4.56	7.79	1.08	1.85	출처
AMD	Pinnacle Ridge	2700X	4.35	4.64	7.81	1.07	1.81	출처
Intel	Coffee Lake	i3-8100B	3.6	3.85	5.35	1.06	1.48	출처
Intel	Kaby lake R	i7-8550U	4	4.16	6.54	1.04	1.63	출처
Intel	Sky Lake	i5-6267U	3.3	3.27	4.81	0.99	1.45	출처

[1] 표준 성능 평가 기관[2] 아난드텍은 이 부분을 늘 명시하며 일관성 있는 벤치마크 결과를 꾸준히 게시하고 있다.[3] 벤치 한 카피당 1000달러씩 한다.[4] 3개는 C언어, 4개는 C++, 6개는 포트란, 나머지 4개는 C언어와 포트란을 둘 다 사용하여 짜여 있다.[5] 아키텍처가 같을 경우 캐시크기나 메모리의 영향을 받는다.

SPEC

1. 개요

2. SPEC 벤치마크 제품군

2.1. SPEC CPU

2.1.1. SPEC2006

2.1.1.1. 아난드텍 SPEC2006 결과

2.1.2. SPEC2017

2.1.2.1. 아난드텍 SPECrate2017 결과

분류