ISA에서 하드웨어로: 파이프라인

명령 하나를 한 사이클에: 단일 사이클 데이터패스

가장 단순한 구현부터 시작하자. 클럭이 한 번 똑딱일 때마다 명령 하나를 처음부터 끝까지 처리하는 CPU다. 이런 CPU에서 데이터가 흐르는 길을 데이터패스(datapath)라 하고, 어느 길을 열고 닫을지 정하는 부분을 제어 유닛(control unit)이라 한다. RV32I의 거의 모든 명령은 다음 일곱 부품만 있으면 처리할 수 있다.

1. PC: 지금 실행할 명령의 주소를 담은 레지스터.
2. 명령어 메모리: PC가 가리키는 32비트 명령을 꺼낸다.
3. 레지스터 파일: x0–x31. 읽기 포트 두 개(rs1, rs2)와 쓰기 포트 한 개(rd).
4. 즉시값 생성기: I·S·B·U·J 형식에 흩어진 즉시값 비트를 모아 32비트로 부호 확장한다(4장).
5. ALU: 더하기·빼기·논리·시프트·비교.
6. 데이터 메모리: 적재·저장이 접근하는 메모리.
7. 선택기(mux): ALU 두 번째 입력(rs2냐 즉시값이냐), 레지스터에 쓸 값(ALU·메모리·PC+4), 다음 PC(PC+4냐 분기 목적지냐)를 고른다.

아래 데이터패스에서 명령 분류를 바꿔 보자. 그 명령이 실제로 쓰는 선만 파란 점선으로 흐르고, 쓰지 않는 부품은 흐려진다. 선 옆의 작은 글자는 제어 유닛이 내보내는 제어 신호(control signal)의 값이다.

제어 유닛은 opcode(그리고 funct3·funct7)만 보고 아래 표의 신호를 만든다. RISC-V는 형식이 여섯 가지뿐이고 opcode 칸이 언제나 [6:0]에 있어서, 이 표가 작고 규칙적이다.

5단 파이프라인: IF · ID · EX · MEM · WB

빨래를 생각해 보자. 세탁기가 돌아가는 동안 건조기를 놀리지 않으려면, 첫 빨래가 건조기로 넘어가자마자 다음 빨래를 세탁기에 넣으면 된다. CPU도 똑같다. 명령 처리를 다섯 단계로 자르고, 단계 사이에 값을 잠시 붙잡아 두는 파이프라인 레지스터(pipeline register)를 넣으면, 다섯 명령이 동시에 서로 다른 단계에 머물 수 있다. 명령 하나가 걸리는 시간(지연(latency))은 줄지 않지만, 단위 시간에 끝나는 명령 수(처리량(throughput))가 크게 는다.

데이터 해저드와 포워딩

파이프라인은 명령이 서로 독립일 때 가장 잘 돈다. 하지만 실제 프로그램은 앞 명령의 결과를 바로 다음 명령이 쓰는 일이 흔하다. 다음 코드를 보자.

add는 5번째 사이클의 WB에서야 x1을 레지스터 파일에 쓰는데, sub는 3번째 사이클의 ID에서 x1을 읽는다. 쓰기 전에 읽으려는 이 상황을 RAW 해저드(read-after-write hazard)라 한다. 가장 단순한 해결은 sub를 ID에 붙잡아 두는 것(멈춤(stall))이지만, 두 사이클이나 손해다.

그런데 잘 보면 x1의 값은 3번째 사이클 EX가 끝날 때 이미 계산되어 EX/MEM 레지스터에 있다. 레지스터 파일을 거치지 말고 그 값을 다음 명령의 ALU 입력으로 바로 돌려보내면 된다. 이것이 포워딩(forwarding, bypassing)이다.

포워딩 유닛은 EX 단계에 들어온 명령의 rs1·rs2 번호를 앞선 두 명령의 rd 번호와 비교하는 작은 비교기 묶음이다. 조건을 그대로 적으면 다음과 같다(rs2도 똑같다).

1번이 2번보다 앞서는 이유는, 두 명령이 모두 같은 레지스터를 썼다면 더 최근 명령의 값이 맞기 때문이다. 그리고 rd가 0인지 따로 검사하는 이유는 x0 때문이다.

적재-사용 해저드: 피할 수 없는 한 사이클

포워딩으로도 해결할 수 없는 경우가 있다. lw의 값은 데이터 메모리를 읽는 MEM 단계가 끝나야 나온다. 그런데 바로 다음 명령이 그 값을 EX에서 쓰려면, 같은 사이클의 시작에 값이 있어야 한다. 아직 존재하지 않는 값을 시간을 거슬러 보낼 수는 없으므로, 해저드 검출 유닛이 다음 명령을 ID에 한 사이클 붙잡고 EX에 아무 일도 하지 않는 거품(bubble)을 넣는다.

포워딩이 없을 때와 있을 때 멈추는 사이클 수를 의존 거리별로 정리하면 다음과 같다. 의존 거리 1은 “바로 다음 명령이 쓴다”는 뜻이다.

남은 한 사이클은 하드웨어 대신 컴파일러가 숨길 수 있다. 적재와 그 값을 쓰는 명령 사이에 서로 관계없는 명령을 끼워 넣는 명령어 스케줄링(instruction scheduling)이다.

제어 해저드와 분기 예측

분기 명령은 또 다른 문제를 만든다. 다음에 가져올 명령이 무엇인지 분기 조건을 계산해 봐야 아는데, 그 계산(두 레지스터 비교)은 EX 단계에서 끝난다. 그동안 IF는 놀 수 없으니 무언가를 가져와야 한다. 이 책의 파이프라인은 분기를 EX에서 판정하고, 그동안 일단 다음 주소(PC+4)를 계속 가져온다. 이것이 “불성립 예측”이다. 예측이 틀리면 그사이 가져온 두 명령을 폐기(flush)한다.

정적 예측: 뒤로 가면 성립, 앞으로 가면 불성립

루프의 맨 끝 분기는 대부분 성립해서 뒤(낮은 주소)로 간다. 반대로 if 문의 예외 처리 같은 앞쪽 분기는 대개 성립하지 않는다. 그래서 하드웨어 없이도 꽤 잘 맞는 규칙이 BTFN(backward taken, forward not taken)이다. RISC-V의 B형 즉시값은 부호 비트가 언제나 inst[31]에 있으므로, 분기의 방향(앞이냐 뒤냐)을 해독 전에 비트 하나만 보고 알 수 있다. 규격은 소프트웨어에게 이 규칙을 전제로 코드를 배치하라고 권한다.

동적 예측: 2비트 포화 카운터

정적 규칙은 분기의 실제 행동을 배우지 못한다. 분기 이력 표(BHT, branch history table)는 분기 주소마다 작은 카운터를 두고, 실제 결과를 볼 때마다 갱신한다. 가장 유명한 것이 2비트 포화 카운터다. 한 번 틀렸다고 곧바로 예측을 뒤집지 않기 때문에, 루프 끝에서 한 번 빠져나가는 일 때문에 다음 루프 첫 반복을 또 틀리지 않는다.

5단 파이프라인 시뮬레이터

이제 지금까지의 규칙을 모두 합쳐 보자. 아래 시뮬레이터는 프로그램을 먼저 이 책의 RV32I 에뮬레이터(Riscv.Machine)로 실제 실행해 진짜 실행 순서(어느 분기가 성립했는지)를 얻은 다음, 그 순서를 5단 파이프라인에 흘려보낸다. 따라서 표에 나타나는 분기 결과는 언제나 실제 실행과 같다. 모델의 가정은 이 장의 본문과 같다.

• 분기(beq 등)와 jalr는 EX에서 판정한다. jal의 목적지는 ID에서 계산한다.
• 레지스터 파일은 앞 절반에 쓰고 뒤 절반에 읽는다. 포워딩 경로는 EX/MEM → EX와 MEM/WB → EX다.
• 분기 목적지 버퍼(BTB)가 없다고 가정한다. 그래서 “성립”으로 예측해도 목적지를 아는 ID 단계에서야 방향을 바꾸므로 1사이클을 잃는다. 예측이 틀리면 EX에서 바로잡으며 2사이클을 잃는다.
• 프로그램은 ebreak나 종료 시스템 호출(li a7, 10 + ecall)로 끝낸다. 실행 명령은 최대 120개까지만 그린다.

RISC-V의 설계가 파이프라인을 돕는 방법

지금까지 본 해저드와 해법은 어느 ISA를 구현해도 만나는 것이다. 하지만 ISA가 어떻게 생겼느냐에 따라 같은 일을 하는 회로의 크기와 속도가 달라진다. RISC-V 규격은 비고(commentary)에서 이런 구현상의 이유를 여러 번 밝힌다.

① 레지스터 칸은 언제나 같은 자리

R·I·S·B 형식 모두 rs1은 [19:15], rs2는 [24:20], rd는(있다면) [11:7]이다. 그래서 ID 단계는 opcode가 무엇인지 알기 전에 이 두 칸으로 레지스터 파일을 읽기 시작할 수 있다. 쓰지 않는 칸을 읽었다면 결과를 버리면 그만이다. 해독과 레지스터 읽기가 병렬로 진행되는 것이다.

② 나머지 결정들

더 나아가: 슈퍼스칼라와 비순차 실행

5단 순차 파이프라인의 이상적인 CPI는 1이다. 그보다 빨라지려면 한 사이클에 여러 명령을 내보내는 슈퍼스칼라(superscalar), 그리고 준비된 명령부터 먼저 실행하는 비순차 실행(out-of-order execution)이 필요하다. 비순차 코어의 핵심 부품은 레지스터 이름 바꾸기(register renaming)다. 같은 아키텍처 레지스터(예: a0)에 쓰는 명령마다 새 물리 레지스터를 배정해, 진짜 의존성(RAW)만 남기고 가짜 의존성(WAR·WAW)을 없앤다.

그 밖에도 RISC-V 구현자들이 즐겨 쓰는 기법이 있다.

• 매크로 연산 융합(macro-op fusion): lui+addi, auipc+jalr, slli+add처럼 자주 붙어 다니는 두 명령을 해독 단계에서 내부 연산 하나로 합친다. ISA는 단순하게 두고 성능은 구현이 챙기는 방식이다. M 확장 규격이 mulh+mul의 권장 순서를 정해 둔 것도 융합을 염두에 둔 것이다(9장).
• 반환 주소 스택(RAS): jalr의 rd·rs1이 x1/x5인지에 따라 “호출”인지 “반환”인지 알려 주는 힌트가 규격에 정해져 있어, 반환 주소를 예측하는 하드웨어 스택이 이를 이용한다(5장).
• 가져오기 정렬: C 확장을 넣으면 IALIGN이 16비트가 되어 32비트 명령이 4바이트 경계나 캐시 줄 경계를 걸칠 수 있다. 그래서 C를 지원하는 코어는 가져오기 버퍼에서 명령 경계를 다시 맞춘다. 대신 명령 길이를 하위 2비트만 보고 알 수 있어 경계 찾기는 x86보다 훨씬 쉽다(13장).

파이프라인 속의 예외: 정밀한 트랩

파이프라인에는 여러 명령이 동시에 들어 있다. 그중 하나가 예외를 일으키면 어떻게 될까? 예를 들어 MEM 단계의 lw가 접근할 수 없는 주소를 읽으려 한다. 이때 그보다 먼저 들어온 명령은 끝까지 마쳐야 하고, 예외를 일으킨 lw와 그 뒤에 들어온 명령은 아무 흔적도 남기면 안 된다. 그래야 트랩 처리기가 보기에 “lw 직전까지 순서대로 실행된” 깨끗한 상태가 된다. 이것을 정밀한 예외(precise exception)라 한다.

5단 파이프라인에서 정밀성을 지키는 요령은 간단하다. 예외는 발견된 단계에서 바로 처리하지 않고 표시만 해서 파이프라인 레지스터에 실어 내려보낸다. 그리고 한 지점(보통 MEM 끝 또는 WB 직전, 커밋 지점(commit point))에서 프로그램 순서대로 확인한다. 그러면 ID에서 발견된 잘못된 명령 예외와 MEM에서 발견된 접근 오류가 동시에 생겨도, 더 앞선 명령의 예외가 먼저 처리된다. 레지스터와 메모리를 바꾸는 일이 모두 커밋 지점 뒤(MEM의 저장, WB의 쓰기)에 있다는 점이 이 방식을 가능하게 한다.

표에서 눈여겨볼 점이 둘 있다. 첫째, 분기 목적지의 정렬 오류는 목적지 명령이 아니라 분기 명령에서 보고된다. 규격이 그렇게 정한 이유는 “IALIGN=32인 구현에서 정렬이 어긋날 수 있는 곳이 분기·점프뿐이라 하드웨어 설계가 단순해지고 디버깅도 쉽기 때문”이다. EX에서 목적지를 계산하는 순간 바로 알 수 있다. 둘째, 정렬되지 않은 적재·저장을 어떻게 처리할지는 실행 환경(EEI)이 정한다. 하드웨어가 두 번 나눠 접근해 처리할 수도, 보이지 않는 트랩으로 소프트웨어가 흉내 낼 수도, 예외를 낼 수도 있다. 자연 정렬된 접근만은 어떤 경우에도 정렬 예외를 내지 않는다.

확인 퀴즈

더 읽을거리

• The RISC-V Instruction Set Manual, Volume I — RV32I Base Integer Instruction Set (v20260120): 형식 설계, 지연 슬롯, 비교-분기, 정적 예측에 관한 비고
• Volume I — Introduction: Exceptions, Traps, and Interrupts (v20260120)
• Volume II — Machine-Level ISA: mcause 예외 코드와 예외 우선순위 (v20260120)
• David A. Patterson, John L. Hennessy, Computer Organization and Design RISC-V Edition: The Hardware/Software Interface, Morgan Kaufmann — 4장(프로세서)이 이 장의 단일 사이클·5단 모델의 원형이다.
• John L. Hennessy, David A. Patterson, Computer Architecture: A Quantitative Approach, 6th ed. (2017) — 분기 예측, 비순차 실행, 이름 바꾸기
• Andrew Waterman, “Design of the RISC-V Instruction Set Architecture”, UC Berkeley 박사 논문 (2016)
• James E. Smith, “A Study of Branch Prediction Strategies”, ISCA (1981) — 2비트 포화 카운터
• James E. Smith, Andrew R. Pleszkun, “Implementation of Precise Interrupts in Pipelined Processors”, ISCA (1985)