1.7가변 보상 — 강화학습과 도파민 루프

스키너는 보상의 총량이 아니라 스케줄이 행동의 강도와 지속성을 결정함을 보였다. 고정 스케줄보다 가변 스케줄이 더 높은 반응률을 만들고, 결정적으로 소거에 저항한다 — 매번 받던 쥐는 보상이 끊기면 곧 멈추지만, 가끔 받던 쥐는 끊긴 뒤에도 오래 누른다. "이번엔 나올지도 모른다"가 꺼지지 않는 것이다.

반세기 뒤 신경과학이 회로를 열어 봤다. 슐츠의 관측(1997)에서 도파민 뉴런은 보상 자체가 아니라 예측 오차에 발화했다 — 예측된 보상에는 침묵하고, 예측 못 한 보상에 발화하고, 예측했는데 오지 않으면 기저 아래로 떨어진다. 갈망의 연료는 보상이 아니라 보상의 불확실성이다.

Dopamine ∝ Reward_실제 − Reward_예측. 완전히 예측되는 보상은 신호가 0으로 수렴한다 — 확실한 보상은 지루해진다. 지속성의 부등식이 따라온다. Persistence_가변 ≫ Persistence_고정.

경계를 긋는다. C로 환원되지 않는다 — 불확실한 것에 주의가 가는 것이 정보 수집이라면, 확률표를 전부 아는 도박꾼이 멈추지 못하는 것은 설명되지 않는다. Now와는 곱해지는 관계다 — 즉각적이면서 가변적인 보상이 가장 강하게 문다. 관객 제거 테스트는 통과한다 — 혼자 확인하는 낚싯대, 혼자 당기는 레버.

주사위 — 확인된 가장 오래된 놀이 도구가 확률 기계라는 사실. 문명들이 서로를 모른 채 같은 물건을 만들었고, 여러 문명이 그것을 금지했고, 금지는 반복해서 실패했다.

낚싯대 — 물 밑은 보이지 않고 입질은 예고 없이 온다. 노동이면서 놀이가 되는 활동은 대부분 이 스케줄 위에 있다 — 사냥, 낚시, 채굴, 탐사.

신탁의 모호함 — 가끔만 적중하는 예언이 만드는 신심. 매번 응답되는 기도였다면 종교는 거래가 됐을 것이다. 응답의 불확실성이 기도를 갈망으로 바꾼다.

봉인된 팩 — 무엇이 들었는지 모르는 채로 여는 순간 자체를 파는 상품들. 한 장의 기대값은 계산할 수 있지만, 뜯는 손은 기대값으로 움직이지 않는다.

보상의 총량이 아니라 스케줄이 행동을 만든다. 같은 예산이라면 확실한 보상보다 가변 보상이 더 오래 붙잡는다 — 그래서 이 변수는 몰입 설계의 핵심 부품이면서, 착취 설계의 단골 부품이다. 시스템 층위에서 이 응용을 다시 다룬다.

설계자와 사용자 모두에게 판별식은 같다. 이 불확실성은 세계의 것인가, 누군가 제조한 것인가. 낚시의 불확실성은 바다가 만들고, 뽑기의 불확실성은 설계자가 만든다.

확실한 보상은 거래를 만들고, 불확실한 보상은 갈망을 만든다.