1. 데이터셋 구조 및 엄격한 무누수(Zero-Leakage) 격리 게이트
2. 단일 측면 사진 기반 멀티모달 특징 추출 및 3차원 기하 캐시 (추론 시 100% 사용 가능)
3. 특권 정보 교사 신경망 (Zero203MVTeacherV3Net — 학습 전용 다각도·상단·리얼센스 3D 교차검증 선생 모델)
4. 학생 신경망 (Side1Zero203V4Net) — [전반부] 16:9 비전 백본 · 24채널 공간 융합 · 패치 물리 적분
5. 학생 신경망 (Side1Zero203V4Net) — [후반부] 10갈래 멀티모달 트렁크 & 8개 물리 후보 게이트 헤드
6. 다중 물리·증류 복합 손실 함수 (총 9개 항) 및 학습 최적화·가중치 평균(EMA + Top-3 SWA)
7. 추론(테스트) 파이프라인 · 이종 모델 수축 심플렉스 앙상블 · 결측 처리 및 실측 성적
대표 측면 1장 선택
train + extra (3,783개)
상단·다각도·센서
패치 적분 + 시각 특징
교차검증 추론 저장
s_img [B,3,336,602]
s_g [B,24,24,43]
품목 임베딩·비중
s_clip, f3d, sam_emb
cf, vlm5, d10
T_448/768/1024, E_kb
s_pat [B,D,24,43]
p_tok [B,P,256]
p_tok [B,P,256]
kb_patch_comp [B,P,5]
전역 s_cls
c3(생화학), c4(밀도), M_patch
은닉 표현 h [B,256]
h, M_hat
8개 후보 [B,8,4]
y5_T, h_T, z_ov_sal
ov_proj, ht_proj
y5, cands, 조성비율
역전파 기울기
증류 기울기
EMA / Top-3 SWA 가중치
모델별 2회 반전 평균 예측
P_va, P_te [M, N, 5]
영양소별 최적 가중 합산
최종 507개 접시 예측 완료
전체 데이터셋 구성 (총 4,566개 접시)
• 기본 학습 (train): 2,478개
(상단 사진 + 다각도 측면 + 리얼센스 3D 보유)
• 추가 학습 (extra_rgb_train): 1,305개
(상단·측면 사진만 보유, 거리 센서 없음)
• 검증 (val): 276개 (측면 보유 260 / 결측 16)
• 시험 (test): 507개 (측면 보유 474 / 결측 33
)
무누수(Zero-Leakage) 5대 격리 원칙
1) 추론 시 오직 대표 측면 사진 1장만 사용
(dish_ud_frames[i][-1], 상단·센서 0%)
2) 203종 구내식당 식재료 어휘·그램표 0%
3) 모든 평균·표준편차는 기본 학습(train)만 사
용
4) 최근접 이웃 검색 사전도 train 내부만 참조
5) 교사 증류는 학습(3,783개) 내부 교차검증만
사용
① 단일 측면 원본 이미지 & 실시간 기하·색상 증강 (Side1Zero203V4Dataset)
• 16:9 원본 비율 그대로 복원하여 가로 1.78배 찌그러짐 제거
- EVA02 입력 텐서: s_img [B, 3, 336, 602] (패치 격자 24×43 = 1,032 토큰)
- ConvNeXt 입력 텐서: s_img [B, 3, 320, 576] (특징 격자 10×18 = 180 셀)
• 학습 증강: 좌우 반전(p=0.5), 중앙 확대 크롭(0.95~1.0), 채널별 밝기·색상 흔들림(0.92~1.08)
② 24채널 공간 기하·깊이·음식분할 텐서 (s_g: [B, 24, H_g, W_g], RGB 크롭·반전과 정밀 정렬)
• [14채널] UniDepth v2 단안 깊이 (g_ud): 반복 가중 최소제곱법(IRLS)으로 기울어진 2차 비대칭 식탁 평면
(1, r, c, r², c², rc) 제거 후 순수 음식 높이·부피·유효 전경 마스크 산출
• [6채널] Depth-Anything-V2 Metric Large @ 518×924 (g_dav, 70×126 격자):
고해상도 16:9 깊이(d_dav), 2차/선형 평면제거 높이(hq, hl), 부피(vol), 국소 돌출(h_loc), 경사(slope
)
• [4채널] SAM 2.1 무감독 음식·접시 분할 마스크 (g_sam, 원본 [4, 35, 63] → [4, H_g, W_g]):
내부 4×4 전경 격자점 + 중앙 5개 접시 점 프롬프트로 음식 영역·접시 테두리 분리
③ 전역 시각·3차원 기하 요약 벡터
• s_clip [B, 1024]: 단일 측면 CLIP 임베딩
• f3d [B, f3d_dim]: 단안 깊이 전역 3D 통계 +
SAM 2.1 음식·접시 기하 특징(24차원, train 정
규화)
• sam_emb [B, 512]: SAM 2.1 다중 스케일
특징 피라미드(FPN) 임베딩
④ 다중 해상도 시각-언어 모델(VLM) 추론
• 모델: gemini-3.5-flash-lite (203종 목록 미
제공)
• 448px 전역 영양소 + 768px 자유어휘 품목 분해
+ 1024px 고해상도 영양 밀도(d10 [B, 4])
• 보정 피처 cf [B, cf_dim] (학습 시 노이즈 +0
.05)
• 물리 환산용 vlm5_phys [B, 5]
⑤ 텍스트 임베딩 4종 + 개방형 음식 성분 사전(ItemKB) + 최근접 이웃 밀도 캐시
• gemini-embedding-2 임베딩 4종: T_448, T_768, T_1024, E_kb (각각 [B, 3072])
• 개방형 품목 사전 (203종 고정 목록 아님): 품목 임베딩 vocab_emb [V, 3072] & 5성분 비율표 vocab_comp
5 [V, 5]
→ 접시별 자유 추출 품목 최대 8개 인덱스 item_idx [B, 8] 및 예상 비중 item_w [B, 8]
• 학습 세트 내부 시각·텍스트 유사 접시 검색: 최근접 이웃 밀도 knn_dens4 [B, 4] + 신뢰도 sim_conf [B,
6]
교사 전용 특권 입력 (학습 3,783개 전용)
• 상단 RGB 사진: ov_img [B, 3, 448, 448]
• 다각도 측면 사진들: s_imgs [B, S, 3, 336, 336]
• 리얼센스 3D 격자: g3d [B, 32, 32, 5] + 로그 4ch
• 리얼센스 전역 3D 통계: f3d_rs [B, 65]
• 다중 시점 CLIP [B, 3072] + VLM/텍스트/ItemKB
※ 칼로리 층화 2등분 교차검증(Out-of-Fold) 학습
교사 비전 인코더 & 32×32 리얼센스 패치 적분기
• EVA02-Large (상위 블록 미세조정, RoPE 위치인코딩):
- 상단 토큰 [B, 1025, 1024] → z_ov [B, 384]
- 다각도 측면 어텐션 풀링(side_attn) → z_side [B, 384]
• 1,024개 상단 패치 융합: [ov_pat(1024), g3d(9), s_ctx(1
28)]
→ Linear→GroupNorm+Conv2d(3×3) → ph [B, 1024, 160]
• 패치 질량 dm = (Softplus(patch_rho)*g3d + res)*mask
• 패치 5성분 Softmax(patch_comp) + ItemKB 교차 어텐션
교사 멀티모달 트렁크 & 8개 물리 후보 결합
• 결합 차원 2,256 = ov(384)+side(384)+p3d(320)
+clip(320)+f3d(192)+cf(224)+txt/kb(144×3)
• trunk: Linear(2256→768)→LN→SiLU→Drop(0.25)
→ Linear(768→512)→LN→SiLU→Drop(0.20) → h_T [B, 512]
• 전역·패치 5성분 비율 손실(l_frac_g + l_frac_p) 학습
• 교사 v3(15.29%) + v2(17.08%) 블렌드:
학습 2,478개 교차검증 오차 15.12% (질량 8.68%)
추출된 교사 증류 타깃 캐시 (oof_mv_teacher_zero203_blend.
npz)
• y5_T [B, 5]: 교사의 5대 영양소·질량 소프트 예측값
• h_T [B, 512]: 교사 트렁크 512차원 은닉 특징 벡터
• z_ov_sal [B, 1024]: 상단 사진 전경(음식) 시각 요약 벡터
• w_comp_T [B, 5] & M_patch_T [B]: 5성분 비율 & 패치 질
량
(※ 현재 학생 v4 손실에는 y5_T, h_T, z_ov_sal 3종 활성,
w_comp_T·M_patch_T 및 2D 상단 맵 복원은 차기 확장 포인
트)
① 직사각형 16:9 비전 백본 (RectVisualBackbone)
• 주력 백본 EVA02-Large (eva02_large_patch14_448, dynamic_img_size=True, 336×602 입력):
- 하위 블록 동결 + 상위 12~14개 Transformer 블록 & norm/fc_norm 미세조정
- 출력: 전역 클래스 토큰 s_cls [B, 1024] + 2차원 패치 특징 맵 s_pat [B, 1024, 24, 43] (P=1,032 패치)
• 보조 백본 ConvNeXt-Large (320×576 입력, 마지막 2개 스테이지 미세조정):
- 출력: 전역 평균 풀링 s_cls [B, 1536] + 공간 특징 맵 s_pat [B, 1536, 10, 18] (P=180 셀)
② 24채널 기하 스템 & 패치 특징 융합
• spatial_stem(s_g [B, 24, H_g, W_g]):
Conv2d(24→64, 3×3) → GELU →
Conv2d(64→192, 1×1) → GELU → sp_g [B, 192, H_g,
W_g]
• 패치 결합 [s_pat, sp_g] (채널 D_vis+192)
→ patch_in: Linear→LayerNorm→GELU ([B, 256, H_g,
W_g])
• 잔차 깊이별 그룹 합성곱 (patch_conv2d):
p_h = p_h + Conv1x1(GELU(Conv3x3_g16(p_h)))
→ 평탄화 패치 토큰 p_tok [B, P, 256]
③ 개방형 품목 사전 ↔ 패치 교차 어텐션
• 품목 키 투영: item_key_proj(vocab_emb_n)
Linear(3072→384)→LN→GELU→Linear(384→192)
→ 접시 내 8개 품목 키 K [B, 8, 192]
• 패치 쿼리: Q = patch_item_q(p_tok) [B, P, 192]
• 어텐션: Softmax(Q K^T / √192 + log(item_w))
→ att_kb [B, P, 8] × 품목 5성분표 [B, 8, 5]
→ 패치별 사전 기반 5성분 kb_patch_comp [B, P, 5]
④ 공간 패치 질량 분배 & 5성분 생화학 물리 적분기 (Atwater 질량 보존 경로)
• 총 패치 질량 게이트: M_patch = mass_mean × exp(tanh(MLP([s_cls, f3d_h[:128]])) × 1.4) [B]
• 패치별 질량 비중: w_m = Softmax(patch_m_res(p_tok)) [B, P] → 셀 질량 m_p_cell = M_patch × w_m [B, P]
• 시각 패치 5성분 v_comp_p = Softmax(patch_comp(p_tok)) [B, P, 5] ([지방, 단백질, 탄수화물, 수분, 식이섬유])
• 신뢰도 게이트 결합: blend_comp_p = (1 - 0.35·kb_act)·v_comp_p + (0.35·kb_act)·kb_patch_comp
→ 접시 패치 평균 5성분 w_comp_patch = Σ_p (w_m · blend_comp_p) [B, 5]
• [후보 c3 생성] y_patch_phys: 지방·단백·탄수 g = M_patch × w_comp_patch[:3], 열량 = 0.5·y_raw_kcal + 0.5·(9F+4P
+4C)
• [후보 c4 생성] y_patch_raw = Σ_p (m_p_cell × Softplus(patch_rho(p_tok))) [B, 4]
⑤ 10갈래 멀티모달 투영 & 공변량 이동 드롭아웃 트렁크 (총 결합 차원 = 1,952)
• 시각·기하 5갈래: vis_glob(s_cls) [256] + p_h 공간평균 [256] + clip_proj [160, drop 0.20]
+ f3d_proj [224, drop 0.12] + sam_proj [192, drop 0.18]
• VLM·지식 5갈래 (강한 드롭아웃으로 추론 시 시점 차이 강건성 확보): cf_proj [224, drop 0.30]
+ t4_proj [160] + t7_proj [160] + t10_proj [160] (각 drop 0.28) + ekb_proj [160, drop 0.25]
• 결측 마스크 곱셈(mask_br) 후 결합 cat_all [B, 1952]
• trunk: Linear(1952→768) → LN → GELU → Drop(0.18) → Linear(768→256) → LN → GELU → 은닉 표현 h [B, 256]
⑥ 전역 질량 결합 & 특권 정보 복원 브릿지 (추론 시 추가 입력 불필요)
• 전역 질량 M_glob = mass_mean × exp(tanh(mass_head(h)) × 1.45) → 통합 질량 M_hat = 0.65·M_glob + 0.35·M_pat
ch
• 상단 전경 복원 브릿지: ov_proj = ov_bridge(h) Linear(256→1024) (상단 음식 시각 특징 추론)
• 교사 표현 복원 브릿지: ht_proj = ht_bridge(h) Linear(256→512) (다각도·센서 교사 표현 추론)
⑦ 8가지 직교 물리·생화학·검색 예측 후보 생성기 (cands: [B, 8, 4])
• c0 (직접 회귀): Softplus(dir5(h))[:, :4]
• c1 (전역 밀도곱): M_hat × Softplus(dens_head(h))
• c2 (전역 5성분 심플렉스): w_comp_glob = Softmax(comp_head(h)) → M_hat × 비율[:3], 열량 = 9F + 4P + 4C
• c3 (패치 생화학 적분): y_patch_phys | • c4 (패치 원시 밀도 적분): y_patch_raw
• c5 (칼로리·지방 정밀 보정기): y4_dens × (1 + 0.25·tanh(gamma(h))) + 0.15·cal_fat_ref([h, y4_mix])
• c6 (VLM 물리 밀도 환산): M_hat × (vlm5_phys[:4] / clamp(vlm5_mass, min=10g))
• c7 (유사 접시 검색 + 1024px 밀도 게이트): M_hat × (kg_0·knn_dens4 + kg_1·d10), kg = Softmax(knn_gate([h, si
m_conf]))
⑧ 소프트맥스 후보 게이트 결합 & 최종 5차원 출력
cand_w = Softmax(cand_gate([h, sim_conf])) [B, 8] → y4_final = Σ (cand_w · cands)
M_final = 0.65·M_hat + 0.35·y5_dir[:, 4] ⇒ 최종 출력 y5 = [칼로리, 지방, 단백질, 탄수화물
, 질량] [B, 5]
직접 정답 감독 손실 6개 항 (고칼로리 수축 보정 가중치 pw 적용)
• pw = clamp((0.35 + 0.65·(cal / cal_mean))^0.40, 0.60, 1.50) × sw
• 1.25 · l_main: 5대 항목 가중 백분율 절대오차 (가중치 [1.0, 1.75, 1.05, 1.05, 1
.15])
• 0.32 · l_log: pw 가중 SmoothL1(log1p(y5), log1p(y_true), β=0.08)
• 0.55 · l_cands: 8개 후보 각각의 개별 백분율 절대오차 가중 합산
• 0.45 · l_mp: 패치 적분 질량 M_patch 백분율 오차
• 0.25 · l_fref: 지방 보정기 F_ref 백분율 오차
• 0.40 · (l_fg + 0.5·l_fp): 크기 불변 정답 분율 frac_true = [F/M, P/M, C/M]
대비 전역(w_comp_glob) 및 패치(w_comp_patch_dish) 조성 비율 L1 오차
특권 정보 지식 증류 손실 3개 항 (학습 세트 내부에서만 활성)
• 0.22 · l_dist (수치 소프트 타깃 증류):
SmoothL1(log1p(y5), log1p(y5_T), β=0.10)
• 0.10 · l_ht (교사 멀티뷰·3D 트렁크 특징 대조 증류):
InfoNCE(normalize(ht_proj), normalize(h_T), τ=0.10)
• 0.08 · l_ov (상단 전경 시각 요약 대조 증류):
InfoNCE(normalize(ov_proj), normalize(z_ov_sal), τ=0.09)
※ 고급 증류 개선 여지: 상단 28×28 부피·성분 지도 복원,
미사용 w_comp_T·M_patch_T 연결, 교사 오차 기반 신뢰도 가중치
학습 최적화기 & 일반화 안정화 레시피
• 정밀도: CUDA bfloat16 자동 혼합 정밀도
• 샘플 가중치: 기본 train 2배 오버샘플 + extra_rgb 0.65배
• 최적화기: AdamW (weight_decay=0.04, 기울기 클리핑 2.0)
• 차등 학습률 + 2에폭 워밍업 코사인 감쇠:
- 비전 백본: 2.4e-5 (EVA02) / 3.5e-5 (ConvNeXt)
- 헤드·트렁크: 5.0e-4 ~ 5.5e-4
• 지수 이동 평균(EMA, decay=0.996) 상시 업데이트
• 검증 260개 기준 상위 3개 시점 가중치 평균(Top-3 SWA) 선택
① 테스트 시점 추론 (단일 측면 사진 1장만 사용, 상단·리얼센스·교사 불필요)
• 원본 16:9 측면 이미지(tta_fh=False) + 좌우 반전 이미지(tta_fh=True) 2회 순전파 평균
(24채널 깊이·분할 맵 s_g도 동일하게 반전 정렬하여 기하 일관성 유지)
• 각 모델이 검증 예측 p_va [276, 5], 시험 예측 p_te [507, 5], 특징 h_vis [N, 256] 저장
② 다중 이종 모델 풀 (서로 다른 시각 구조 × 시드 × 특징 표현 결합)
• EVA02-Large 계열: v4 (16:9 336×602 + 24ch SAM2/DAV2/UD), v3 (448² + 20ch), v2b (s42, s102)
• ConvNeXt-Large 계열: 384² / 16:9 320×576 합성곱 특징 계층 모델 (다중 시드)
• SigLIP & DINOv2 계열: 대조 언어-시각 사전학습 / 단안 깊이 사전학습 백본 학생 모델
• 고정 멀티모달 특징 다층 퍼셉트론(s5_tab) 및 직교 회귀 모델 결합 (11개+ 모델 풀)
③ 과적합 방지 수축 심플렉스 앙상블 보정기 (ensemble_side1_zero203_v2.py)
• 측면 보유 검증 접시(260개)를 칼로리 순서로 5등분 교차검증 분할
• 5개 타깃 항목(칼로리·지방·단백질·탄수화물·질량)별로 독립 가중치 벡터 w_c ∈ [0,1]^M 최적화:
목적함수 = 백분율 절대오차(PMAE) + l2_unif × || w_c - (1/M) ||² (제약: Σ w_c = 1, SLSQP)
• 후보 정규화 계수 l2 ∈ {0.02, 0.05, 0.10, 0.25, 0.50, 1.00} 중 교차검증 최고 계수 자동 채택
(교차검증 이득이 0.05%p 미만이면 균등 평균으로 자동 복귀해 검증셋 과적합 원천 차단)
④ 측면 사진 파일 0장 결측 접시 처리
(검증 16/276개, 시험 33/507개는 원본 폴더 비어 있음)
검증 전체(276개) 확인 후 결측 접시를 기본 학습 중앙값(med
_tr)으로 안전 대체
⑤ 최종 출력 및 현재 실측 성적 요약 (4대 영양소 평균 백분율 절대오차 기준)
• [교사 모델 — 상단+다각도+리얼센스, 학습 2,478개 교차검증]: 15.12% (질량 8.68%)
• [학생 단일 최고 완료 (eva02_s102_v2b, 측면 1장)]:
검증(260) 18.60% | 시험(474, 측면 보유) 20.01% | 시험(507, 전체) 22.82%
• [학생 11모델 자동 앙상블 (v4 반영 전, 측면 1장)]:
검증(260) 18.33% | 시험(474, 측면 보유) 19.98% (질량 13.11%) | 시험(507, 전체) 22.75%
• [학생 4차 신규 모델 (eva02_s42_v4, 18/32바퀴 진행 시점 기록)]:
검증(260) 17.89% (칼로리 13.73%, 지방 17.54%, 단백질 21.79%, 탄수화물 18.50%, 질량 11.94%)
Snap
Export / Import ▾
Export PNG (2x)
Export SVG
Export JSON (.whiteboard.json)
Save Updated HTML
Import JSON...
Reset to Initial Board
?
Small
Medium
Large
XL
Solid
Dashed
Curved
Straight
Elbow
Front
Back
Dup
Del
V
H
N
R
O
D
T
F
A
P
E
−
100%
+
Fit
Whiteboard Shortcuts
✕
Select
V
Pan / Hand
H / Space
Sticky Note
N
Rectangle
R
Ellipse
O
Diamond
D
Text
T
Frame
F
Arrow
A
Pen
P
Eraser
E
Edit Text
Double-click
Undo / Redo
Ctrl+Z / Y
Duplicate
Ctrl+D
Copy / Paste
Ctrl+C / V
Fit Screen
0 / Shift+1