以下为个人学习笔记整理,课程官网传送门作业传送门会议系统传送门

# Real-time Physically-based Materials

  • Microfacet BRDF
  • Disney principled BRDF

# PBR and PBR Materials

Physically-Based Rendering(PBR):基于物理的渲染。虽然不仅仅指代材质但通常情况下用于描述材质。

# PBR materials in RTR

「PBR」的材质要满足实时渲染的效率需求,因此种类相比于离线渲染较少。且为了效率,通常情况下并非基于物理的渲染。

# For surfaces

针对物体表目的渲染有以下两种:

  • microfacet models:基于微表面模型的材质,并非「PBR」的
  • Disney principled BRDFs:针对艺术家操作方便的「BRDF」,也不是「PBR」的

image-20210617113821016

# For volumes

对于考虑体积的渲染(云、雾、毛发),为了效率通常考虑单光线多次散射结果,参考 GAME101 毛发渲染

# Microfacet BRDF

回顾 GAME101Microfacet

image-20210617114811729

# Fersnel Term——Formulae

描述入射光经过物体表面后能够被反射出的光线。

image-20210617161632351

# Normal Distribution Function(NDF)

描述微表面的发现分布。

image-20210617161904573

# Beckmann NDF 模型

类似高斯函数:

  • α\alpha :用于描述法线分布的「粗糙程度」,「粗糙程度」越小表示越接近镜面反射,分布函数越窄。
  • θh\theta_h :半程向量 hh 和法线 nn 的夹角。

image-20210617171820711

公式内 etan2θhα2e^{-\frac{tan^2\theta_h}{\alpha^2}} 中的 tanθtan\theta 实际上是对 θ\theta 做的一个映射,这样就可以把有限的 θ\theta 映射到无限大的 tanθtan\theta 域内。并且在 θ\theta 超过 9090^{\circ} 的情况下不会有值。这样就可以只统计半球区域了。

image-20210617172643961

公式内 πα2cos4θh\pi\alpha^2cos^4\theta_h 的作用是对结果进行归一化,希望最终的分布图在够映射到一个 1 x 1 圆内的同时,满足圆内各点的积分为 1。

image-20210617173559203

# GGX NDF 模型

「GGX」具备一个特性:「long tail」(长尾)

「长尾」的好处在于,在半程向量和法线夹角不断增大的过程中,光线强度的过度比较柔和。

image-20210617175548890

image-20210617183235455

# GTR(Generalized Trowbridge-Reitz)NDF 模型

引入了一个 γ\gamma 变量,同过其控制「长尾」长度。

image-20210617184106585

# Shadowing-Masking Term

用于解决微表面之间的「自遮挡」问题,对于某些位置需要进行一定的「暗化」操作。

image-20210617184420089

遮挡光线的被称为「Shadowing」,遮挡视线的被称为「Masking」。虽然两者存在联系,单方便起见一般单独考虑:

image-20210617185654423

由于「自遮挡」在「观察方向」垂直于「法线」方向时最为剧烈,反之「观察」方向和「法线」方向平行时几乎为 0,因此可以定义一个用于描述「自遮挡」的函数来达到更加真实的效果。

image-20210617185350549

「自遮挡」项的引入虽然能够解决画面边缘过白的问题,但是另一方面,由于只考虑了一次自遮挡(没考虑遮挡后的反射),这会使得在法线分布越「粗糙」的情况下,由于「自遮挡」而丢失的能量会越发的多,从而画面整体更暗。

image-20210617190846831

image-20210617190905002

如何才能够补回原来丢失的能量呢?

  • 计算多次弹射「Multiple Bounces」:很慢,在实时渲染中不太适用。
  • Kulla-Conty Approximation:工业界常用的解决办法。
# Kulla-Conty Approximation

对求面的积分函数如下:参考 GAME101

Sphere:S2Ω=S2dω=02π0πsinθdθdϕ=4π\text{Sphere: }S^2 \quad \Omega = \int_{S^2}d \omega = \int_{0}^{2 \pi}\int_{0}^{\pi} \sin \theta d \theta d \phi = 4 \pi

那么如果要计算一个 2D 的「BRDF」反射出的总能量,只需要积分球面上每个点对应的立体角内接收并反射出的能量。

其中 fr(p,wi,wo)cosθf_r(p,w_i,w_o) cos\theta 是「BRDF」项。

E(μo)=02π0π2Li(p,wi)fr(p,wi,wo)cosθsinθdθdϕE(\mu_o) = \int_{0}^{2 \pi}\int_{0}^{\frac{\pi}{2}} L_i(p, w_i) f_r(p,w_i,w_o) cos\theta sin\theta d\theta d\phi

这里假设 Li(p,wi)L_i(p, w_i) 为 1,并且 cosθsinθdθdϕcos\theta \ sin\theta \ d\theta \ d\phi 可简化为 sinθdsinθdϕsin\theta \ dsin\theta \ d\phi ,然后把 sinθsin \theta 视作 μ\mu,这样积分域也从 0π2010 \sim \frac{\pi}{2} \ \to \ 0 \sim 1

image-20210617191425480

因此,在一次反射之后,会损失 1E(μo)1 - E(\mu_o) 的能量。加上一部分自遮挡,因此需要考虑两次。

Ems(μo)=c(1E(μi)(1E(μo)))E_{ms}(\mu_o) = c(1 - E(\mu_i)(1 - E(\mu_o)))

加入系数 c=1π(1Eavg)c = \frac{1}{\pi(1 - E_{avg})} ,并对原公式进行一定程度的简化,系数 cc 的定义:

image-20210617214638143

把系数带入公式的最终结果:

image-20210617214815695

但是 EavgE_{avg} 未知,因此需要计算。

为了简化计算开销,可以预先对 EavgE_{avg} 进行预处理。根据公式可以计算出不同情况下 roughroughμo\mu_oEavgE_{avg}

image-20210617215944667

# Result

加入补偿项之后的结果对比。

image-20210618172516686

# What if the BRDF has color?

考虑颜色的情况下,「能量损失」 == 「被物体吸收的颜色」

定义一个 「Frensel Term」用于定义平均每次反射所损失的能量。

image-20210618184453915

因此,直接看到的物体表面的光线就是 FavgEavgF_{avg} \cdot E_{avg}

而没有被看见,并继续被反射一次的光线将会是 Favg(1Eavg)F_{avg}(1 - E_{avg})

继续被反射一次并且能够被看见的光线则是 Favg(1Eavg)FavgEavgF_{avg}(1 - E_{avg}) \cdot F_{avg} E_{avg}

...

最终经过 k 次反射并且能够被看见的能量将会是 Favgk(1Eavg)kFavgEavgF_{avg}^{k}(1 - E_{avg})^{k} \cdot F_{avg} E_{avg}

然后再把所有的能量相加,最终就可以得到「颜色项」(color term):

然后直接用没有考虑颜色的计算出着色的「BRDF」结果乘上这个「颜色项」就能得到颜色。—— 这里的 FavgF_{avg}EavgE_{avg} 都是三维向量,因此可以得到一个 rgb 的通道值。

image-20210618185727987

# Calc Color Result

image-20210618190346749

# Shading Microfacet Models

# Linearly Transformed Cosines(LTC)

「LTC」用于解决微表面模型的渲染:

  • 主要应用于「GGX」的模型,其他模型也能正常工作。
  • 不考虑阴影。
  • 处理面光源是「多边形」的情况

image-20210621151316383

# Key idea:

  • 考虑采用一种变换规则,把任意微表面的「BRDF」的 lobe 转为 cos 形式的微表面的 lobe。
  • 并且对应的光源经过类似变换得到一个新的光源。
  • 这样做的好处在于:最终得到的在 cos 上的积分是有解析解(analytic)的。

image-20210621152244939

因此,任意的「BRDF」都可以通过一个 M1M^{-1} 变化转变为 cos 的分布。

再针对所有的从光源到物体的光线方向都进行类似的变换。

便能够计算出变换后的多边形光源。

image-20210621153356792

# Approach:

假设面光源的任意位置的光线强度都是一样的

  • 把入射光方向替换为 cos 形式的变换方向。
  • 再进行「雅可比变化」,把 MwiMwi\frac{Mw_i^{\prime}}{||Mw_i^{\prime}||} 转化为 JdwiJdw_i^{\prime} 的形式。

image-20210621154236123

# Result

image-20210621155028738

# Disney‘s Principled BRDF

  • 「Mircofacet BRDF」对于物理材质的模拟不真实
    • 复合材料情况下,既有 diffuse 又有 glossy 时,微表面不能很好的处理
  • 「Mircofacet BRDF」对于设计者来说不太友好
  • 「Principled BRDF」虽然并不一定在物理上正确,但效果尚可且对艺术家友好。

# What is 「Principled」

「Principled BRDF」的涉及遵循以下几个原则:

  • 使用更加直观的参数来代替物理参数。
  • 参数数量应该尽可能的少。
  • 参数应该有一个合理的范围区间(0~1)。
  • 并且支持在某些情况下,可以让某些参数的数值超于阈值,以便达到艺术家想要的效果。
  • 参数的组合应该尽可能健壮,避免不同组合的情况下导致程序崩溃。

# How does it work

下图表示了单个参数不同取值情况下对画面的影响。

image-20210621161907161

# Pros and Cons

  • 容易调整,易于理解。
  • 不同参数组合可以达到多种材质效果。
  • 实现开源可用。
  • 不基于物理,但无伤大雅。
  • 参数之间存在交叉。

# Non-Photorealistic Rendering(NPR)

给画面一些风格上的渲染,使得整体表现上更趋于艺术。

# What is Photorealistic Rendering

接近照片拍摄的效果。正确的光照、阴影、几何。

image-20210621173103401

# Outline Rendering

  • 「B」Boundary /border edge:物体的外边界。
  • 「C」Crease:内部的折痕。
  • 「M」Material edge:材质的边界。
  • 「CS」Silhouette edge:物体的外边界,且有多个面共享的。

image-20210621174521832

# Outline Rendering —— Shading

Shading normal contour edges

对观察方向和法线方向垂直的部分进行涂黑,不过没办法保证边缘粗细一致。

image-20210621191239928

# Outline Rendering —— Geometry

Backface fattening

  • 对背朝观察方向的三角形,都往外扩一圈,然后进行渲染。
  • 由于背面的三角形都会大一些,而且背面三角形本身就看不见,因此渲染出来也是黑的。

image-20210621191818167

# Outline Rendering —— Image

Edge detection in images:

通常会使用「Sobel detector」来做图像的「filtering」

  • 让左右分界更加明显

image-20210621192734621

  • 让上下分界更加明显

image-20210621192758169

# Color blocks

锐化色块之间的边界。

  • Hard shading:thresholding on shading
  • Posterization:thresholding on final image color

image-20210621200153502

「Quantization」不仅仅可以用于非黑即白的画面,多级的渐变也可以。

image-20210621200345428

还可以在不同的部位应用不同的渐变规则。

image-20210621200523863

# Strokes Surface Stylization

把阴影强度替换成方格线密度的形式来展示素描的效果

image-20210621200748253

# Tonal art maps(TAMs)

  • 预先定义好不同密度的问题
  • 并且生成对应的「MIPMAP」

image-20210621201104249

image-20210621201353529

# 关键字:

  • lobe:定义为由微表面上某个点的入射光所对应出的反射光的分布区域所形成的花瓣状区域。