You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

561 lines
20 KiB
Markdown

2 years ago
# 19 | 如何用着色器实现像素动画?
你好,我是月影。
上节课我们以HTML/CSS为例讲了三种动画的实现方法以及标准的动画模型。我们先来回顾一下
* 固定帧动画为每一帧准备一张图片然后把CSS关键帧动画的easing-function设为step-end进行循环播放。
* 增加增量动画在每帧给元素的相关属性增加一定的量比如增加一个rotate角度。
* 时序动画通过控制时间和动画函数来描述动画首先定义初始时间和周期然后在update中计算当前经过时间和进度p最后通过p来更新动画元素的属性。
* 标准动画模型先定义Animator类然后使用线性插值实现匀速运动的动画以及通过缓动函数实现变速运动的动画。
而WebGL实现动画的方式和以上这些方式都有差别。所以这节课我们就接着来讲怎么用着色器来实现动画。
因为实现固定帧动画最简单,所以我们还是先来说它。
## 如何用着色器实现固定帧动画
我们完全可以使用在片元着色器中替换纹理坐标的方式,来非常简单地实现固定帧动画。为了方便对比,我还是用上一节课实现会飞的小鸟的例子来讲,那片元着色器中的代码和最终要实现的效果如下所示。
```
#ifdef GL_ES
precision highp float;
#endif
varying vec2 vUv;
uniform sampler2D tMap;
uniform float fWidth;
uniform vec2 vFrames[3];
uniform int frameIndex;
void main() {
vec2 uv = vUv;
for (int i = 0; i < 3; i++) {
uv.x = mix(vFrames[i].x, vFrames[i].y, vUv.x) / fWidth;
if(float(i) == mod(float(frameIndex), 3.0)) break;
}
vec4 color = texture2D(tMap, uv);
gl_FragColor = color;
}
```
![](https://static001.geekbang.org/resource/image/e5/8a/e5cfe9afc454013c3913bfbb03b9548a.gif "会飞的小鸟")
利用片元着色器实现固定帧动画的关键部分是main函数中的for循环。因为我们的动画只有3帧所以最多只需要循环3次。
我们还需要一个重要的参数vFrames。它是每一帧动画的图片起始x和结束x坐标我们用这两个坐标和vUv.x计算插值最后除以图片的总宽度fWidth就能得到对应的纹理x坐标。替换纹理坐标之后我们就能实现一个会飞的小鸟了。
实现这个固定帧动画对应的JavaScript代码如下
```
const canvas = document.querySelector('canvas');
const renderer = new GlRenderer(canvas);
const textureURL = 'https://p.ssl.qhimg.com/t01f265b6b6479fffc4.png';
(async function () {
const texture = await renderer.loadTexture(textureURL);
const program = renderer.compileSync(fragment, vertex);
renderer.useProgram(program);
renderer.uniforms.tMap = texture;
renderer.uniforms.fWidth = 272;
renderer.uniforms.vFrames = [2, 88, 90, 176, 178, 264];
renderer.uniforms.frameIndex = 0;
setInterval(() => {
renderer.uniforms.frameIndex++;
}, 200);
const x = 43 / canvas.width;
const y = 30 / canvas.height;
renderer.setMeshData([{
positions: [
[-x, -y],
[-x, y],
[x, y],
[x, -y],
],
attributes: {
uv: [
[0, 0],
[0, 1],
[1, 1],
[1, 0],
],
},
cells: [[0, 1, 2], [2, 0, 3]],
}]);
renderer.render();
}());
```
实际上WebGL实现固定帧动画的思路和上一节课的思路是类似的。只不过上一节课我们直接用CSS的background-image来切换background-position就可以实现动画。而在这里我们需要将图片纹理tMap传进去然后根据不同的frameIndex来计算出对应的纹理坐标并且这个计算是在片元着色器中进行的。
## 如何用着色器实现非固定帧动画
好了,知道了怎么实现固定帧动画。接着,我们再来说增量动画和时序动画的实现。由于这两种动画都要将与时间有关的参数传给着色器,处理过程非常相似,所以我们可以将它们统称为非固定帧动画,放在一起来说。
用Shader实现非固定帧动画本质上和上一节课的实现方法没有太大区别。所以我们仍然可以使用同样的方法以及标准动画模型来实现它。只不过用Shader来实现非固定帧动画更加灵活我们可以操作更多的属性实现更丰富的效果。下面我们详细来说说。
### 1\. 用顶点着色器实现非固定帧动画
我们知道WebGL有两种Shader分别是顶点着色器和片元着色器它们都可以用来实现动画。我们先来看顶点着色器是怎么实现动画的。
```
attribute vec2 a_vertexPosition;
attribute vec2 uv;
varying vec2 vUv;
uniform float rotation;
void main() {
gl_PointSize = 1.0;
vUv = uv;
float c = cos(rotation);
float s = sin(rotation);
mat3 transformMatrix = mat3(
c, s, 0,
-s, c, 0,
0, 0, 1
);
vec3 pos = transformMatrix * vec3(a_vertexPosition, 1);
gl_Position = vec4(pos, 1);
}
```
在顶点着色器中我们先绘制出一个红色的正方形然后用三维齐次矩阵实现旋转。具体来说就是把顶点坐标进行矩阵运算再配合下面的JavaScript代码就能让这个正方形旋转了。
```
renderer.uniforms.rotation = 0.0;
requestAnimationFrame(function update() {
renderer.uniforms.rotation += 0.05;
requestAnimationFrame(update);
});
```
![](https://static001.geekbang.org/resource/image/2d/cb/2dbbyy2470cb07ed2e67e4d43aee21cb.gif "逆时针旋转的红色正方形")
当然我们也可以使用上一节课得到的标准动画模型来实现。具体来说就是定义一个新的Animator对象然后在Animator对象的方法中更新rotation属性。使用标准模型能更加精确地控制图形的旋转效果代码如下
```
const animator = new Animator({duration: 2000, iterations: Infinity});
animator.animate(renderer, ({target, timing}) => {
target.uniforms.rotation = timing.p * 2 * Math.PI;
});
```
总之WebGL实现非固定帧动画的方法与上节课的方式基本上一样。只不过前一节课我们直接修改HTML元素的属性而这一节课我们将属性通过uniform变量传给着色器执行渲染。
### 2\. 用片元着色器实现非固定帧动画
除了用顶点着色器我们也能用片元着色器实现动画。实际上我们已经用片元着色器实现了不少动画。比如说当我们将时间参数uTime通过uniform传给着色器的时候就是在实现动画。
还是用上面的例子。这次,我们将旋转放到片元着色器中处理,其实也能实现类似的旋转效果。代码如下所示:
```
#ifdef GL_ES
precision highp float;
#endif
varying vec2 vUv;
uniform vec4 color;
uniform float rotation;
void main() {
vec2 st = 2.0 * (vUv - vec2(0.5));
float c = cos(rotation);
float s = sin(rotation);
mat3 transformMatrix = mat3(
c, s, 0,
-s, c, 0,
0, 0, 1
);
vec3 pos = transformMatrix * vec3(st, 1.0);
float d1 = 1.0 - smoothstep(0.5, 0.505, abs(pos.x));
float d2 = 1.0 - smoothstep(0.5, 0.505, abs(pos.y));
gl_FragColor = d1 * d2 * color;
}
```
![](https://static001.geekbang.org/resource/image/81/34/8176f915e61f55ae0c54da3283b23134.gif "顺时针旋转的红色正方形")
你发现了吗顶点着色器和片元着色器实现的旋转动画方向正好相反。为什么会出现这样的情况呢因为在顶点着色器中我们直接改变了顶点坐标所以这样实现的旋转动画和WebGL坐标系右手系的方向一致角度增大呈逆时针方向旋转。而在片元着色器中我们的绘制原理是通过距离场着色来实现的所以这里的旋转实际上改变的是距离场的角度而不是图形角度最终绘制的图形也是相对于距离场的。又因为距离场逆时针旋转所以图形就顺时针旋转了。
最后我再补充一点,一般来说,动画如果能使用顶点着色器实现,我们会尽量在顶点着色器中实现。因为在绘制一帧画面的时候,顶点着色器的运算量会大大少于片元着色器,所以使用顶点着色器消耗的性能更少。
但是,在片元着色器中实现非固定帧动画也有优势。我们可以使用片元着色器的技巧,如重复、随机、噪声等等来绘制更加复杂的效果。
比如说我们把上面的代码稍微修改一下使用取小数和取整数的函数再用之前网格化的思路来利用网格实现了大量的重复动画。这个做法充分利用了GPU的并行效率比用其他方式把图形一个一个地绘制出来性能要高得多。
```
#ifdef GL_ES
precision highp float;
#endif
varying vec2 vUv;
uniform float rotation;
float random (vec2 st) {
return fract(sin(dot(st.xy,
vec2(12.9898,78.233)))*
43758.5453123);
}
vec3 hsb2rgb(vec3 c){
vec3 rgb = clamp(abs(mod(c.x*6.0+vec3(0.0,4.0,2.0), 6.0)-3.0)-1.0, 0.0, 1.0);
rgb = rgb * rgb * (3.0 - 2.0 * rgb);
return c.z * mix(vec3(1.0), rgb, c.y);
}
void main() {
vec2 f_uv = fract(vUv * 10.0);
vec2 i_uv = floor(vUv * 10.0);
vec2 st = 2.0 * (f_uv - vec2(0.5));
float c = 0.7 * cos(rotation);
float s = 0.7 * sin(rotation);
mat3 transformMatrix = mat3(
c, s, 0,
-s, c, 0,
0, 0, 1
);
vec3 pos = transformMatrix * vec3(st, 1.0);
float d1 = 1.0 - smoothstep(0.5, 0.505, abs(pos.x));
float d2 = 1.0 - smoothstep(0.5, 0.505, abs(pos.y));
gl_FragColor = d1 * d2 * vec4(hsb2rgb(vec3(random(i_uv), 1.0, 1.0)), 1.0);
}
```
![](https://static001.geekbang.org/resource/image/9b/8c/9b7fe730d2f82df5f05b015eb08aab8c.gif "大量重复的旋转正方形")
## 如何在着色器中实现缓动函数与非线性插值
在前面的例子中我们使用Shader的矩阵运算实现了旋转动画。同样轨迹动画也可以用Shader矩阵运算实现。
比如说我们要在画布上绘制一个红色的方块利用它实现轨迹动画。首先我们要实现一个着色器它通过设置translation来改变图形位置代码如下
```
attribute vec2 a_vertexPosition;
attribute vec2 uv;
varying vec2 vUv;
uniform vec2 translation;
void main() {
gl_PointSize = 1.0;
vUv = uv;
mat3 transformMatrix = mat3(
1, 0, 0,
0, 1, 0,
translation, 1
);
vec3 pos = transformMatrix * vec3(a_vertexPosition, 1);
gl_Position = vec4(pos, 1);
}
```
然后在JavaScript中我们将translation依照时间变化传给上面的着色器就可以让方块移动。那利用下面的代码我们就让方块沿水平方向向右匀速运动一段距离。
```
const canvas = document.querySelector('canvas');
const renderer = new GlRenderer(canvas);
const program = renderer.compileSync(fragment, vertex);
renderer.useProgram(program);
renderer.uniforms.color = [1, 0, 0, 1];
renderer.uniforms.translation = [-0.5, 0];
const animator = new Animator({duration: 2000});
animator.animate(renderer, ({target, timing}) => {
target.uniforms.translation = [-0.5 * (1 - timing.p) + 0.5 * timing.p, 0];
});
renderer.setMeshData([{
positions: [
[-0.25, -0.25],
[-0.25, 0.25],
[0.25, 0.25],
[0.25, -0.25],
],
attributes: {
uv: [
[0, 0],
[0, 1],
[1, 1],
[1, 0],
],
},
cells: [[0, 1, 2], [2, 0, 3]],
}]);
renderer.render();
```
![](https://static001.geekbang.org/resource/image/be/cf/beeb13aa9565a4b066883d8a08632acf.gif "水平向右匀速运动的红色正方形")
此外我们还可以通过缓动函数来实现非匀速运动。而且我们既可以将缓动函数用JavaScript计算也可以直接将缓动函数放在Shader中。如果将缓动函数用JavaScript计算那么方法和上一节课完全一样也就是给Animator传一个easing函数进去就可以了这里我就不再重复了。但如果要将缓动函数写在Shader中其实方法也非常简单。
我们以前面顶点着色器实现非固定帧动画的代码为例这次我们不使用Animator而是直接将时间uTime参数传入Shader然后在Shader中加入缓动函数。在这里我们用smooth(0.0, 1.0, p)来让方块做平滑加速、减速运动。除此之外你也可以替换缓动函数比如clamp(p \* p, 0.0, 1.0)或者clamp(p \* (2 - p) \* 0.0, 1.0)来实现匀加速、匀减速的运动效果。修改后的代码如下:
```
attribute vec2 a_vertexPosition;
attribute vec2 uv;
varying vec2 vUv;
uniform vec4 uFromTo;
uniform float uTime;
float easing(in float p) {
return smoothstep(0.0, 1.0, p);
// return clamp(p * p, 0.0, 1.0);
// return clamp(p * (2 - p) * 0.0, 1.0);
}
void main() {
gl_PointSize = 1.0;
vUv = uv;
vec2 from = uFromTo.xy;
vec2 to = uFromTo.zw;
float p = easing(uTime / 2.0);
vec2 translation = mix(from, to, p);
mat3 transformMatrix = mat3(
1, 0, 0,
0, 1, 0,
translation, 1
);
vec3 pos = transformMatrix * vec3(a_vertexPosition, 1);
gl_Position = vec4(pos, 1);
}
```
总之因为Shader是在GPU中运算的所以所有顶点都是被并行处理的。因此通常情况下我们在顶点着色器中执行缓动函数会更快。
不过直接用JavaScript计算和放在顶点着色器里计算差别也不是很大但如果把它放在片元着色器里计算因为要把每个像素点都计算一遍所以性能消耗反而更大一些。那我们为什么还要在着色器中计算easing呢这是因为我们不仅可以利用easing控制动画过程还可以在片元着色器中用easing来实现非线性的插值。
那什么是非线性插值呢?我们依然通过例子来进一步理解。
我们知道在正常情况下顶点着色器定义的变量在片元着色器中都会被线性插值。比如你可以看我下面给出的顶点着色器、片元着色器以及JavaScript中的代码。
```
//顶点着色器
attribute vec2 a_vertexPosition;
attribute vec2 uv;
attribute vec4 color;
varying vec2 vUv;
varying vec4 vColor;
uniform vec4 uFromTo;
uniform float uTime;
void main() {
gl_PointSize = 1.0;
vUv = uv;
vColor = color;
gl_Position = vec4(a_vertexPosition, 1, 1);
}
//片元着色器
#ifdef GL_ES
precision highp float;
#endif
varying vec2 vUv;
varying vec4 vColor;
void main() {
gl_FragColor = vColor;
}
//JavaScript中的代码
renderer.setMeshData([{
positions: [
[-0.5, -0.25],
[-0.5, 0.25],
[0.5, 0.25],
[0.5, -0.25],
],
attributes: {
uv: [
[0, 0],
[0, 1],
[1, 1],
[1, 0],
],
color: [
[1, 0, 0, 1],
[1, 0, 0, 1],
[0, 0.5, 0, 1],
[0, 0.5, 0, 1],
],
},
cells: [[0, 1, 2], [2, 0, 3]],
}]);
renderer.render();
```
![](https://static001.geekbang.org/resource/image/28/eb/28934b0fd2dayy775f20b48cb18d1ceb.jpg "从左往右,由红色线性过渡到绿色")
通过执行上面的代码我们可以得到一个长方形它的颜色会从左到右由红色线性地过渡到绿色。如果想要实现非线性的颜色过渡我们就不能采用这种方式了我们可以采用uniform的方式通过easing函数来实现。
```
#ifdef GL_ES
precision highp float;
#endif
float easing(in float p) {
return smoothstep(0.0, 1.0, p);
// return clamp(p * p, 0.0, 1.0);
// return clamp(p * (2 - p) * 0.0, 1.0);
}
varying vec2 vUv;
uniform vec4 fromColor;
uniform vec4 toColor;
void main() {
float d = easing(vUv.x);
gl_FragColor = mix(fromColor, toColor, d);
}
```
比如我们可以使用smoothstep这种easing函数来实现如下的插值效果
![](https://static001.geekbang.org/resource/image/87/38/87519e16885ca453475173318d459d38.jpg)
另外我们还可以像利用JavaScript那样在Shader里实现贝塞尔曲线缓动。
```
// http://www.flong.com/texts/code/shapers_bez/
// Helper functions:
float slope_from_t (float t, float A, float B, float C){
float dtdx = 1.0/(3.0*A*t*t + 2.0*B*t + C);
return dtdx;
}
float x_from_t (float t, float A, float B, float C, float D){
float x = A*(t*t*t) + B*(t*t) + C*t + D;
return x;
}
float y_from_t (float t, float E, float F, float G, float H){
float y = E*(t*t*t) + F*(t*t) + G*t + H;
return y;
}
float cubic_bezier (float x, float a, float b, float c, float d){
float y0a = 0.00; // initial y
float x0a = 0.00; // initial x
float y1a = b; // 1st influence y
float x1a = a; // 1st influence x
float y2a = d; // 2nd influence y
float x2a = c; // 2nd influence x
float y3a = 1.00; // final y
float x3a = 1.00; // final x
float A = x3a - 3.0 *x2a + 3.0 * x1a - x0a;
float B = 3.0 * x2a - 6.0 * x1a + 3.0 * x0a;
float C = 3.0 * x1a - 3.0 * x0a;
float D = x0a;
float E = y3a - 3.0 * y2a + 3.0 * y1a - y0a;
float F = 3.0 * y2a - 6.0 * y1a + 3.0 * y0a;
float G = 3.0 * y1a - 3.0 * y0a;
float H = y0a;
// Solve for t given x (using Newton-Raphelson), then solve for y given t.
// Assume for the first guess that t = x.
float currentt = x;
const int nRefinementIterations = 5;
for (int i=0; i < nRefinementIterations; i++){
float currentx = x_from_t(currentt, A,B,C,D);
float currentslope = slope_from_t(currentt, A,B,C);
currentt -= (currentx - x)*(currentslope);
currentt = clamp(currentt, 0.0, 1.0);
}
float y = y_from_t(currentt, E,F,G,H);
return y;
}
```
使用贝塞尔曲线缓动函数,我们能够实现更加丰富多彩的插值效果。
![](https://static001.geekbang.org/resource/image/24/42/24453cd8f4382c7411da6409aa8cd942.jpg "贝塞尔曲线插值色带")
## 如何在片元着色器中实现随机粒子动画
我们知道,使用片元着色器还可以实现非常复杂的图形动画,包括粒子动画、网格动画以及网格噪声动画等等。网格动画和网格噪声我们前面都详细讲过,这里我们就重点来说说怎么实现粒子动画效果。
```
#ifdef GL_ES
precision highp float;
#endif
...
float sdf_circle(vec2 st, vec2 c, float r) {
return 1.0 - length(st - c) / r;
}
varying vec2 vUv;
uniform float uTime;
void main() {
vec2 st = vUv;
float rx = mix(-0.2, 0.2, noise(vec2(7881.32, 0) + random(st) + uTime));
float ry = mix(-0.2, 0.2, noise(vec2(0, 1433.59) + random(st) + uTime));
float dis = distance(st, vec2(0.5));
dis = pow((1.0 - dis), 2.0);
float d = sdf_circle(st + vec2(rx, ry), vec2(0.5), 0.2);
d = smoothstep(0.0, 0.1, d);
gl_FragColor = vec4(dis * d * vec3(1.0), 1.0);
}
```
如上面代码所示,我们可以使用随机+噪声来实现一个粒子效果。首先我们设置随机数用来生成距离场的初始值然后设置噪声用来形成位移最后传入uTime变量来实现动画。
这样一来,我们就能绘制出数量非常多的点,并且让它们沿着随机轨迹运动。最终的视觉效果如下:
![](https://static001.geekbang.org/resource/image/02/a4/0282f5561b0c323f2d81dde6f4f3aaa4.gif "粒子动画效果")
像这样流畅的动画效果因为实现的过程中会涉及非常多点的运算如果不用shader我们几乎是无法完成的。
## 要点总结
这节课我们学习了用WebGL实现动画的方法。
如果是实现固定帧动画在WebGL中我们可以把准备好的图片作为纹理然后动态修改纹理坐标。
如果是实现非固定帧动画我们可以通过uniform将变化的属性作为参数传给着色器处理。上节课的标准动画模型在WebGL中依然可以使用我们可以利用它计算出属性再传入着色器执行渲染。
实际上今天讲的方法与用HTML/CSS、SVG、Canvas2D实现动画的基本原理是一样的。只不过WebGL中的很多计算是需要用JavaScript和GLSL也就是Shader来配合进行的。
这节课的实战例子比较多,我建议你好好研究一下。毕竟,使用片元着色器实现动画效果的思路,我们还会在后续课程中经常用到。
## 小试牛刀
1. 今天我们在Shader中通过矩阵运算实现了图形的旋转和平移你能用学到的知识完善矩阵运算来实现缩放、旋转、平移和扭曲变换以及它们的组合效果吗
2. 结合今天的内容,你可以试着实现一个粒子效果:让一张图片从中心爆炸开来,炸成碎片并最终消失。
欢迎在留言区和我讨论,分享你的答案和思考,也欢迎你把这节课分享给你的朋友,我们下节课见!
* * *
## 源码
本节课完整示例代码见[GitHub仓库](https://github.com/akira-cn/graphics/tree/master/animate_webgl)