LectureNotes

` Parallel Computer Architecture and Programming Spring2017 [[S: Content]] S = C: Check, random or related insights S = N: Note, some notes S = T: Todo, literally S = R: Refer, cross reference S = Q: Question, some questions, might be collected at the end Why Parallelism? Why Efficiency Common definition: A parallel computer is a collection of processing elements that cooperate to solve problems quickly speedup (P processor) = execution T (1 processor) / execution T (p processor)...

Links Lecture materials, records and readings Homeworks Rendering Image generation Shape Motion AICG-21 index homepage Notes Outline Here is roughly the topics I’ll cover and when. Rendering objects Week ending Topics 29 Jan Ray tracing in all its glory; plenoptic functions 5 Feb A little radiometry; NERFY representations 12 Feb Differentiable rendering 19 Feb Neural rendering Computational Photography Week ending Topics 26 Feb Recovering illumination fields from pictures 5 Mar Recovering material properties from pictures 12 Mar More NERFY representations 19 Mar Indeterminate problems: colorization; the future in video Modelling objects...

Lec01 Lec02 右手系的定义 叉乘 计算：元素法 / 矩阵法 作用：判定左右 / 内外 Lec03 Transformation 2D transformation scale reflection shear rotation Linear Transforms = Matrices $$ \begin{array}{c} x^{\prime} = a x+b y \ y^{\prime} = c x+d y \ {\left[\begin{array}{l} x^{\prime} \ y^{\prime} \end{array}\right] } = \left[\begin{array}{ll} a & b \ c & d \end{array}\right]\left[\begin{array}{l} x \ y \end{array}\right] \ \mathbf{x}^{\prime} = \mathbf{M} \mathbf{x} \end{array} $$ 平移变换，引入齐次坐标 Homogeneous Coordinates

@全体成员 不考内容 2.2.4 十进制编码 2.4.4 循环冗余校验码 3.4 定点除法运算 4.2 半导体存储器 5.7 指令系统举例 7 指令流水线 8 总线系统 9.7 通道方式 9.8 常见IO设备 七道大题，数据表示与运算两题，存储 2 题，指令系统一题，cpu 设计一题，io 一题，请关注下 mips 指令格式和常见五条指令数据通路 Ch2 计算机数据表示 进制转换 数值数据的表示方法 数的机器码表示 真值：书写用 机器码：原码 反码 补码 移码 原码：最高位增加了符号位；有两个0 反码：正数的反码=原码，负数的反码=符号位+原码各位取反；也有两个0 补码：正=原码；当X为负数时，补码等于反码末位加1，即原码取反加1 计算补码的数值： 唯一的0 负数比正数多一个 移码：即把补码的符号位取反 定点数：前面都是定点数 浮点数：IEEE754 注意：阶码是用移码表示的，若想求其值，需减去偏移量 注意规格化数和非规格化数 浮点编码与真值的转化流程： 浮点数存在两个0 数据类型：没什么东西 非数值数据的表示法 字符表示 ASCII：使用7bit表示128个字符， MSB=0 汉字编码： GB2312机内码 = 区位码+0xA0A0 与ASCII字符的区别，最高有效位MSB=1 数据信息的校验 码距与校验 码距：码字之间的距离定义为两个码字之间不同位的数量。例如，对于两个4位的二进制码字"0101"和"0110"，它们之间的距离是2，因为它们有两个不同的位。 奇偶校验 一维很简单， 只能检错，无法纠错 二维：三位错可检 海明校验 Ch3 运算方法与运算器 计算机中的运算 定点加减法运算 补码加减法...

[TOC] Before Start This notes is based on the MIT course 6.031, but the video materials are from former version 6.005(2016sp) at edx, moreover, the original videos on edx has been lost, nevertheless there it is on bilibili. NOTICE that the lated 6.031 from sp22 has chosen TypeScript as the progamming language, since the writer wanted wanted to learn OOP in JAVA in the beginning, so just choose the older version....

Ch.1 绪论 信号 周期信号 信号的平均功率 能量信号与功率信号： 系统 What is a System? 线性系统与非线性系统 ​ 线性系统：就是具有齐次性和叠加性的系统 零输入响应和零状态响应 时不变系统：响应形状不随激励的施加时间而改变 因果系统：响应不早于激励的系统 Ch.2 连续系统的时域分析 线性时不变系统的数学模型 $\rightarrow$ 线性常系数微分方程 经典法： ZIR / ZSR 方法： 算子表示法 转移算子 算子的性质 p多项式可以展开和因式分解 零状态 vs 零输入： 零输入响应求解：与齐次通解求法相同，待定系数直接由初始条件求出 奇异函数： 单位斜变 $R(t)$ 单位阶跃 $ \varepsilon(t) / u(t)$ 方波(门函数) $G(t)$ 单位冲激 冲击偶信号 单位冲激响应$h(t)$ ​ 通过单位冲激响应来判断系统的因果性 单位阶跃响应$r_\epsilon(t)$ 求单位冲激响应 即：求$D(p)h_0(t)=\delta(t)$时，按照$D(p)h_0(t)=0$和附加的初始条件来求零输入即可 例题： 转移算子 部分分式 冲激响应：部分分式分解法，对转移算子$H(p)$分解 简单系统： 一些零状态响应的激励 / 响应对照： 卷积 卷积的图解法： 卷积的性质： 卷积的微分与积分： 常用公式：(当有一函数可化为冲击函数时) $$ f_{1}(t) * f_{2}(t)=\frac{d f_{1}(t)}{d t} * \int_{-\infty}^{t} f_{2}(\tau) d \tau $$ 奇异信号的卷积特性:...

0. 复习课：考点 第一章 绪论 一．数据模型 了解何谓数据模型，数据结构化的重要性。 了解数据模型三要素：数据结构、数据操作、数据约束（完整性约束） 二．数据库系统结构 1 系统结构 掌握三级模式两级映象 掌握若干概念：模式、字模式、内模式、模式/子模式映射、模式/内模式映射。 各自定义、特点、作用。 三．数据库系统组成 了解：硬件、软件、用户、DB 了解DBMS组成：DB定义、数据操作语言及其编译、DB运行控制、实用程序。 四．数据库系统优点 掌握数据结构化、数据高度共享、数据独立性高、安全性等优点（能联系实际）。 第二章 关系数据库 一．关系数据结构 掌握笛卡尔积、域、基数、关系、候选码、主码、全码、外码、关系模式、关系数据库等概念 二．关系的完整性 了解实体完整性、参照完整性、用户自定义完整性。 三．关系代数 掌握传统的集合操作：并、差、笛卡尔积 掌握扩展的关系操作：选择、投影 掌握组合的关系操作：交、连接运算（q连接、等值连接、自然连接） 掌握关系代数表达式。除法、关系演算语言不作要求。 第三章 Sql语言 一．概述 了解Sql语言特点 二．数据定义功能 掌握建库、建表、建索引，创建视图等语句 掌握和理解索引的类型、作用。理解可以用什么数据结构实现索引。 三．数据查询功能 掌握简单查询、嵌套查询、分组查询、集合查询、查询视图。 掌握根据查询要求撰写Sql语句。 四．数据更新功能 了解Insert、Delete、Update语句的写法。 了解视图更新。 五、视图 掌握视图创建语句； 掌握视图的优点：安全性，提高逻辑独立性和简化查询等。 第四章 数据库安全性 一．数据库安全性 了解数据库安全性内容，实现安全性方法。 了解安全性控制及其SQL语句的实现 第五章 数据库完整性 一．数据库完整性 掌握三类数据库完整性，了解完整性约束条件，掌握实现完整性策略及其实现语句。注意完整性和一致性的区别。 第六章 关系数据理论 一．关系模式设计的问题 理解关系模式在数据更新时出现的数据语义问题，要求能够分析一个关系模式存在的数据操作异常。 二．关系模式规范化 掌握函数依赖的概念。包括平凡、非平凡的函数依赖、部分、传递函数依赖等。 了解1NF，2NF，3NF，BCNF的定义。 三．函数依赖的公理系统 了解逻辑蕴涵、F+背包概念，掌握属性闭包的计算，掌握函数依赖集最小化的计算。 掌握Armstrong公理系统及其推理规则。 第七章 数据库设计 一．概述 掌握数据库设计步骤、方法、内容。 二．需求分析 了解需求分析的任务、方法、步骤。...

寻址方式 寻址方式一共有6种： 立即寻址 ：操作数可以是立即数，也可以是一串未完成的加减乘除运算（但是算式中不能含有未知数）。立即寻址时，操作数就在操作指令的后面跟着。 寄存器寻址 ：寄存器本质上，是为CPU中的存储单元一个助记符名，方便调用。其类型为dword，32位。寄存器寻址时，操作数就在CPU中存储，且这个存储单元有固定的名称（即为“寄存器”）。 add eax, ebx — 以下寻址方式的操作数在存储器(内存)中 直接寻址(存储器寻址) ：操作数在内存中存放。操作数的偏移地址紧跟指令操作码，构成指令操作码的一部分。 寄存器间接寻址 ：操作数在存储器中，其全部的偏移地址在寄存器中。 变址寻址 ：操作数在存储器中，偏移地址的个数在寄存器中，使用时需要乘比例因子F（1，2，4，8），再与给定的起始地址相加。 基址加变址寻址 指令 移位指令 shl&shr sar&sal rol&ror rcl&rcr Shift Logical Left or Right Shift Arithmatic Left or Right SHL逻辑左移；左移，最低位补0，最高位进入CF。 SHR逻辑右移；右移，最高位补0，最低位进入CF。 SAL算术左移；左移，与SHL功能相同。 SAR算术右移；右移，最高位不变(符号位，若为负，则进1），最低位进入CF。 ror rol xu 数据传输指令 movsx movzx xchg xlat movsx：有符号数扩展 movzx：无符号数扩展 扩展传送，将数据从较少位寄存器/内存单元，拷贝至较多位寄存器，根据有/无符号，将扩展位填1/0 xchg：数据交换，且两个数据不能同时为存储器寻址 xlat：查表(translate)转换指令。其中，[ebx + al] -> al 该指令会查询 在ebx表首地址中al偏移的值，并把该值传给al 堆栈操作指令 push pop lea 堆栈存储方式：从高字节向低字节存储，存储一个字或者双字 逻辑运算指令 and 逻辑乘，即按位与 AND 指令 与 标志位AND指令影响标志位PF、SF、ZF,使CF=0、OF=0 .例如,在同一个通用寄存器自身相与时,操作数虽不变,但使CF置零....

Ch1 行列式 一些定义 行列式的性质 行列式的计算 Cramer法则 Ch2 矩阵 (行列式的)一些性质 $A^{T}$的性质 可逆矩阵 通过$A^*$求$A^{-1}$ 逆矩阵的性质 分块矩阵 矩阵的初等变换 矩阵的秩 Ch3 向量 运算 向量组的线性相关性 向量组的极大线性无关组 向量空间 Euclidean空间 $\mathbb{R}^n$ Ch4 线性方程组 Gauss 消元法 齐次方程组解的结构 非齐次方程组解的结构 Ch5 相似矩阵 特征向量与特征值 特征向量的性质 相似矩阵对角化 应用：一阶齐次线性常系数微分方程组 Ch6 二次型 二次型及其矩阵表示 标准形、规范形 矩阵合同 正交变换法化二次型为标准形 几何意义 二次型的正定性 Sylvester定理 Ch1 行列式 一些定义 n阶行列式 n阶行列式的值是一个数 余子式 代数余子式 n阶行列式的值的定义(公式) 行列式的性质 行列式与其转置的行列式相等：$D^T=D$ ​ 证明：数学归纳法 数乘：第二类初等变换 行列式的某一行（列）都乘以k，等于用k乘以行列式： ​ 推论：如果行列式某一行（列）都是0，则行列式为0 交换行列式的两行，行列式反号 ​ 推论：若行列式两行（列）元素对应相等（成比例），行列式值为0 ​ 推论：行列式任一行的所有元素与另一行对应元素的代数余子式乘积之和等于零 ​ 证明：放入新行列式$D_1$中，$D_1$有两行元素相同，故$D_1=0$ 所以有：...

This note is the lecture note for 李宏毅(NTU) machine learning 2022 Lecture 1:Introduction of Deep Learning Preparation Pre1 机器学习实际上是通过机器构造一个隐式的函数 two main function of machine learning Regression: The function outputs a scalar Classification Structured Learning: create something with structure(image, document) Label 学习中的真实值$y$（预测值为$\hat{y}$） ​ feature input所蕴含的某种信息 Does local minima truly cause the problem? Pre2 多个piecewise linear curve可以逼近任意曲线 用sigmoid函数表达一个piecewise linear curve ​ epoch与batch ​ Class Material week1 Supervised Learning, Self-supervised Learning, RL… pytorch1 Lecture 2:What to do if my network fails to train Preparation Class Material week2 模型复杂度model complexity...

Access for Lab-server ssh 02_thinksource@222.20.96.149 -p 10022 访问服务器 密码是：Ym2N7Q72E4 ssh -L 8888:localhost:8888 02_thinksource@222.20.96.149将jupyter notebook的端口映射到本地，然后复制notebook的链接至浏览器即可打开 关闭notebook时需在终端两次Ctrl+C 退出ssh连接，在终端执行exit Models MLP的隐藏层，若视为矩阵变换，可以当作对输入向量的升维操作，而在高维空间中，便可能找到一个超平面对输入进行划分（找到数据的划分是处理机器学习基本问题——分类或回归问题——的本质） RNN 对于含有时序信息的输入，模型需要有处理变长向量(Input)的能力，而MLP仅能处理固定长度的输入，因此设计了循环神经网络 Simple RNN $a^{<0>}$通常初始化为全零向量，设置$a^{<0>}$是为了在网络开始时满足模型的循环结构 many to many问题中，更多是处理输入$x$和输出$y$长度不同的情形，因此设计了encoder-decoder模型 Vanishing gradients梯度消失：在多层的网络模型中，最后计算的梯度通过反向传播很难对靠前的层进行更改 梯度消失在RNN的现象即：当序列中具有长间隔的数据具有依赖性时(e.g. cats…..were/cat….was)，网络很难“记住” RNN训练时也会出现梯度爆炸(较罕见)，表现为参数中出现NaN，可使用gradient clipping GRU GRU有效避免了梯度消失 LSTM 双向RNN 深度RNN Attention 注意力机制 query value key Transformer self-attention 位置编码 multi-attention batch norm和layer norm Transformer 是一个纯使用attention的encoder-decoder encoder和decoder都有n个transformer块 每个块里使用multi（self）attention, Positionwise FFN, layer norm BERT NLP问题上的预训练架构 Optimization 小批量随机梯度下降算法 梯度下降->随机梯度下降->小批量 冲量法 Adam：效果不一定优于SGD，优点是对LR不敏感，不必过多调参 Neural Rendering Definition Deep neural networks for image or video generation that enable explict or implict control of scene properties