Skip to content

zhaojunHouse/studyGuide

BranchesTags

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

384 Commits

Struct

Struct

 
 

book

book

 
 

xmind

xmind

 
 

README.md

README.md

 
 

TODO.pdf

TODO.pdf

 
 

k8s.md

k8s.md

 
 

nginx.md

nginx.md

 
 

php&fpm.md

php&fpm.md

 
 

《计算机组成原理》唐朔飞.pdf

《计算机组成原理》唐朔飞.pdf

 
 

代码解耦之道_黄朝晖_PHPCON2019.pdf

代码解耦之道_黄朝晖_PHPCON2019.pdf

 
 

前端.md

前端.md

 
 

操作系统.xmind

操作系统.xmind

 
 

计算机组成原理.xmind

计算机组成原理.xmind

 
 

计算机网络.xmind

计算机网络.xmind

 
 

队列.md

队列.md

 
 

高性能MYSQL.md

高性能MYSQL.md

 
 

Repository files navigation

计算机专业课程

数据结构&算法

  • 建立时间复杂度、空间复杂度意识，写出高质量的代码
  • 性能更优，核心竞争力
  • 数据结构算法导图

1 复杂度分析

1.1 时间复杂度

  • 所有代码执行时间与数据规模增长的趋势，叫时间复杂度。
  • 可以理解每行代码执行时间都是unit_time,执行次数和数据量的关系。知道执行次数，就能知道复杂度。

1.2 时间复杂度量级

  • 常数阶、对数阶、线性阶、线性对数阶、指数阶，平方阶，立方阶，k次方阶，阶乘阶。

1.3 空间复杂度

  • 算法存储空间与数据量的关系。

1.4 最好最坏平均均摊时间复杂度

  • 平均：执行次数*概率

2 数组

2.1 定义

  • 内存连续（随机访问），数据类型相同，线性表。

2.2 插入删除

  • 插入删除 平均复杂度O（n）

2.3 查找

  • 查找 todo
  • 随机访问 下标访问复杂度O（1）

3 链表

3.1 插入删除

  • 插入删除 复杂度为O（1）

3.2 查找

  • 查找 复杂度O（n）

3.3 单链&双向链表&循环链表

  • 单链表，双向链表，循环链表. 带头链表，不带头链表

3.4 链表操作

  • 反转，合并有序链表，是否有环，删除倒数第n个节点，查找中间节点。

4 栈

4.1 入栈出栈

  • 入栈，出栈，栈顶元素。

4.2 顺序栈&链式栈

  • 数组实现顺序栈，链表实现链式栈。

4.3 栈应用

  • 用栈实现：表达式求值

5 队列

5.1 队头队尾

  • 队头出队，队尾入队

5.2 顺序队列&链式队列

  • 顺序对列，链式队列

5.3 循环队列

  • 队满：（tail+1）% n = head；
  • 队空： tail== head；

5.4 阻塞队列&并发队列

6 递归

6.1 堆栈溢出

  • 递归用循环代替
  • 堆栈溢出，重复计算，空间度高，函数调用耗时多。

7 排序

  • 判断排序算法效率衡量：
    • 1 时间复杂度（最好，最坏，平均）
    • 2 时间复杂度，系数，常熟，低阶
    • 3 内存消耗（原地排序）
    • 4 稳定性（都为3，排序前后位置不变的就是稳定算法）

7.1 冒泡排序

  • 原地排序，稳定性
  • 有序度，逆序度，满有序度 n*（n-1）/2
  • 时间复杂度。 O（n*n）

7.2 插入排序

  • 优于冒泡

7.3 选择排序

  • 低于冒泡和插入

7.4 归并排序

  • 时间复杂度：都为 nlogn
  • 空间负责度： n

7.5 快排

  • 取分区点，大于在右，小于在左。利用插入排序思想原地排序。
  • 时间复杂度对数阶。
  • 优化：三数取中，随机法取分区点。

7.6 桶排序

  • 分为多个桶，多个桶之间有排序，桶内快排

7.7 计数排序

7.8 基数排序

8 二分查找

  • 只适合数组
  • 只适合有序
  • 数据太小或太大都不适合
  • 如何在100MB内存之内，在1000W数据中查找。（数组排序，二分查找）
  • 二分查找变形：第一个小于等于某个值。。。

9 跳表

9.1 什么是跳表

  • 链表+多级索引+有序

9.2 特性

  • 空间复杂度 O（n）
  • 查找的时间复杂度 O（logn）
  • 插入删除时间复杂度 O（logn） 查找复杂度+操作复杂度
  • 防止跳表退化成链表：通过随机数k，把1-k层添加索引

9.3 Reids有序集合

  • 为什么不用红黑树？ 查询在区间内的数时，跳表效率比红黑树高。

10 散列表

10.0 定义

  • 通过散列函数把元素的键值映射为下标，将数据存储在数组下标中

10.1 散列冲突

  • 哈希冲突： 链表法；开放寻址法；重复哈希

10.2 设计工业级散列表

    1. hash函数设计
    1. hash表初始大小，动态扩容，高效扩容先扩容，然后等插入数据时再拷贝数据到新的散列表
    1. 散列冲突链表法可以用红黑树替代；

10.3 hash表+链表

  • LRU缓存淘汰算法：散列表+双向链表；复杂度都是O（1）
  • Redis有序集合：散列表+跳表 ；可以按照添加顺序 顺序访问
  • 插入，删除，查找 时间复杂度可到O（1）

10.4 哈希算法

  • 应用： 安全加密、唯一标识、数据校验、散列函数、负载均衡、数据分片、分布式存储

10.6 一致性哈希算法

  • hash环，算法对2的32次方取模。添加和删除机器只需要对部分数据迁移。
  • 节点太少可以添加虚拟节点

11 树

11.1 概念

  • 高度/深度/层

11.2 二叉树&满二叉树&完全二叉树

  • 存储方法：数组，链表；
  • 完全二叉树用数组方式存储浪费的空间少。
  • 前序遍历，中序遍历，后续遍历；用递归实现
  • 遍历时间复杂度O（n）

11.3 二叉查找树

  • 插入，查找，删除（如果有两个子节点，找到右节点的最小值，替换。）
  • 重复：链表法或数组动态扩容放在一个节点；放在右子树；

11.4 Hash表vs红黑树

  • 散列表无序
  • hash表扩容，hash冲突时，性能不稳定
  • 时间复杂度常量级不一定比对数级更优
  • hash表考虑因素多。hash冲突，扩容缩容。

11.5 红黑树

  • 根节点是黑色的；

  • 每个叶子节点都是黑色的空节点（NIL），也就是说，叶子节点不存数据

  • 任何相邻的节点都不能同时为红色，也就是说，红色节点是被黑色节隔开。

  • 每个节点，从该节点到达其可达叶子节点的所有路径，都包含相同数的黑色节点

  • 平衡二叉查找树，任何节点都左右节点高度不大于1.

  • 查找插入删除 时间复杂度：logn

  • 插入3种调整方式，删除4种调整方式。

11.6 递归树

  • 用来分析时间复杂度

11.7 B树&B+树

12 堆

12.1 定义

  • 完全二叉树
  • 每个节点比它的子节点都大或是都小。大顶堆，小顶堆。

12.2 插入删除

  • 堆插入，删除 ，堆化的过程。
  • 插入删除时间复杂度。logn

12.3 堆排序

  • 建堆，排序 。复杂度nlogn
  • 堆排序，取最顶堆化再重复。
  • 交换次数比快排多；跳跃访问。所以性能比快排低。

12.4 堆应用

  • 优先级队列、求 Top K 问题和求中位数问题

13 图

13.1 定义

  • 顶点，边，度，有向图，无向图，加权图。

13.2 图的存储

  • 邻阶矩阵存储。浪费空间。
  • 邻阶表存储（可以把链表换成散列表，跳表，红黑树）
  • 小规模（邻阶表+跳表实现）
  • 大规模（hash分片之后用跳表；或数据库）

13.3 深度，广度优先搜索

  • 广度：地毯式搜索，一层一层向外搜索。
  • 深度：回溯思想。
  • 时间复杂度O（边数），空间复杂度O（顶点数）

14 字符串匹配算法

14.1 BF算法（暴力匹配算法）

14.2 RK算法 （发明者名字命名）

  • 把模式串和主串 hash，再比较hash值。
  • 每个小串计算hash时不用遍历，有关系表达式。

14.3 BM算法 （字符串匹配向后滑动）

  • 坏字符原则
  • 好后缀原则

14.4 KMP算法 （发明者名字命名）

  • O（m+n）时间复杂度
  • 字符串匹配算法

14.5 字典树（trie树）

  • 公共的前缀重合在一起，多叉树

14.6 AC自动机

  • 多模式串匹配算法
  • 类似在树结构上加了next数组

15 算法思想

15.1 贪心算法

  • 霍夫曼编码。根据字符串频率编码后再存储

15.2 分治思想

  • MapReduce实现思想就是多台机器分治

15.3 回溯思想

  • 回退再试
  • 时间复杂度 指数级

15.4 动态规划

  • 分多个阶段，取最后阶段就是最大重量。
  • 思路：状态转移表；状态转移方程；
  • 时间复杂度 线性级

15.5 动态规划实例

16 其他算法

16.1 拓扑排序

16.2 最短路径

  • 有权有向图，放到优先级队列中。
  • 应用：地图推荐最短路径

16.3 位图

  • 布隆过滤器：位图 + hash
  • 应用：爬虫URL去重

16.4 概率统计

  • 应用：过滤垃圾短信

16.5 向量空间

  • 欧几里得距离
  • 应用：推荐系统

16.6 mysql索引B+树

16.7 A*算法

  • 应用：游戏寻路

16.8 索引

  • hash表：redis，memcache 适合hash表构建索引
  • 红黑树：适合构建内存索引
  • B+树：适合构建磁盘索引。mysql，oracle等数据库
  • 跳表：redis有序集合

16.9 并行计算

17 算法实战

17.1 reids数据结构与算法

  • list： 压缩列表+循环链表
  • hash： 压缩列表+hash表
  • set： 有序数组+hash表
  • 有序集合： 压缩列表+ 跳表+hash表

17.2 百度&谷歌 搜索引擎

  • 搜索，分析，索引，查询

操作系统

1 计算机原理

2 CPU

3 进程

4 线程

5 协程

6 Linux

7 并发

7.1 并发的原理

  • 交替执行，叠加执行。
  • 单处理系统中：进程切换&共享变量，中断可能会在进程中任何地方停止 引起并发问题！
  • 多处理系统中：多进程，上述问题或 同时执行同时访问同一变量 都会引起并发问题！

7.2 竞争条件

  • 多个进程，线程读写数据时，结果依赖多个进程的指令执行顺序。

7.3 进程的交互

  • 竞争；共享；通信；

7.4 互斥（硬件的支持）

  • 禁用中断（多处理器中无效）；
  • 专用机器指令
  • 信号量
  • 管程
  • 消息传递

网络

1 网络协议

1.1 TCP/IP

  • 《OSI七层网络协议模型》

    • OSI七层：物理层（IEEE 802.1A, IEEE 802.2到IEEE 802.11）、数据链路层（FDDI, Ethernet, Arpanet, PDN, SLIP, PPP）、网络层（IP, ICMP, ARP, RARP, AKP, UUCP）、传输层（TCP, UDP）、会话层（SMTP, DNS）、表示层（Telnet, Rlogin, SNMP, Gopher）、应用层（HTTP、TFTP, FTP, NFS, WAIS、SMTP）
    • TCP/IP四层：数据链路层、网络层、传输层、应用层

  • 《点对点 ，端到端》

    • 端到端：针对传输层，发送端与接收端之间建立连接再发数据。
    • 点到点：针对数据链路层或网络层，数据发给直接相连的设备。

  • 《TCP/IP四层协议理解》

    • 链路层：对电信号进行分组并形成具有特定意义的数据帧，然后以广播的形式通过物理介质发送给接收方
    • 网络层：（IP协议，ARP协议，路由协议）定义网络地址，区分网段，子网内MAC寻址，对于不同子网的数据包进行路由
    • 传输层：定义端口，标识应用程序身份，实现端口到端口的通信，TCP协议可以保证数据传输的可靠性。
    • 应用层：定义数据格式并按照对应的格式解读数据

  • 《TCP三次握手，四次挥手》《TCP三次握手，四次挥手详解》

    • URG 紧急指针是否有效。为1，表示某一位需要被优先处理。
    • ACK 确认号是否有效，一般置为1。
    • PSH 提示接收端应用程序立即从TCP缓冲区把数据读走。
    • RST 对方要求重新建立连接，复位。
    • SYN 请求建立连接，并在其序列号的字段进行序列号的初始值设定。建立连接，设置为1.
    • FIN 希望断开连接。
    • 三次握手： 1. SYN = 1，seq = j 2. SYN=1，ACK=1,ack= j+1,seq= k 3.ACK=1,ack=k+1
    • 四次挥手： 1. FIN=m 2.ACK=m+1 3.FIN=n 4 ACK=1,ack=n+1

  • 《TCP客户端服务端，连接断开，示例》

1.2 HTTP

  • 《HTTP协议详解，抓包分析》《HTTP2.0原理详解》《HTTP2.0二进制帧》

    • HTTP2.0二进制桢
    • HTTP2.0:多路复用、压缩头信息、请求划分优先级、支持服务器端主动推送
    • HTTP1.0:每个请求都需单独建立连接（keep-alive能解决部分问题单不能交叉推送）、每个请求和响应都需要完整的头信息、数据未加密

  • 《HTTPS原理》《一个故事讲清HTTPS》

      1. 浏览器发送HTTPS请求 2 服务器发送数字证书给客户端 3 浏览器CA列表验证证书 4 浏览器产生对称密钥，用公钥加密 5 用私钥揭秘获得对称密钥 6 用对称密钥加密通信。

1.3 LOT七大通信协议

2 网络模型

2.1 I/O模型

  • 《web优化必须了解的原理之I/o的五种模型和web的三种工作模式》
    • I/O步骤：进程向操作系统请求数据 ;操作系统把外部数据加载到内核的缓冲区中;操作系统把内核的缓冲区拷贝到进程的缓冲区 ;进程获得数据完成自己的功能 ;
    • 五种I/O模型：阻塞I/O，非阻塞I/O，I/O复用、事件(信号)驱动I/O、异步I/O，前四种I/O属于同步操作，I/O的第一阶段不同、第二阶段相同，最后的一种则属于异步操作。
    • 三种 Web Server 工作方式：Prefork(多进程)、Worker方式(线程方式)、Event方式。
  • 《一文读懂I/O复用》
    • 第一阶段select阻塞，第二阶段recvfrom阻塞

2.2 select，poll，epoll

2.3 BIO NIO AIO

2.4 kqueue

2.5 长连接短链接

设计模式

1 设计模式六大原则

  • 《设计模式的六大原则》
    • 开闭原则：对扩展开放,对修改关闭，多使用抽象类和接口。
    • 里氏替换原则：基类可以被子类替换，使用抽象类继承,不使用具体类继承。
    • 依赖倒转原则：要依赖于抽象,不要依赖于具体，针对接口编程,不针对实现编程。
    • 接口隔离原则：使用多个隔离的接口,比使用单个接口好，建立最小的接口。
    • 迪米特法则：一个软件实体应当尽可能少地与其他实体发生相互作用，通过中间类建立联系。
    • 合成复用原则：尽量使用合成/聚合,而不是使用继承。

2 23种设计模式

设计思想&开发模式

TODO

中间件

1 Web Server

1.1 nginx

  • 《nginx入门教程》《nginx中文文档》

    • 进程模型：一个master进程，管理多个worker进程。一个请求只能一个worker进程处理。worker进程抢acceptMutex锁,然后接受请求，处理请求，返回请求，断开连接
    • 事件模型：高并发，异步非阻塞事件机制（例如epoll，循环处理准备好的事件请求，IO事件没有准备好就放回epoll)。
    • connection: TCP三次握手
    • request: 请求行、请求头、请求体、响应行、响应头、响应体

  • 《nginx配置》

  • 《nginx正向代理和反向代理》

    • 正向代理：访问无法访问的服务器；缓存，加速访问；登陆授权；访问日志记录；
    • 反向代理：负载均衡；保证原始服务器安全；
    • 正向代理和反向代理 配置文档
    • 正向代理和反向代理 配置示例

  • 《一个HTTP请求过程》《HTTP请求过程》

    • DNS域名解析；TCP连接；接受请求；处理请求；返回响应；关闭TCP；记录日志；解析HTML展示页面；

1.2 apache

1.3 OpenResty

2 缓存

2.1 本地缓存

2.2 客户端缓存

2.3 服务端缓存

2.3.1 web缓存
2.3.2 Memcache
2.3.3 Redis
2.3.4 Tair

3 消息队列

3.1 消息队列常见问题

3.2 RabbitMQ

3.3 RocketMQ

3.4 ActiveMQ

3.5 Kafka

3.6 Redis

  • 《Redis用作消息队列》
    • 生产者、消费者模式完全是客户端行为，list 和 拉模式实现，阻塞等待采用 blpop 指令。

4 定时调度

5 API网关

请求转发、安全认证、协议转换、容灾

6 配置中心

数据库

1 基本理论

1.1 三大范式

1.2 事物隔离级别

  • 原子性，一致性，隔离性，持久性
  • 读不提交，出现脏读
  • 读提交，出现不可重复读
  • 重复读，出现幻读
  • 序列化，--

2 原理

2.1 架构设计

  • 连接层，优化/缓存层，存储引擎

2.2 数据存储

  • frm文件表空间描述
  • ibd文件索引和数据
  • page页：头双向链表，body链表存储记录
  • 索引：B+树

3 索引

3.0 索引原理

  • 聚族索引与非聚簇索引
  • B+树，非叶子结点不存数据，只存索引键值，叶子结点存数据。

3.1 索引类型

  • 聚族索引与非聚簇索引
  • 单列索引
  • 索引覆盖
  • 组合索引，索引合并
  • 全文索引

3.2 索引原则

  • 1.在经常需要搜索的列上,可以加快索引的速度

  • 2.主键列上可以确保列的唯一性

  • 3.在表与表的而连接条件上加上索引,可以加快连接查询的速度

  • 4.在经常需要排序(order by),分组(group by)和的distinct 列上加索引 可以加快排序查询的时间, (单独order by 用不了索引，索引考虑加where 或加limit)

  • 5.在一些where 之后的 < <= > >= BETWEEN IN 以及某个情况下的like 建立字段的索引(B-TREE)

  • 6.like语句的 如果你对nickname字段建立了一个索引.当查询的时候的语句是 nickname lick '%ABC%' 那么这个索引讲不会起到作用.而nickname lick 'ABC%' 那么将可以用到索引

  • 7.索引不会包含NULL列,如果列中包含NULL值都将不会被包含在索引中,复合索引中如果有一列含有NULL值那么这个组合索引都将失效,一般需要给默认值0或者 ' '字符串

  • 8.使用短索引,如果你的一个字段是Char(32)或者int(32),在创建索引的时候指定前缀长度 比如前10个字符 (前提是多数值是唯一的..)那么短索引可以提高查询速度,并且可以减少磁盘的空间,也可以减少I/0操作.

  • 9.不要在列上进行运算,这样会使得mysql索引失效,也会进行全表扫描

  • 10.选择越小的数据类型越好,因为通常越小的数据类型通常在磁盘,内存,cpu,缓存中 占用的空间很少,处理起来更快

  • 尽量选择区分度高的列作索引

3.3 索引失效

  • 索引列 like "%xx"
  • 使用函数计算
  • or 有没有索引的列
  • 类型不一致
  • order by 查询的列不是主键排序就不走索引

3.4 explain

  • 《explain分析SQL》
    • select_type：simple，primary，subquery，derived，union，union result
    • type：system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

并发

1 并发概念

1.1 并发

1.2 多线程

1.3 线程安全

  • 《线程安全问题及解决方案》
    • 产生原因：CPU切换时间片执行多线程产生竞态条件
    • 原子性，可见性，时序性；原子性：要么都执行，要么都不执行。a++是先查，后加，不是原子操作。
    • 加锁

2 锁

  • 《锁的分类》
    • 乐观锁&悲观锁，互斥锁/写锁，共享锁/读锁，公平锁/非公平锁，重入锁/非重入锁，分段锁等。

2.1 悲观锁

2.2 乐观锁

2.3 死锁

性能

1 性能优化方法

2 容量评估

3 CDN加速

4 连接池

5 优化工具

安全

1 堡垒机（跳板机）

2 web 安全

2.1 XSS

2.2 CSRF

2.3 SQL 注入

2.4 HashDos

2.5 脚本注入

2.6 漏洞扫描工具

2.7 验证码

3 DDoS防范

4 用户隐私信息保护

  1. 用户密码非明文保存，加动态salt。
  2. 身份证号，手机号如果要显示，用 “*” 替代部分字符。
  3. 联系方式在的显示与否由用户自己控制。
  4. TODO

5 序列化漏洞

6 加密解密

6.1 对称加密

  • 《常见对称加密算法》
    • DES、3DES、Blowfish、AES
    • DES 采用 56位秘钥，Blowfish 采用1到448位变长秘钥，AES 128，192和256位长度的秘钥。
    • DES 秘钥太短（只有56位）算法目前已经被 AES 取代，并且 AES 有硬件加速，性能很好。

6.2 哈希算法

6.3 非对称加密

7 服务器安全

8 数据安全

8.1 数据备份

TODO

9 网络隔离

9.1 内外网分离

TODO

9.2 登录跳板机

在内外环境中通过跳板机登录到线上主机。

10 授权、认证

10.1 RBAC

10.2 OAuth2.0

10.3 双因素认证（2FA）

2FA - Two-factor authentication，用于加强登录验证

常用做法是 登录密码 + 手机验证码（或者令牌Key，类似于与网银的 USB key）

10.4 单点登录(SSO)

运维&统计&技术支持

1 常规监控

1.1 命令行监控工具

2 日志服务

3 RPC

4 docker

5 APM

application performance management

6 统计分析

7 持续集成

8 自动化运维

9 灰度蓝绿AB

10 虚拟化

11 devops&openstack

12 测试

12.1 压力测试

  • 《apache ab测试使用指南》

    • too many open files (解决方案：ulimit -n; nginx配置events同级 worker_rlimit_nofile 15360;)
    • apr_socket_recv:Operation timed out (解决方法：ab加上-k 开启keepAlive)
    • apr_socket_connect(): Operation already in progress (解决方法：apache/conf/extra/httpd-mpm.conf 修改 ThreadsPerChild)
    • apr_socket_recv: Connection reset by peer (54)
    • setsockopt(TCP_NODELAY) failed (22: Invalid argument) while keepalive

  • 《大型网站压力测试及优化方案》

12.2 测试驱动开发

12.3 单元测试

  • 《单元测试》
    • 单元测试可以有效地测试某个程序模块的行为，是未来重构代码的信心保证。
    • 单元测试的测试用例要覆盖常用的输入组合、边界条件和异常。
    • 单元测试代码要非常简单，如果测试代码太复杂，那么测试代码本身就可能有bug。
    • 单元测试通过了并不意味着程序就没有bug了，但是不通过程序肯定有bug。

13 CGI

架构&框架

1 架构

1.1 架构师修炼图

1.2 微服务架构

分布式设计

1 扩展性设计

1.1 分布式&异步

1.2 分布式之数据切分

  • 《可扩展性设计之数据切分》
    • 垂直切分，水平切分，联合切分
    • 垂直切分缺点： join表分页搜索需要程序完成；事务处理复杂；
    • 水平切分缺点： 维护数据变复杂；切分无具体标准；
    • 切分与整合带来的问题：分布式事务；跨节点join（全局表，冗余，数据组装）；跨节点合并分页排序（先排序分页，再数据组装）；

1.3 分布式事务一致性

2 稳定性&高可用

  • 《系统设计：关于高可用系统的一些技术方案》

    • 可扩展：水平扩展、垂直扩展。 通过冗余部署，避免单点故障。一主多从。
    • 隔离：避免单一业务占用全部资源。避免业务之间的相互影响 2. 机房隔离避免单点故障。
    • 解耦：降低维护成本，降低耦合风险。减少依赖，减少相互间的影响。
    • 限流：遇到突发流量时，保证系统稳定。
    • 降级：紧急情况下释放非核心功能的资源。牺牲非核心业务，保证核心业务的高可用。
    • 熔断：异常情况超出阈值进入熔断状态，快速失败。减少不稳定的外部依赖对核心服务的影响。
    • 自动化测试：通过完善的测试，减少发布引起的故障。
    • 灰度发布：灰度发布是速度与安全性作为妥协，能够有效减少发布故障。

  • 《关于高可用的系统》

    • 数据不丢，就必需要持久化；服务高可用，就必需要有备用；复制，就会有数据一致性

2.1 负载均衡

2.2 限流

  • 《谈谈高并发系统的限流》
    • 计数器：通过滑动窗口计数器，控制单位时间内的请求次数，简单粗暴。
    • 漏桶算法：固定容量的漏桶，漏桶满了就丢弃请求，比较常用。
    • 令牌桶算法：固定容量的令牌桶，按照一定速率添加令牌，处理请求前需要拿到令牌，拿不到令牌则丢弃请求，或进入丢队列，可以通过控制添加令牌的速率，来控制整体速度。Guava 中的 RateLimiter 是令牌桶的实现。
    • Nginx 限流：通过 limit_req 等模块限制并发连接数。

2.3 容灾

2.4 平滑重启

3 数据库扩展

3.1 读写分离

3.2 分片模式

4 服务治理

4.1 服务发现

4.2 服务路由

5 分布式一致性

5.1 CAP与BASE理论

  • 《从分布式一致性谈到CAP理论、BASE理论》
    • 一致性分类：强一致(立即一致)；弱一致(可在单位时间内实现一致，比如秒级)；最终一致(弱一致的一种，一定时间内最终一致)
    • CAP：一致性、可用性、分区容错性(网络故障引起)
    • BASE：Basically Available（基本可用）、Soft state（软状态）和Eventually consistent（最终一致性）
    • BASE理论的核心思想是：即使无法做到强一致性，但每个应用都可以根据自身业务特点，采用适当的方式来使系统达到最终一致性。

5.2 分布式锁

5.3 分布式一致性

5.4 幂等

6 分布式文件系统

7 唯一ID生成

8 一致性HASH算法

大数据

1 流式计算

1.1 Storm

1.2 Flink

1.3 Kafka Stream

1.4 应用场景

例如：

  • 广告相关实时统计；
  • 推荐系统用户画像标签实时更新；
  • 线上服务健康状况实时监测；
  • 实时榜单；
  • 实时数据统计。

2 Hadoop

2.1 HDFS

2.2 MapReduce

2.3 Yarn

3 Spark

搜索引擎

1 搜索引擎原理

2 Lucene

3 Elasticsearch

4 Solr

5 sphinx

golang

1 基本概念

1.1 GOPATH和工作区

  • GOROOT,GOPATH,GOBIN
  • src,bin,pkg
  • go build; go install ; go get;

1.2 命令源码文件

  • 如果一个源码文件声明属于main包，并且包含一个无参数声明且无结果声明的main函数，那么它就是命令源码文件

1.3 库源码文件

  • 库源码文件是不能被直接运行的源码文件，它仅用于存放程序实体，这些程序实体可以被其他代码使用
  • internal
  • 函数导出，访问权限

1.4 变量声明

  • var s string
  • s := "name"
  • 短变量声明

1.5 作用域

  • 包级私有的、模块级私有的和公开的

2 数组切片

  • 在无需扩容时，append函数返回的是指向原底层数组的新切片,而在需要扩容时，append函数返回的是指向新底层数组的新切片。
  • slice扩容 2倍，1.25倍。
  • 底层数组不会被替换，直接生产新的数组

3 链表

  • container/list

4 字典哈希

5 channel

5.0 注意点

  • 通道不能一直阻塞
  • goroutine执行完再退出
  • goroutine泄漏
  • channel关闭
  • goroutine不能打开太多，应该有限制

5.1 通道规则

  • 对于同一个通道，发送操作之间是互斥的，接收操作之间也是互斥的
  • 发送操作和接收操作中对元素值的处理都是不可分割的
  • 发送操作在完全完成之前会被阻塞。接收操作也是如此

5.2 无缓存通道

  • Channels的发送操作将导致发送者goroutine阻塞，直到另一个goroutine在相同的Channels上执行接收操作
  • 接收操作先发生，那么接收者goroutine也将阻塞，直到有另一个goroutine在相同的Channels上执行发送操作

5.3 close

  • 当一个channel被关闭后，再向该channel发送数据将导致panic异常
  • 当一个被关闭的channel中已经发送的数据都被成功接收后，后续的接收操作将不再阻塞，它们会立即返回一个零值
  • 只需要关闭接受者goroutine
  • range是安全接收的，它会判断是否关闭且没有收据接收。

5.4 单方向channel

  • 只有在发送者所在的goroutine才会调用close函数
  • 任何双向channel向单向channel变量的赋值操作都将导致该隐式转换，没有反向转换的语法

5.5 缓存通道

  • 内部缓存队列是满的，那么发送操作将阻塞直到因另一个goroutine执行接收操作
  • channel是空的，接收操作将阻塞直到有另一个goroutine执行发送操作而向队列插入元素。
  • 可以保证go程执行完再退出（？？）

5.6 并发循环

  • 循环时显式的将参数传给go程。
  • wg.wait为什么要在go func(){}中
  • for range channel当channel关闭且流干的时候才退出循环

5.7 select

  • 同时都满足条件，会随机选择一个执行。是不是有bug
  • Loop goto break

5.8 并发的退出

  • 通过close广播，select去接收。

6 基于共享变量的并发

6.1 数据竞争

  • 数据竞争会在两个以上的goroutine并发访问相同的变量且至少其中一个为写操作时发生。
  • 三种方法避免数据竞争：不要去写变量；避免从多个goroutine访问变量；加锁；

6.2 互斥锁

  • sync.Mutex互斥锁

6.3 读写锁

  • sync.RMutex读写锁

6.4 内存同步

  • 内存同步
  • 不使用channel且不使用mutex这样的显式同步操作时，我们就没法保证事件在不同的goroutine中看到的执行顺序是一致的

6.5 初始化

  • sync.once
  • 保证loadIcons的变量能够对所有goroutine可见

6.6 并发的非阻塞缓存

  • close(ch)会广播到每个goroutine
  • 两种方式：加锁；channel ；

NSQ

TODO

YII

《计算机组成原理》

1 计算机概述

1.1 软硬件

  • 软件，硬件
  • 系统软件；应用软件

1.2 层次结构

  • 汇编--机器语言-解释操作系统-微程序解释机器语言-执行机器语言
  • 翻译程序两种：编译程序；解释程序；

1.3 计算机组成

  • 运算器，存储器，控制器，输入输出
  • 指令和数据相同地位存放在存储器，可按地址寻访。
  • 指令和数据由二进制码表示
  • 指令由操作码和地址码组成
  • 指令是顺序存放的
  • 以运算器为中心
  • 现代计算机：MM+CPU+IO

1.4 计算机硬件

  • 数学建模；确定计算方法；编程序
  • 控制器，存储器，运算器，输入，输出设备

项目管理

TODO

资讯&技术资源

1 行业资讯

2 博客

TODO

  • 计算机组成原理
  • 编译原理和技术
  • 操作系统原理与设计
  • 数据结构算法基础
  • 计算机组成原理实验
  • 数据库系统及应用
  • 并行计算
  • 软件工程
  • 计算机导论
  • 计算机网络

About

No description, website, or topics provided.

Resources

Readme
Activity

Stars

206 stars

Watchers

11 watching

Forks

64 forks
Report repository

Releases

No releases published

Packages

No packages published

Languages