简要介绍
因为要使用MarkDown中使用LaTeX编辑数学公式然后在文档、网页中使用，但是自己总是记不住这么多东西，特别是几天不用，很多都忘记了，因此准备就数学公式的Latex编辑方式做一个整理，以方便自己和读者今后使用。

分数 平方

下标

省略号

行间公式（使用两个$包含公式可以独立一行）

前言

AQS，即AbstractQueuedSynchronized，抽象的队列式同步器，它是一个用于构建锁和同步器的基础框架，java中很多锁和同步器的实现都依赖AQS,比如ReentrantLock、 ReadWriteLock、Semaphore、CountDownLatch等。然而这些锁都没有直接来继承AQS,而是定义了一个Sync类去继承AQS.因为锁面向的是使用用户,而同步器面向的则是线程控制,那么在锁的实现中聚合同步器而不是直接继承AQS就可以很好的隔离二者所关注的事情.

AQS的实现是基于CLH队列，CLH队列的提出是用于自旋锁，但在AQS中，JUC并发包的作者（Doug Lea）将其用于阻塞锁。在了解AQS之前首先来看看CAS和CLH队列。

代价函数

逻辑回归：
$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_j^2$

不将偏差项正则化：
其中正则项中的 $\Theta_{ji}^{l}$ 当 $i=0$ 时不会进行求和，和之前的逻辑回归中的正则化一样

反向传播算法

目标： $min_{\Theta}J(\Theta)$
Need code to compute:

• $J(\Theta)$
• $\dfrac{\partial}{\partial\Theta_{ij}^{(l)}}J(\Theta)$

神经网络模型

输入层、隐藏层、输出层：

If networks has $s_j$ units in layer $j$ , $s_{j+1}$ units in layer $j+1$ , then $\Theta^{(j)}$ will be of dimension $s_{j+1} \times (s_j+1)$

过拟合问题 Overfitting

欠拟合 underfitting (high bias 高偏差)
过拟合 overfitting (high variance 高方差)

解决的办法

1. 减少特征的数量
   • 手动选择保留哪些特征
   • 模型选择算法
2. 正则化 Regularization
   • 保留所有特征，但是减少量级或者参数 $\theta$ 的大小
   • 当特征非常多的时候依旧非常有效，每一个特征都会对预测 $y$ 产生影响

代价函数

解决办法的思想
在 $\theta_3$ 和 $\theta_4$ 中增加惩罚，增加一个很大的数与之相乘，这样要最小化代价函数，最后 $\theta_3$ 和 $\theta_4$ 会变得非常小（接近于0），这样最后的结果得到了依旧类似于一个二次函数

分类 Classfication

$y \in \{1,0\}$
0: “Negative Class”
1: “Positive Class”

逻辑回归

逻辑回归是一种分类方法
Logistic Regression Model
Want $ 0 \leq h_\theta(x) \leq 1$
$h_\theta(x)=g(\theta^Tx)$
其中 $g(z)=\dfrac{1}{1+e^{-z}}$ ，称作Sigmoid函数或Logistic函数

$h_\theta(x)=P(y=1|x;\theta)$

特征缩放

Mean normalization
为了让梯度下降时候运行速度更快
将$x$的值控制在$(-1,1)$左右

$x_1=\dfrac{x_1-\mu_1}{s_1}$
$\mu_1$ 是 $x_1$ 的平均数
$s_1$ 是 $x_1$ 中最大值-最小值

损失函数

$J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$

通过使 J 值取最小来满足需求
-> 使用梯度下降方法寻找损失函数的最小值

梯度下降

好比我们下山，每次在一点环顾四周，往最陡峭的路向下走

repeat until convergence {
        $\theta_j := \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta_0, \theta_1)$ $(for　j=0　and　 j=1)$
}

学习率 learning rate -> 控制梯度下降时跨多大的步子

原文作者：翟开顺
首发：CSDN
本人仅为自己方便查阅做了摘抄，请支持原作者
原文地址：https://blog.csdn.net/t1dmzks/article/details/72077428

RDD 分区 HashPartitioner，RangePartitioner，自定义分区

关键字: spark分区方式，java HashPartitioner分区，scala HashPartitioner分区， java RangePartitioner 分区，scala RangePartitioner分区， java 自定义分区，scala自定义分区

默认分区和HashPartitioner分区

默认的分区就是HashPartition分区,默认分区不再介绍，下面介绍HashPartition的使用

通过上一章 mapPartitionsWithIndex的例子，我们可以构建一个方法，用来查看RDD的分区

1
2
3
4
5
6
7
8
9
10
11
12

def mapPartIndexFunc(i1:Int,iter: Iterator[(Int,Int)]):Iterator[(Int,(Int,Int))]={
  var res = List[(Int,(Int,Int))]()
  while(iter.hasNext){
    var next = iter.next()
    res=res.::(i1,next)
  }
  res.iterator
}
def printRDDPart(rdd:RDD[(Int,Int)]): Unit ={
  var mapPartIndexRDDs = rdd.mapPartitionsWithIndex(mapPartIndexFunc)
  mapPartIndexRDDs.foreach(println( _))
}

原文作者：翟开顺
首发：CSDN
本人仅为自己方便查阅做了摘抄，请支持原作者
原文地址：https://blog.csdn.net/t1dmzks/article/details/72077428

RDD 分区操作上mapPartitions, mapPartitionsWithIndex

mapPartitions

mapPartition可以倒过来理解，先partition，再把每个partition进行map函数，
适用场景
如果在映射的过程中需要频繁创建额外的对象，使用mapPartitions要比map高效的过。

比如，将RDD中的所有数据通过JDBC连接写入数据库，如果使用map函数，可能要为每一个元素都创建一个connection，这样开销很大，如果使用mapPartitions，那么只需要针对每一个分区建立一个connection。