CSRJTAN

Keep Moving


  • 首页

  • 技术

  • 笔记

  • 生活

  • 书单

  • 归档

  • 标签

2016读书总结

发表于 2016-11-13   |   分类于 Life   |  


最近自制了日程本,为了合理清晰管理自己的时间,也让自己落实制定每天的计划,不然怕自己的思绪总是走偏,过于八卦而漫游。于是这个小小的日程本,可以让我每次迷茫或者不愿前行的时候,翻出来记住自己该前进的目标以及去积极行动的事情。这里定下了一些定量或者频率的事情,希望先将定量的一个一个划掉,然后年底能将频率的事情圆满完成,这里比较难的事情是需要完成52本书的阅读,算上上半年确实也有20多本,但最近三个月好像没有具体完成一本书的阅读,所以这里列举看过的书,以及制定余下时间看书的计划。谨记:年轻人的迷茫,一方面是见识浅薄,做得太少,见过太少,另一方面就是读书太少了。

已读:

1.《自制力》:心理学类,自我管理,具体地认识自制力,然后如何去约束自我,养成良好的习惯,从而改变个人性格。 我的感悟:有助于理解自制力,对自己工作和生活的节奏调整,和克制有一定的帮助,值得有时间重温。
2.《如何高效学习》:成长类,作者是1年完成MIT 33门课程的高效能人士,讲述了他如何高效学习,用符合大脑结构的方法,突破自我思维,提高个人记忆。在认识到好的笔记或者思考模式后,需要刻意培训锻炼,从而养成真正有用的思考能力。 我的感悟:可以看到某些聪明人的思考方式,然而一方面用在自己身上只具有部分的适用性,另外培养这种思考模式需要不懈的毅力。
3.《此生未完成》:于娟,一位得了癌症的年轻博士毕业讲师,用诙谐幽默的言语和笔调,讲述自己对自已一生的回顾,以及抗癌历程。 我的感悟:珍惜生命,珍惜岁月,时刻谨记自己拥有的,感恩生活,感恩他人,认真工作,好好生活。
4.《围城》:钱老的经典,讲述镀金小伙方鸿渐回国当讲师的历程,遇到的女子,走过的经历,反应当时社会的风气。 我的感悟:不要像方鸿渐一样,自己应该做一个有主见,坚强的男人。
5.《黄金时代》:暂时唯一看过的王小波的作品,纯粹出于青年人的血气方刚来看这书,描写王二在文革期间个性开放的经历,也是能深刻反映人性和当时时代背景的特点。 我的感悟:果然王小波来写色情小说后,其他的色情小说都显得很不入流。
6.《棋王》:阿城的三王之一,讲述一个棋痴在文革时候的故事,两大爱好:吃和下棋,大概是小时候穷掼了,影射出棋王的世界观和性格。 个人感悟:阿城的描写手法细腻而栩栩如生,而且中短篇小说为主,很是值得去看,题材主要还是文革时期。
7.《幸福之路》:罗素的哲学类范本,从好几个大的话题来展开罗素的人生观,具有一定的借鉴意义。 个人感悟:我阅读的时候觉得太过于文绉绉了,以致于沉睡了无数个晚上终于完成,不然我可以一年都看不完一本书了。
8.《人性的弱点》: 仅次于圣经的伟大一书,从多个故事和例子上缓缓道来为人之道,如何建立良好的人际关系,以及Leader Ship等等,是一个入世和为人处事的一本良目。 个人感悟:每一次看都觉得似曾相识,估计这辈子可以阅读不下10次了。
9.《白夜行》:东野圭吾的佳作,从一个悬案开始,主人公以警长的身份和视角描写整个事件的走势,这是两个小孩人心叵测的推理小说吧,主要是作者的构思和叙事手法十分的精彩。 个人感悟:感动于男的工具人残忍但又默默地付出,震撼于一个聪明美丽小女孩的城府。
10.《一个人的朝圣》:哈罗德是一个生活的失败者,但由于远方朋友的一封信,使得他决定徒步北上,像一个朝圣者一样打破了自己原本破烂不堪的生活,作者最后揭开了他们儿子的真相,使读者有心灵上的震撼和冲击。 个人感悟:我认为哈罗德是一个橡皮人,从某些角度看与自己多少有些相似,畏惧不前,不敢付出但又勤勤勉勉,希望自己能成为一个决断的人,勇敢认真。
11.《解忧杂货铺》:东野圭吾的经典,利用杂货铺信箱可以穿越时空的设定,讲述三个混混通过对陌生人寄来的来信进行回复答疑,在帮助了别人的人生的过程中,也帮助了他们自己。 个人感悟:每个人在遇到人生选择和难题的时候,最清楚选择的其实往往还是他们自己,他们需要咨询的只是朋友给予的肯定或者否定,然而答案其实早就藏于他们的心中。
12.《统计学习方法》:李航写的关于统计学习,机器学习的书本,里面主要涉及基本的原理,还有一些重要公式的推导论证,深入浅出。 个人感悟:在中文教材十分稀缺的年代,这确实是不可多得的一本好书,目前在看周志华老师的《机器学习》,生动有趣,希望里面获得的干货会更多!
13.《如何阅读一本书》:成长工具类,首先这是一个高效学习的好书,它讲述了如何分层次去阅读一本好书,从目录标题,章节分层,主题阅读灯;另外可以关联到如何去判断一本好书,经典。里面包含了如何阅读各类书籍的技巧,希望重温三次,并付诸实践。 个人感悟:先学会层次化阅读,然后对编程主题的书进行快速的主题阅读。
14.《从0到1》:创业类,讲述在商业社会中,在互联网潮流中,真正有意义和有价值产品的概念,蓝海都是需要从0到1的,这里面是伟大而富有意义的。 个人感悟:多做一些创新,改变世界的事情,而不是重复和量产的事情。
15.《35岁前要做的33件事》:鸡汤类,三十而立,确定自己人生格局和定位,哲学的思想,多参与世界;培养自我的能力,增长见识,学会投资理财;理解世界,理解他人,理解自我;
16.《当我谈跑步时,我谈些什么》:村上春树的作品,作为一个作家,他是一个比较专业的长跑跑手,从碎碎念中,更多得到的是他在坚持中收获到的瑰宝。 个人感悟:在自己的人生中,我们应该学会坚持,特别是坚持一些宝贵而不容易做到的事情,它使得我们与众不同。
17.《站在两个世界的边缘》:程浩,一个残疾的小伙,收录了他在豆瓣和知乎上的一些解答,可以理解到这其实是一个卑微的灵魂,但丰富的阅读让他拥有高尚的人格,而又显得那么的伟大。 个人感悟:阅读使人成长,特别的心灵上。
18.《这就是搜索引擎》:一本将搜索引擎庖丁解牛的书,里面涉及一些架构,以及搜索引擎用到的关键技术,主要是爬虫,清洗,索引,RANKING,云等重要结构。 个人感觉:将部块分解,搜索引擎主要面对的难点只是大数据,所以用分布式堆砌可以有效的解决问题。
19.《未来在现实的第几层》:一本简介未来10年可以工业化的重要科学技术,主要偏向工业界的,包括生活和材料屏幕等。 个人感觉:可以让人开开科学的眼界。
20.《你一定爱读的极简欧洲史》: 不,我不爱读,里面将复杂的欧洲史压缩成小书,各种人名让我各种懵。不过把欧洲史的重点刻画出来了,中世纪,日耳曼民族和教皇。 个人感悟:我渴望去一次欧洲旅行,希望带上这本书重温欧洲文化,希腊神话,基督文明。
21.《再穷也要去旅行》:流水账的旅行小册,感觉我自己去一次整理写出来比这个好看,主要这位东南亚女孩也比较大胆和个性,旅行的时间也比我早多了,还是佩服这样有勇气的背包客。 个人感悟:我也想当一次背包客,说走就走,走万里路,见识这个世界!
22.《30而励》:芮成钢,作为一个外国交流大使,写一些敏感的政治时间,并用国际化的视角解读。 个人感悟:可能我没细看,觉得不太感兴趣。
23.《活着》:余华的作品,我最爱看的中文名著,没有之一,我觉得主角的命运很惨,但在这种基调下的人生反而显出了生的伟大。 个人感悟:可能我只是希望看看别人的生活比我惨,然后我庆幸和感恩自己所拥有的生活,每次我灰心丧气,只要想起福贵,我就知道自己不是绝境,还应该去努力一把。
24.《C++ Primer》:C语言是面向硬件,指针化,struct和宏比较多;C++是面向对象。 个人感悟:学好C和C++,走遍天下也不怕。
25.《小王子》:很短的反思性小说,童心的纯真让我们反省起作为社会和成年人的复杂和勾心斗角。 个人感悟:保持一颗美好的童心,会让你更感恩和热爱生活。
26.《黑客与画家》:Paul Graham是一个前辈黑客,现在是硅谷的投资者;讲述他认为的黑客的特点,从他的角度可以很好地理解黑客和技术是什么。
27.《苏菲的世界》:第一本西方哲学的入门书,从教授给小女孩的书信说起,一步一步地讲述西方哲学的发展和理论的构建,通俗易懂的理解了哲学的发展。 个人感悟:要攻读PHD,先理解哲学的思考方式和人生观是首当其冲的。
28.《我与地坛》:史铁生老师的书都是写入读者深处灵魂的,他对生与死的看法也是超乎常人,在这系列小说了,对人生、母爱、生死都有了深刻的描写和展现。 个人感悟:看得很精彩和感动。
29.《把时间当作朋友》:成长管理类,如何更好的管理自我,管理时间,首先改变认识,然后制定有效的计划措施。 个人感悟:有空值得重温,对时间宝贵的我们具有借鉴意义。
30.《倾城之恋》:讲述留学潮的女性求爱故事,作为一个大家闺秀在爱情里面的赌博,也反应着张爱玲老师的恋爱观。 个人感悟:乱世佳人,言情师祖。
31.《向左走,向右走》:这不算书,算是插画,讲述两个孤独城市里的陌生人,一次大雨的邂逅,各怀好感的两人却再也相遇不上对方;留下的只有漫长的等待,缘分就是始终没有出现在这对暧昧的恋人未满身上。
32.《别为小事抓狂》:心理学类,教会如何学习情绪管理。 个人感悟:太久之前阅读,比较鸡汤。
33.《拆掉思维里的墙》:鸡汤类,讲述思维的重要性,如何做成一件事和一个人的发展,主要还是看其思维和行事方式,这是每个人需要去突破自我,突破固定的思维,会发现更多。

剩下要读的:
19本
《当下的力量》、《机器学习》、《我是你爸爸》、《杀死一只知更鸟》、《The element of style》、《尽管去做-无压力工作法》、《娱乐至死》、《潜规则》、《沟通的艺术》、《影响力》、《书读完了》、《追风筝的人》、。。。(待补充)

阅读全文 »

认识教会的朋友

发表于 2016-11-08   |   分类于 Life   |  

这一段时间生活确实比较枯燥,感觉自己把自己给困住了,总结一下最近三个月的生活日常。

首先今年宪源小朋友来科大读Msc了,也是学习机器学习内容,可以充实忙碌地学习工作了。来了之后组织女朋友和他情侣俩一块来到城门水塘,由于起床比较晚,中间不大会路,去到大概已经3点多了。从西铁线去到荃湾站,然后坐82号巴士到公园。

城门水塘整个是一个麦理浩径的一段,所以十分的长,要走完感觉一天也勉强,一般就直接进去看看猴子,到了水塘附近找个美景拍拍照。这里确实风景优美,空气清新,是在香港这个钢铁森林里一个极好的郊野公园,以后有机会还要再来拍风景和人物美照。
离开水塘前的合照

阅读全文 »

CDM using inter-channel correlation and NSS

发表于 2016-11-08   |   分类于 Tech   |  

原文链接

Title: CDM with ICC and NSS(nonlocal self-similarity)

摘要:提出了novel modeling strategy and efficient algorithm. 在梯度上,使用inter-channel correlation。在约束项上,利用了Nonlocal self-similarity. 在提出了joint-model之后,将minimize problem分解成两个子问题,并迭代求解(凸优化里面的问题)。

Introduction:将CDM分成了四类

一.inter-channel correlation: 1.最早的color difference方法,2.Gunturk AP使用了wavelet basis假定图像在high-frequency subbands are high correlated 3.Li认为图像经过gamma correction之后,再使用color difference is better 4.Jaiswal提出low-pass filter(LPF)结合(color difference)CD的方法 5.Kiku使用temtative residual interpolation rather than the color difference maps.

二.locally estiamte a better gradient direction:
1.Hamilton and Adams使用了二阶梯度
2.Hirakwa采用了local homogenity
3.Zhang优化了directional filter of G-R and G-B by LMMSE

三.Nonlocal Self-simialrity
1.Buades验证使用NSS可以reduce artfacts
2.Zhang使用LDI-NAT,用nonlocal adaptive thresholding来suppress artifact

四.用prior knowledge来解决Ill-posed problem
1.Compress sensing with sparse coding
2.Total variation regularization: the smaller TV energy function gets a better PSNR in denoise
3.Gao提出了约束项,使用拉普拉斯操作后,图像的color difference are sparse.变得稀疏了,这篇论文的建模也用到了这个理论
4.基于字典学习(dictionary learning),Mairal认为natrual image服从sparse representation.

Methodology

1.先用初始化方法得到init_demosaicked images.
2.加入Inter-channel correlation的约束项:
3.根据l2-distance来查找similar patch,组成matrix. 由于patches都是相似的,所以matrix应该是sparse的,但由于噪声或者纹理丰富的原因,这里文章采用一个近似的方法,更好地满足稀疏特点
$$L+S = M $$
这里D指水平和垂直的finite difference operators,M是patches组成的矩阵,S表示outliers,假设Frobenius norm(二范数) of S is small,L是满足稀疏的矩阵。从而得到construct L如上式所示。
4.得到最后的求解模型
5.求解过程是分解成两个子问题,分别迭代最优化求解X和L。

Experiment

1.采用MLRI作为初始化方法
2.分为全图和Block-based NSS
3.包含窗口大小,patch大小,以及trade off hyperparameters的设置
4.在Kodak有41.06,McMaster有37.55,效果还不错

CS231n_总结

发表于 2016-08-30   |   分类于 Read   |  

结束CS231N课程笔记

CS231N课程的总结,到了后面关于RNN的用法以及detection和sequential学习都是新颖领域。

(知乎专栏的翻译版)[https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit]

1.首先是PYTHON的教学,NUMPY使用。
2.图像分类方法:线性分类,SOFTMAX,SVM
3.优化方法:梯度下降、最优化方法
4.BP的具体原理和实现细节
5.CNN的学习
6.如何设置参数以及学习率
7.现在RNN发展和DETECTION

阅读全文 »

GoodMood

发表于 2016-07-28   |   分类于 Life   |  

刚完成了Confirmation,压力好大,缓不过气,每天都要充实的学习做实验和生活。阅读、记录、代码、健身、音乐,早睡早起,多交朋友,保持健康。

这里搬运一些让自己好心情的方子:

14条交友原则

1.保证充足睡眠情况下,早起让每天多出几个小时
2.做事情留出至少10分钟的余地,不要赶时间
3.和喜欢的人说笑
4.日事日毕,尽量8小时内解决问题,不要把工作带入生活
5.每两天来一次酣畅淋漓的运动
6.对不重要的事情不争抢不较劲,如开车
7.多接触新事物带来新鲜感,多学习新技能带来成就感
8.改造环境,比如装饰房间
9.仔细读好书,让心灵成熟、自由,有更多创造快乐的方法
10.偶尔放松,通宵看球,和妹子开黑,吃零食看剧,躺床上看一天小说什么的。
11.每隔一段时间就换环境呆一段时间,度个假,旅个游
12.每天给自己独处的时间
13.早睡,心里不会有负罪感,第二天精力充沛
14.不和不重要的人撕逼
15.远离傻逼

交友原则

1.不要非和某人做朋友,不喜欢就保持距离
2.合得来的人要好好相处,不计较地乐于助人
3.不要胡思乱想,顺势而为
4.管理好自己的形象,衣着配饰得体,运动整洁
5.尽最大努力去赚钱,理清现实后不妄想得不到的东西
6.爱,不苟求。‘与有情人做快乐事,不理是劫还是缘’
7.温柔的对待父母
8.不买,可有可无的东西;必需品则买经典耐用的
9.有话就说,不知道怎么说才好就照直了说,恶言恶语当场反驳
10.别给自己的行为贴不好的标签,内向就是内向,不是抑郁
11.爱情本身不会影响生活,对爱情犹豫不决才会,为爱情忽略自我才会
12.找机会与看似快乐的陌生人玩耍,和爱自己的亲人吃饭。

美女们

matconvnet配置

发表于 2016-06-26   |   分类于 Tech   |  

matconvnet,使用CNN做Image Demosaicking,由于组内的师兄主要使用这个框架,率先对这个框架进行快速上手使用和学习,CS231N也不能落下,之后可以考虑对CAFFE进行学习。

配置

首选由于选择软件的版本上也做了点无用功,亲测之下使用一下组合是有效的。win8.1+VS2013+MatlabR2014a+CUDA7.5+Cudnn-rc5.

由于系统和Matlab的兼容性问题,感觉如此的组合是最为高效可靠的。
首先是mex -setup的问题,MatlabR2014a尚不支持VS2015的,为此我还体验了一会儿WIN10和VS2015.但考虑到后期开发和兼容性的问题,使用稳定版本是最为可靠的!对于下载后的源码,mex -setup设置成功后,直接跑vl_compilenn,则通过编译CPU的版本。这里着重说一下GPU版本,因为编译执行了很多次,不是编译就是运行代码时候遇到问题了,这里说一下自己的理解和亲测的过程。

matconvnet gpu的方法

首先使用了CUDA5.5的版本,但由于在编译时遇到了点问题,意识到应该使用7.5版本,而且无论caffe还是最近来说,7.5版本是比较稳定,而且适应我当前使用的TITAN X的显卡设备。然后使用vl_complinn(‘enableGpu’,true)则可实现普通GPU的版本。然而一直卡在使用cuDnn包的时候编译或者运行就出错。后来发现是用的rc-4的包不正确,应当使用官方的包,直接下了rc-5的版本。[建议任何的框架和库都使用官方版本!]最后终于成功了,跑cifar的example,1500Hz for gpu; cuDnn成功后,达到6700Hz!

学习

这俩天认真的学习了一下MatconvNet,主要看官网的所有资料,以及example例子,然后就是VGG的tutorial

顺带有空把后面每一个函数的注释看一下,学会用法;针对于使用CNN,可以参考一下过程:

1.Prepare Data
2.Set up Training parameters
3.Training Process:
for num = 1:nEpoch
train model on training set
test on validation set
end
4.Test on fianl test data

CS231n_8_9

发表于 2016-06-21   |   分类于 Read   |  

Lec8

Spatial Localization and Detection

Tasks

Classification, Classificatin+Localization, Object Detection, Instance Segmentation.

Localization, I:Image O:Box in the image(x,y,w,h) E:Intersection over Union.(IoU)

Claissification+Localization

Output: Single Label and Bounding Box

Idea one: Two task head
1.Train a CNN
2.Attach new fully-connected “regression head” to the network(FC)
2.1 Classification Head
2.2 Regression Head
3.Train the regression head only with SGD and L2 loss
4.At test time use both heads

Idea two: Sliding Window
Input: Bounding Box
Iteratively refine the BB into a optimal size and place.

Objects Detection

Output: all the exist labels and BBs

Problem: Need to test many positions and scales, use computationally demanding classifier

Solution: Only look at a tiny subset of possible positions

Region Proposal:Bottom-up segmentation.

RCNN: 1. Train a classification model on ImageNet

  1. Fine-tune model for detection(Throw finaly FC rathter than 20 Objects and one background, that is 4096*21 for the last layer.)
  2. Extract Features: Extract region proposals for all images, save the pool5 features to disk.
  3. Train one binary SVM per class to claissify region features.
  4. Bbox regression: Train a linear model to fine-grain the bbox

Fast-RCNN: Build an end-to-end framework, much faster than RCNN.

Summary

Lec9 Understanding and Visualizing

Visualizing the weights, t-SNE visualization

Deconv Approaches:
1.Feed image into net
2.pick a layer, set gradients of the score vector to [0 0 1 .. 0], then bp to image
3.Do a small “Image Update”
4.Forward the Image

  1. Go to step 2

Deconv

Learn to visualize the weights, also deconv to reconstruct an larger size output.

Deconv: reverse the convolution filter
DePool: record the position and set other be zero.
DeReLU: The same as the ReLU.

Neural Style

  1. extract content targets
  2. extract style targets
  3. Optimize over image

BackPropping is powerful

  • Understanding
  • Segmenting Objects in the Image
  • Inverting codes and introducing privacy concerns
  • Fun(NeuralStyle/DeepDream)
  • Confusion and chaos(Adversarial Examples)

Bilateral_Guided_Filter

发表于 2016-06-13   |   分类于 Tech   |  

Bilateral Filter

双边滤波主要考虑了邻域里的像素加权,权重受几何距离和色彩距离相关。

双边滤波具有Non-linear, edge-preseving and noise-reducing smoothing的特性。

Guided Filter


加入了引导图像的抽象,可以不一定沿着自身而做bilateral filter的。但这里guided filter还是用自身的保持边缘滤波来先理解。

与bilateral的区别在于不是简单地利用spatial和range,而是建立一个局部的线性关系,在当前更新pixel的局部窗口k中,建立一个局部线性关系。

然后根据线性回归,对每个像素求解出其对应的参数$a_k,b_k$,再分“High variance”和”Flat patch”进行处理。
如果a->1,b->0:High Variance,保持值不变
如果a->0,b->$\mu_k$:Flat patch,使用临近像素平均

具体数学分析


保留了Bilateral filter的优点,同时克服了缺点,使得平滑之余达到边沿保留。

时间简史

发表于 2016-06-12   |   分类于 Tech   |  

简述

这是霍金在2010出版的书,讲述近代纯物理学的一些研究成果以及围绕宇宙学来展开的一系列科普理论。
这个评价很高也让我了解到物理学是怎么去做research的,然而无奈自己太多理论没有接触过,也没有上过《大学物理》这个课程,中间太多断层的知识唯有靠瞎蒙,无奈第一次十分不理解地看完了。想做点笔记,也只能围绕书本的结构顺序展开基本的描述,也参考了一下豆瓣上的笔记之类的,在这里总结一下,毕竟这个书前前后后读了2周,依然云里雾里。庆幸的是我对为何宇宙膨胀,黑洞、虫洞、空间曲率等有了更深的理解。因为我很喜欢关于宇宙题材的电影,包括《火星救援》、《星际穿越》、《星际迷航》等等。还是很值得一看,这是个重要的科学问题,也是一个哲学问题。

最后,大部分的朋友也是认为此书看不懂是正常的,甚至连物理系的学生也可能不能完全读通,主要是一来物理学未成大体系,二来目前研究还很粗糙,霍金用个人的理解和总结来描述,总不免有未能顾及大众科普,三来对基本理论的掌握要求比较高,不然无法延伸出来这些观点。

文章结构

这里把看书的笔记列一下,比较杂乱:
人类发展以来的宇宙观和世界观:地方说->地圆说(上帝说)->日心说(哥白尼)->椭圆轨道->万有引力(牛顿)->狭义相对论->广义相对论->宇宙大爆炸

组成成分的认识: 四元素(亚里士多德)->原子论(道尔)->布朗运动->电子(卢瑟福)->中子(查德威克)->夸克(加州理工1969)

四种力:万有引力、电磁力、弱核力、强作用力

量子物理(微观):量子假设、不确定性原理、薛定谔的猫
热力学熵增(有序到无序):热力学箭头,心理学箭头,宇宙学箭头
黑洞的“无毛定力”,称为“不能逃逸远处的时间集合”、弱人择原理、不完备定理、虫洞(空间扭曲)、宇宙弦(张力大的橡筋),光速C为常量且最快,粒子无法提速到99.99%*c,无论功率如何加大。还有光锥、高维空间、PST对称原理等。

借鉴总结

【引用自豆瓣 川贝】

一、物质(Substance)
物质即一种存在。物质由一些基本粒子(自旋为1/2)构成。物质的绝对静止是不存在的,物质的绝对状态是不停运动变化的。质量和能量是描述物质状态的两个重要属性,两者皆满足广泛意义上的守恒定律,且可以互相转化。力(自旋为0,1,2的虚粒子)和波(自旋为0,1,2的实粒子)描述了物质间的相互作用及效果,自然界归纳出四种基本的力:引力、电磁力、强核力、弱核力。

二、时空(Time&Space)
当我们跳出低维度的视角去思考这个世界,时间和空间是一个混合的概念,时空的本质是物质的散漫态,而时间只是物质状态变迁的一种度量。时间箭头是基于热力学方向(闭合系统中的熵总是随时间增加)、心理学方向(取决于热力学方向)、宇宙学方向(方向不定,但根据人择原理,现在它与前两个方向一致)的。关于广义相对论和时空曲率的一些论证及推论让我们看到通过旋转黑洞、虫洞进行时空旅行的可能性。

三、科学(Science)
从最初亚里士多德的权威说法到牛顿的经典理论再到爱因斯坦的相对论和近代物理学的量子论,科学理论的提出、完善、应用乃至推翻,每每令人惊叹随即错愕。让我来回想一下部分基本理论及关键字:
1、电磁场理论:四个方程,似乎没什么好说的。做大一统工作的人总能博得满堂彩,向麦克斯韦致敬。也正是这个理论方程关于伽利略变换的不谐洽导致了洛伦兹变换和相对论的提出。
2、相对论:狭义相对论凭借两条简洁的假设,开拓了一个崭新的时空观,重新探讨了惯性系中物体的运动规律,由此衍生出来的一系列推论和预言近乎完美的解释并验证了诸多难题,继而广义相对论又对非惯性系中的物体运动规律做了进一步研究,赋予了引力场和惯性等物理概念以新的科学内涵,有力地推动了天文宇宙物理学的快速发展。
3、量子理论:光电效应、波谱研究、康普顿效应、德布罗意波->量子化(从普朗克到波尔)!海森堡不确定性原理(俗称测不准原理)放弃了量子状态的精确测量、泡利不相容原理->概率波、薛定谔方程,还有一大堆基本粒子及其量子状态描述(复杂从略),量子物理学作为研究物质微观机理的近代理论还在不断的完善中……
4、近代宇宙学:宇宙的起源及演化(热大爆炸学说,弗里德曼闭合宇宙,宇宙无边界设想)、黑洞理论(坍塌,高密度,大引力)、虫洞(时空负曲率)、人择原理(最莫名其妙的原理:“不要问为什么,因为这就是答案”)、暗物质(反粒子)、弦理论、……关于宇宙的理论与设想自古以来就没少过。
5、理论的统一:广义相对论用以描述宇宙的大尺度结构(几公里到1亿亿亿英里),量子力学用以处理极小尺度现象(百万亿分之一米),然而,可惜的是这两个理论不是互相协调的——它们不可能都对!现在科学家们正在思索并探寻一种被称为“量子引力论”的统一理论。自然界中的四种基本力中除引力外的其他三种力的统一已经在GUT(大统一理论)中初见端倪,然而离最终得到包含包括引力在内的所有力和普适物理规律的统一理论还有相当长的一段路要走。

CS231n-7

发表于 2016-06-09   |   分类于 Read   |  

CNN

终于进入CNN的话题了,介绍一下CONV,POOL,FC层的做法,具体的结构、参数、运算量等。

回顾一下,Mini-batch SGD
Loop: 1. Sample a batch of data

  1. Forward prop it through the graph, get loss
  2. Backprop to calculate the gradients
  3. Update the parameters using the gradient


卷积操作过程的参数计算公式图,趋向于用数量更多的小Filter,更深的网络。
ConV的卷积核深度总是和输入的立方Feature Map的深度一致,而Kernel的个数就是新的FeatureMap的Depth.

一般来说:Max Pool with 2*2 filters and stride 2

FC: Containes Neurons connect to the entire input volume

ConV的参数取决于Filter,例如2272273通道的Feature Map,用Stride为4的96个Kernel 1111 Filters,则有(11113)96=35K, Output Volum [((227-11)/4+1)5596]

Pool的参数为0,FC的参数最多.


2012的ALEXNET的网络架构


2014的VGGNET网络架构和参数,主要占显存的是头几层的FeatureMap,而主要占用参数是FC层,VGG是初始化效果最佳的网络之一。
TOTAL MEMORY: 24M4bytes ~= 93MB/image (Only forward!~2 for bwd)
TOTAL params: 138M parameters

之后是GoogleNET(2014),6.7% for top5 error,12X less params than ALEXNET
然后是MSRA的RESNET(2015), 3.6% top5 error, at runtime: faster than VGGNet


特点:BN after every CONV, Xavier/2 for initialization, SGD+Momentum(0.9), Learning rate,0.1 and dived by 10 when validation error plateaus. Mini-batch size 256, Weight decay of 1e-5, No dropout

1234…8
CsrjTan

CsrjTan

blog csrjtan tanrunj

78 日志
3 分类
30 标签
RSS
Links
  • arXiv
© 2015 - 2017 CsrjTan
由 Hexo 强力驱动
主题 - NexT.Muse