XII - Tempe打工笔记 最优化的反思
文字留给人想象的空间。
5月末终于把期刊论文提交，接连的高强度pair coding终于画上句号，长舒一口气，继而陷入一种巨大的虚无感之中——开始质疑做这件事情的意义与价值。
加入朋友的PhD research是22年年底开始构想的事情，大概从23年3月开始研读paper，topic是AI Safety和Object Detection Robustness。起初是抱着一种学习Deep Learning的态度，给自己的本职工作——传统data science补充一些技能集，以希求带来一些职业发展上的新方向。另一方面，自己并不具备独立深入学习一个课题的能力，于是只能寄托于他人的project产出自身的执行力。
但未曾设想到，过去的一年多见证了LLM与Gen AI的崛起。尽管ChatGPT类的LLM还只是一个知识储备丰富、无限耐心但只有金鱼般的记忆还伴随着幻觉（Hallucination）现象的对话机器，但万恶的人类已经开始研究如何将这个孩童般智力的AI扔进一个井然有序的框架中，以稳定地展现出符合商业场景的能力，进而带来一定的价值——例如代替说话的人类，便能降低生产成本。
眼瞧着招聘市场上如雨后春笋般浮现的LLM应用相关的岗位，自己在Computer Vision方向积累的技能集似乎一无是处。更何况短期内parttime积累的有限成果也并不能带来质的变化。而一顿intense的输出后，引发的疲惫便进一步带来了对它的质疑——质疑自己是否走在一条最优的路线上。
West Fork Trail Oak Creek Canyon
尽管我认可局部最优、或者单目标最优并不能带来全局/多目标的最优的定论，然而不知从何时起就已根植于这种最优化的框架里，对最优路径有一种执着，以及满足于达到全局最优解后带来的小确幸。这种执着小到信用卡、grocery商品性价比的分配，到交通出行的路线选择，大到对做一个project的方法挑选、对当下所做事情的时间线规划、甚至对人生路径的抉择。也对应着自己仍旧想对生活充满掌控感，不管人生的意义与目标被放在何处，都希望自己以一种最高效的方式朝着那儿前进，而惩罚走的弯路，无意识的布朗运动更是不敢奢望。
虽然嘴上说着梦想有一天也能和朋友一起坐在森林里的大house前烤着S'more，身边是漫山的雪，还有一群鹿在围绕着大house跑圈。可若这真的成为了我的梦想，那下一步一定是思考如何用最快最经济的交通方式到达季节合适又最近的大house了（不是）。
我盘算了下手上的backlog——在工作和睡觉以外——例如我本该从年初开始就专攻某一个方向的knowledge base，背八股、刷LeetCode，为跳槽做准备，这样，我就能在某一个时刻摇身一变Tik Tok/Amazon Data Engineer，在LinkedIn上发一条post: I am happy to join Amazon as a niubide XX. 成为万千大厂码农的一员。又或者，我可以继续深化学术研究，在Computer Vision/AI Safety方向独立着手一个自己感兴趣的课题，自动驾驶与3D图像重建仍旧是一个热门研究方向，AGI Safety也总是有大佬们在讨论：去继续做一些回报周期相当长的努力，希望有一天能进入类似HeyGen这样的一代移民+校友的startup工作；当然，我也可以直接肉身入股，全身心投入到基于LLM的创业项目中，跟着这一波AI浪潮做着改变世界或者开上法拉利的梦想。又或者，更加直接地去研究投资炒股策略，大道至简——搞学习不如搞钱。
想做的事情很多，如何达到时间与效率上的最优分配又开始让我苦恼。
也许是偶然点开了推特推荐的某一条“成功学”发言，紧接着就是越来越多的“成功学”教程出现在了我的news feed里。而最近有一条“成功学”发言截图，恰好也提到了“最优化”的困境——因为追求完美计划而导致迟迟难以行动、便总是在计划中。
恍惚间有点被戳中。
与其纠结是否做到了最优化的分配，也许执行力占据了更重要的位置。继续套用自己的边际效应理论，从0到1的初步规划已经实现了大部分目标函数的提升，而持续的优化则面临边际效应递减的规律。大体上完成了某种次优的规划后，如何如有计划并持之以恒地推进一件事情会重要的多。
追溯到20年大四时进行毕业论文的科研。虽然只是一个很水的研究方向，却尽自己所能地搜遍了所有能触及到的SCI论文，写出自认为本方向史上最全面的文献综述，挑选了自认为最可行的机器学习模型，却在持续地推进与优化一个具体方法的过程中屡屡碰壁，最终草草收尾。而如今开始职业生涯，start from a mvp, prototype再持续generalize的方法论早已聊熟于心。
而人的决策，又大体上只能基于当时所能收集到的信息和对未来较为保守的预期。回想自己过去一段时间里做出的重大决策，无非是在23年2月初接下了现在工作的offer，核心原因只是想抓住23年H-1B lottery的抽签机会，彼时每晚一天签下offer，便更有可能被当年的H-1B注册拒之门外；加之22年H-1B注册人数创造新高，一人多抽的空子被发现，可以预见的23年只会变本加厉。
事实证明，23年的抽签数量的确再创新高，而自己又幸运地一抽即中：某种决策的最优在一段时间内得以彰显。可若是拉长时间线，从24年的角度观察，于是发现彼时的自己低估了24年就业市场的艰难，也没有意料到24年开始的H-1B一人一抽新政：彼时的最优决策放到更全局的角度也不过尔尔。
放眼未来，今年又是大选年，可以预见的川普也会卷土重来，未来对待移民的态度又会发生何种变化也无从得知。当下的自己又何德何能做出全局最优的决策呢？
但也许有一个结论还是恒定不变，那就是不断根据外部环境和自身条件生成独有的解决方案并坚定执行，而不被与自己无关的花花世界所困扰。想到这里，便觉得加入朋友的LLM创业项目是一件带给人希望的事情。这是不是所谓的最优决策根本无从下手评估，但着手去做一件事情总是比内耗更有意义。
敬请期待下期
XIII - Tempe打工笔记
我最近在看...
弗朗索瓦·欧容导演的《弗兰兹》(Frantz, 2016, by François Ozon)。好喜欢这种战争背景下的爱情故事。一种历史与战争的厚重感使人物间的感情更加美丽。
《简如西尔万》(Simple comme Sylvain, 2023, by Monia Chokri)。一部应该属于比较冷门的法国爱情片，剧本和台词都相当大胆，很符合我对法国人追求浪漫的刻板印象。影评里有一句“和生理上喜欢的人爱爱，和词汇量接近的人生活”的描述非常贴切。
我最近在读...
吴军的《浪潮之巅》。我总是感觉当下正处在一个AI激荡的年代。22年时眼瞧着OpenAI从GPT3迭代到Codex，到DALLE，最后到年底的ChatGPT。起初只是以为是生成式模型的一次重大升级，却没想到接下来的两年是LLM模型的军备竞赛和应用的井喷。于是想去了解一下历史上的科技公司故事。看到IBM在14年的岗位外迁直呼好家伙，原来这早已是资本家的惯用伎俩，也就很能理解自己公司同样的商业决策了。
我最近在听...
不合时宜 - 纽约无人是客，纽约何以为家 | 在异乡05
一期[几个老纽约人]与[居住在荷兰但方前去纽约旅行的主播]关于纽约生活的对谈。
随机波动136 微小的暴力，荒谬的结局：当女性在健身房被性骚扰
一期常规的对谈。想到以前对国内的健身房向来没有好感，便把这期作为健身时的电台了。
评论
发表评论