git config --global user.email "[email protected]" | 类别 | 内容 | | ---------- | -------------------------------------------------------- | | **AI 硬件** | • GPU性能<br>• 租用平台<br>• 快速推理技术 | | **AI 模型** | • 主流开闭源模型<br>• Openrouter<br>• 硅基流动 | | **AI 微调** | • 强化学习微调Qwen2.5-1.5B、框架选择、参数设置、模型评估 | | **AI 练习** | • Exercism<br>• Kaggle<br>• Huggingface<br>• Wandb 平台的使用 | | **AI 资讯** | • HackerNews<br>• X<br>• YouTube 列表 | | **AI IDE** | • Cursor 使用技巧 | | **AI 学习** | • 知识图谱与知识库使用心得 | | **AI 商业化** | • Chatwise 盈利模式的探讨<br>• 自写插件<br>• 细分场景发现 | | **AI 课程** | • CS229<br>• CS224n | # 真正的NLP发展的历史时间线 ## 2017年 - Google发布transformer（attention is all you need） - 大家：我操，牛逼，一个伟大的时代到来了。 ## 2018年 - Google发布encoder only BERT - OpenAI发布decoder only GPT - 大家：我操，更牛逼了！ - 一年内，Google官宣：Google搜索里面已经强力嵌入BERT了，你们每一次搜索都是BERT的结果！ ## 2019年 - 大家就知道了，CV已经快死了，想做新东西只能沿着NLP开始做 - 2019年成了BERT大灌水元年 - OpenAI发布了GPT-2 - Google发布了当时巨无霸T5 - 当时人们惊呼，Google发布这么大的model，你不要命了？ - 其实当年T5最大的也只有11b parameters，最小才76 million，跟今天比，简直小太多了 - Meta也发布了Megatron ## 2020年 - OpenAI发布了GPT-3 - 我清楚记得当年那个震撼的视频，随手拉个表格，一大堆公司的股价和信息自动补全 - 当时整个科技圈彻底沸腾了，一群人抢着要GPT-3的内测资格 - Meta也发布了更大号的Megatron ## 2021年 - 一群人意识到了时代要来临了，开始抢占话语权 - 开始发明新概念"foundation model"（基础模型） - 山雨欲来风满楼，大家都知道革命要出现了 - 各种任务和benchmark像下饺子一样出现了 ## 2022年年底 - ChatGPT发布 **在没有** **AI** **的时代看到陌生词汇是害怕逃避，有** **AI** **以后是兴奋，因为马上又要** **challenge** **自己了，又要有所进步了**  #第一性原理 ## **. 数字驱动到知识驱动** - 传统的"数字驱动"主要依赖**数据+算法**，但算法对数据完整性和建模能力有较高要求，且难以处理复杂体系。 - **大模型（如 DeepSeek）能够通过推理+知识跳过部分算法环节**，帮助人们得出一些非量化的结论，提高效率。 1. [[常识]]性的逻辑能力，**思考力资源、注意力资源**，别小看常识，多个领域的常识如果具备，就是一个很强的人了。只要你能纠正一些最基础且最致命的错误，拥有常识，就很容易成为某个领域的 top 5% 2. **非结构化问题解决**，以往需要人工理解和处理的非结构化流程，如自然语言指令，现通过 AI 模型能够直接调用相应函数，实现自动化操作。 3. **结构化任务提效**，针对那些虽然可以通过编程实现但成本较高的结构化任务，AI 交互可以大幅降低实现难度与成本，使得简单的对话就能完成原先复杂的代码编写工作。 | 公司/产品 | 核心基因特征 | | ----------------------- | ------------------------------------------------------------------------ | | OpenAI | 对decoder-only和AGI的绝对信仰，不惜一切技术、硬件、成本、员工代价实现AGI | | Mistral AI | 通过MoE技术降低训练成本，不执着于复制OpenAI模型 | | Llama | 专注于复制OpenAI的成果，开源模型，增加参数规模 | | Deepseek | 以成本控制为核心，通过MoE降低训练成本，通过multi head latent attention降低推理成本，追求最低API价格和GPU成本 | | AI21 | 全力推进Mamba架构，对Mamba技术路线的坚定信仰 | | Moonshot | 专注提升context window，优化开发者体验 | | Groq/Sambanova/Cerebras | 致力于挑战NVIDIA地位，自研推理芯片，通过大量片上SRAM实现10-1000倍推理性能提升 | | Claude | 专注提升模型编程能力，在AGI到来前打造高效的Agentic程序员助手 | | 字节豆包 | 重视营销推广，借鉴抖音等产品运营经验，追求全民化应用推广 | | Perplexity | 专注搜索+网页阅读+总结的问答工具，不自研模型，以用户体验为核心，挑战Google搜索 | | 大模型五小虎 | 追随Llama路线，在合规框架下服务中国国企市场 | | 华为 | 主打"盘古大模型"营销，借GPU禁运机会推广高价Ascend 910C | | Google Gemini | 追随OpenAI路线，整合Google生态优势(Workspace/Cloud/One/Search) | | Microsoft | 深度整合OpenAI技术到自有产品生态 | | 阿里Qwen | 开发Llama的低配版本 | ## 2024年AI大事纪 一月 1.05 Mobile Aloha 斯坦福 1.10 LumaAI Genie 文生3D 1.11 GPTs GPTstore上线，AI的appstore，你赚到钱了吗 Magnific爆火网络，光靠AI放大狂澜 1.30 一月的最后一天。Apple Vision Pro宣布2.2开售 二月 2.04 通义千问发布Qwen1.5 72b等大量模型 2.08日谷歌发布Bard 变身Gemini 正式打响大模型之战和奥特曼抗衡 奥特曼筹钱7万亿刀买算力 2.12，Stable Cascade 对英文理解升级不再是歪歪扭扭的数字 2.15 Meta杨乐坤 V-jepa 2.17 SORA，DIT架构，直到现在也是热点中的热点 2.28 LTX，一句话生成电影 2.29 Figure接入OpenAI大模型，获得openAI融资 三月 3.02 北大学生宣布要做opensora,复刻sora模型 阿里公布EMO，最强对嘴型，引起大众讨论 3.3 Claude3发布，GPT最强对手出现 苹果放弃造车，转身大模型却力不从心，发布3b 7b 30b MM1，制造AI手机 英伟达科技春晚，发布GB200，Blackwell DGX等AI计算基础设施，股价一路飙升 3.5 TripoSR发布，完全开源，0.5s图生模型 3.12 Devin首个AI程序员 3.17马斯克开源Grok1，314b创开源模型最大尺寸，发布Grok1.5，但始终被OMM三座大山压住 3.18 Kimi AI 200w字无损上下文理解，下载量破五十万 3.21 SUNO V3爆火，AI音乐，每个人都可以创作音乐 3.21 脑机接口人体实验成功，瘫痪也能玩游戏 3.23 SD母公司StabilityAI ceo辞职 主创出走，SAI开始下坡 ViggleAI 上传图片即可模拟动作 四月 4.11 Google cloud next大会 发布Gemini 1.5 自研TPU，运算速度提升4倍 4.15 Adobe premiere宣布将引入sora和runway 编辑 4. 18 Meta Lamma3发布，最强开源大模型 Meta智能眼镜爆单，成为各大博主最爱设备 4.25 通义千问开源Qwen1.5 110B模型 4.27 生数科技国产Vidu大模型官宣，对标sora 4.29 Github Copilot workspace程序员最爱AI助手 五月 5.07 Apple发布AI芯片M4 3nm制程，加持苹果各种硬件 5.09 字节的dreamina 改中文名即梦，国内AI视频战争正式打响 5.10 IC-Light 张吕敏新作 5.13 宇树科技发布新一代机器人G1，工人国内顶级，一些人认为已经超越波士顿动力 5.14 OpenAI春季发布会，发布GPT4o，展示情感语音模式，视频交互等大饼引起轰动但并未发布，等了半年 5.15 Google发布Project Astra, veo视频模型，但是风头被几天前的openAI抢掉 5.15 伊利亚离开OpenAI 5.31 YOLOV10 六月 6.07 阿里Qwen2发布，开源的神，成为国产大模型之光 6.10 快手可灵大模型发布，对标Sora 6.20 Claude3.5 Sonnet 发布，GPQA 测试中达到 67.2%, 各方面指标击败4o，成为科研人员，科学家，程序员最爱大模型 6.20 伊利亚成立新公司SSI，打造安全智能 5billon usd valued 6.21 腾讯元宝更新1000万字文本处理 6.21 华为HDC2024 盘古大模型百行千业 6.28 Material controlnent发布，AI研究室 七月 7.02 Runway发布Gen-3 Alpha，被认为AI视频领域第一 7.04 快手开源LivePortrait，亲测超强对嘴型AI模型 7.20 萝卜快跑，无人驾驶出租车在国内多个城市上线，引发巨大争议 7.23 Meta发布开源Llama3.1 405b 成为超强开源大模型 GraphRAG走红，根据输入的文本库创建一个 知识图谱 阿里开源cosyvoice与sensevoice，语音转文字与文字转语音，带有情感，识别快速 八月 8.01 SAI核心成员成立BFL发布Flux模型 8.13 Grok2 8.16 Gemini live上线，对标GPT语音模型 8.20LTX开放使用 8.29阿里云发布Qwen2VL，国产大模型视觉交互 海螺AI功能升级，效果被认可 九月 9.10 Apple秋季发布会，最无聊的一次，AI = Apple Intelligence 9.12 GPT o1发布，提出所谓思维链，想想再回答你 9.13 AI教母华人李飞飞WorldLabs成立，估值10亿美金 9.17 Google发布GameGen，实时生成下一帧游戏 9.19 阿里开源有史以来最多的一次模型，qwen2.5全家桶开源 9.20 华为发布Cloudmatrix云计算基础设施 9.20 Cursor爆火，AI代码编辑器，大语言+ ctrlCV作对一件事就可以 9.24 GPT高级语音模式上线 9.26 Tripo2.0 AI图生成3D效果突飞猛进 9.27 Meta connect大会 发布AI眼睛Orion 预计2027发售 十月 10.1 Pika1.5 更新多种挤压飞走特效爆红网络 10.2Flux1.1pro 10.8诺贝尔物理学奖颁给了辛顿和或普菲尔德，两位AI奠基人 10.11马斯克发布会，cybercab与robovan，人形机器人 10.16 Adobe年度大会，Project Turntable让大象转身 PersonaTalk：字节跳动音频驱动嘴型，暂未发布 10.28 AutoGLM，智谱AI，AI接管生活 十一月 11.05 腾讯混元3D开源模型 11.06 川普获胜，AI监管可能废除 11.13 云深处科技发布机器人 山猫 爆火网络 11.26 Sora遭到艺术家泄露 11.29 Mac mini 可以装在口袋的桌面级电脑 十二月 12.02 李飞飞空间智能初见成果 12.03 腾讯开源混元视频大模型，最强开源视频模型 12.06 OpenAI持续十二天发布会，填补了视频交互模式，sora等大坑，并预测明年的O3 12.07 微软Trellis 2024最强开源图生3D模型 12.11 谷歌发布Gemini2.0，视觉交互超强智能体 12.16 智源机器人量产 12.17 谷歌Veo-2发布，生成4K，效果吊打Sora 12.20 Genesis AI物理引擎 12.23 宇树科技 B2-w 吕布骑狗 走红网络 12.26 DeepSeek V3 开源模型爆火，671B参数仅558万美元训练成本 ## AI基础设施普及 1. 大模型必然会像云服务一样成为基础设施，每个开发者都能轻松调用AI的能力 2. AI应用会从"噱头"变成"必需品"或者最起码是"补充品"，开发者不再关注"如何训练模型"，而是"如何更好地应用模型" ## 数据价值重构 1. 高质量数据的重要性会持续上升，数据质量会有统一标准 2. 数据流动和变现交易会更加规范化，数据会有明确的价格体系，专业领域的结构化数据会更值钱 3. 隐私计算会成为标配 ## 认知效率革命 1. 文档处理自动化，重复性智力劳动会被大量自动化，专业服务会被部分自动化，垂直领域智能化 2. 个人生产力工具会迎来新一轮创新，创新周期缩短，人的价值会向更高层次迁移，"辅助决策"会成为刚需 基于以上分析，我个人认为比较有潜力的方向是：1. 数据智能基础设施 2. 构建深度理解特定场景的解决方案 3. 认知效率提升工具，提供灵活的定制化能力 4. 辅助创造和决策的工具 从这个角度考虑的话，我所坚信的是数据的价值在LLM时代以前被严重低估的，数据的价值和质量缺乏一个合理评估的手段，数据缺乏一个合法交易的途径 ## AIGC 对于超级个体的意义 1. 在几个关键领域达到 80 分，对于个人来说会有一个显著的乘法效应 2. 对一个领域有一个基本的 map，也就是认知，可以借助 AI 通过垂直向下的搜索极大提高自己的学习速度 3. 有时候有一个初步的 map，担心可能不太全面，也可以通过 AI 做一定的补充 1. 芒格还说，不要太相信自己的判断，尽可能理性客观。理性客观，需要具有问题分析的思考框架。现在 有像 chatgpt 这样的 AI 工具，当你面对一个问题要解决时，不妨让chatgpt 帮你，让他告诉有哪些思考框架或工具可以使用，来帮助你做决策。不要指望让 gpt 直接给你答案，因为大概率 gpt 会给你一个很蠢答案。