未来科技
-
OpenAI坚信“力大砖飞”,谷歌却说模型不是越大越好
关于缩放定律的研究,先前的研究主要集中在大语言模型(LLM)上,关于它的争议一直存在:
OpenAI认为[1],每增加10倍的计算量,应该让数据集大小增加为约1.8倍,模型参数量增加为约5.5倍。
但大模型更擅长图像细节
使用前面的text2image任务作为预训练任务,分别在超分辨率任务和DreamBooth任务上做微调,发现在超分辨率任务上,相同的计算量,模型越大,FID越低(生成质量越好),而超分辨率任务最考验模型的细节生成能力。
-
活久见,谷歌更新了Transformer架构
最新发布的Mixture-of-Depths(MoD),改变了以往Transformer计算模式。
结果显示,在更多FLOP预算下,FLOPs最优的MoD仍然比基线模型有更多的参数。
同时,研究团队还探讨了MoD和MoE结合的可能性。
网友联想到了ResNet
MoD推出后马上引发了不小关注。
他们二人都是DeepMind的研究科学家。
-
逃离OpenAI的人,造就硅谷新“黑帮”
其中与OpenAI纠葛多年的马斯克创办的xAI已经将其大模型Grok-1开源,正式向OpenAI“宣战”。2018年,Musk因利益冲突选择离开其与Altman等人联合创办的OpenAI后,多年来,一直对OpenAI转向商业盈利和闭源模式怨气颇深,如今已经一纸诉状将OpenAI告上法庭。
二、扎根AI+行业应用,多个爆款产品已亮相
在大模型底层技术研发之外,还有众多从OpenAI出走的员工将目光瞄准了AI+行业应用,在深耕技术的同时,将AI与不同行业或用户的需求相结合。
-
互联网巨头的AI无人超市,背后却是1000个印度打工人远程操作?
当你拿完就走,有人为你负重前行
亚马逊无人超市的智能收银技术。
这些人类员工,应该称作“机器学习数据助理”,主业是注释图像,改进底层的机器学习模型,但偶尔也搞搞副业,检查录制的视频片段,验证一小部分。
图片来自:wiki
通过一模一样的名字,现代和当年的骗局构成了历史微妙的回环,人类智能在看似自动化的外壳内部,依然扮演着重要的角色。
-
App Store允许下载游戏模拟器,复古玩家的iPhone时刻真要来了?
禁止运行外部代码的应用程序,是苹果商城里历史最悠久的规则之一,很长一段时间里,苹果设备上一直都禁止着游戏机和经典游戏模拟器。可提供游戏下载,但规则要求开发者必须对其提供的所有内容负责,这当中包括确保其符合苹果的各项准则和所有适用法律:
1.。下载第三方应用”不同,游戏模拟器很可能会是全世界范围内的更新条例,也就是说任何国家和地区的苹果用户都有机会在其设备上使用模拟器。
-
iPad Pro六年来最大更新要来了?
原本以为全新。
全新的。
从外观上看,新款。
前置镜头最多的使用场景是视频通话和线上会议,而此类场景中平板大部分都会横向立在桌面上,因此横向放置的镜头刚好能把使用者放在视频的正中间,对话时眼神也不会在镜头和屏幕间反复横跳。
上一代。
标准版。
并且,新款iPad。
和大哥。
苹果首次将。
不过根据爆料,苹果并未取消。
另外,Gurman。
-
即使iPhone用国产AI也别惊讶,因为Gemini能做的也不多
LU
你可以通过不同的组合词来进行调配(暂不支持自行输入),生成不同的图片风格,这其实是一个挺有趣的功能,但问题是,除了作为壁纸之外,这些生成的。LU
而百度的资料库只有百度百科,我们用同一张照片在三星上进行搜索,由于百度百科的坚尼地城并没有同样视角的图片,所以三星只给出了一个答案。LU
最值得吐槽的,就是在搜索之后京东一定要“配套”给用户推荐一个商品链接,这个功能几乎就没有准确的时候。
-
一只网红猫头鹰之死
(ID:Guokr42),作者:fangorn,编辑:odette,题图来自:视觉中国
弗拉科是一只追求自由的猫头鹰,至少他们是这么说的。
由纽约中央公园动物园出逃的猫头鹰弗拉科(Flaco),死于2024年2月23日。Rhododendrites/Wikimedia
当救援人员赶到弗拉科坠落的现场时,大家的第一判断是它撞上了玻璃,这是城市鸟类极为常见的命运。
-
GPT那么强,居然说不了恰好10个字?
其实GPT还是识数的,如果这样问它:
咦。
一、自回归模型
要解释为什么GPT无法胜任这么简单的任务,我们首先需要从GPT的底层原理。
学生的猜谜的例子其实就是自回归模型和GPT工作模式的生动诠释,GPT在工作的时候就像猜词一样,只是把字母换成了token。
二、GPT欠缺的两种能力
缺少规划
自回归模型每次抽样都是根据当前信息(当前语境),在抽样的过程中对全局缺少规划。
-
ChatGPT悄悄变懒, OpenAI还能加速跑吗?
图源:OpenAI论坛
有的人抱怨,GPT-4没有遵循他们给出的指令,当用户需要它给出完整的代码时,GPT-4会给出带有占位符(placeholders)的截断代码。
对于“变懒”的原因,用户甚至猜测OpenAI是不是将背后的模型偷偷换成了GPT-3.5,还有的则认为OpenAI正在将更多的精力放在其“企业级客户”上,而非“平民”上。