视频 技术 工具 大家好，这里是和你们聊设计的花生~之前和大家聊过不少 AI 图像生成工具，有的可以根据文本生成图像，有的则是将 AI 技术运用到图像处理中，让扣除背景、消除画面元素成为非常轻松快速的事情，大大提升了设计师的工作效率。既然 AI 技术在图片处理的应用上如此成熟，那如果用到视频的剪辑制作上会有什么效果呢？借助 AI 技术的快速消除图像内容比如在视频里实现一键抠图，将人物从背景中分离出来，进行背景更换或者插入文字图层：或者在视频里实现快速修图，用画笔一抹，就能去除视频中不需要的部分：甚至在视频里也用上 Ai 生成性技术，输入一段话，就能将原来的物体变成另一个新的物体：其实这些 AI 技术在视频制作中应用的并非想象，也不是特效，而是真的有公司将其变为了现实。下面就是“一键去除画面元素”技术在视频制作中的实现过程：在线视频制作工具 Runway 的操作界面这些神奇的视频处理功能都是一家名为 Runway 的公司开发的。Runway 是国外一家在线视频剪辑制作网站，成立于 2018 年。它有非常完善的在线视频处理技术，更重要的是公司团队一直在积极地将生成性 AI 技术应用到视频内容制作中，致力于降低视频创作的门槛，帮助人们轻松制作出内容强大且富有创意的视频内容。Runway 官网： https://runwayml.com/Runway 官网展示的 30 多个 AI 魔法工具Runway 目前已经开发了 30 多个 AI 魔法工具，其中一部分是将 AI 图像生成技术内置。比如我们熟悉的根据文本生成图像、根据图像生成风格化变体、图像延展外绘、根据文本生成 3D 贴图纹理、视频局部无损放大等技术，在 Runway 内都可以实现。Runway 内置的图像无限外延功能另一部分则是令人惊喜的视频处理魔法，除了我们前面提到的 3 种功能，Runway 还开发了包括动态追踪，智能调色、智能慢镜头、平滑插帧及一键模糊人脸等功能。“动态追踪”即通过 AI 技术识别视频中物体的运动轨迹，然后为其附上文字或者其他元素，这些元素会自动跟随物体一起运动，不用手动设置轨迹。“智能调色”功能利用 AI 技术自动分析画面的色彩等级，然后依据文本描述的内容对视频相应的色调调整，处理速度很快，上色效果也非常和谐。除了视频处理工具，Runway 也将 AI 技术与音频处理结合起来，开发出了自动生成文字稿、一键去除空白音频及智能去除背景杂音等工具。Runway 的研究团队目前还在开发一种名为 Soundify 的音效系统，该系统利用 AI 技术先识别视频内容，然后为之生成准确高质量的音频，且自动对齐音频与视频的进度，以解决传统视频制作过程中寻找合适音频困难、精准对齐音频与视频耗时的问题。Runway 的野心当然不止于此。有了图像、视频与音频等一系列 AI 工具作为基础，Runway 还推出了 "文本生成视频 "技术并发布了一段演示视频。从视频中可以看出，Runway 的 "文本生成视频 "技术包括：通过输入文本指令实现导入视频素材、调色及消除视频中的选中对象；通过文本生成各种图像；通过文本描述添加文字及动效、扣取人物及替换背景等。我们也可以看出视频当中的很多功能都是我们前面介绍过的。目前 "文本生成视频 "技术还没有公开，想体验的小伙伴可以申请加入等待名单： https://runwayml.com/text-to-video/当然了，这么好的工具肯定不是免费的。新用户注册 runway 后可以享受 3 次免费的视频制作额度，但 30 多项 AI 工具只能使用其中 3 个，并且只能导出 720P 的视频文件。对国内用户来说需要搭梯子才能只用，并且最好使用 Chrome 或 Edge 浏览器打开，不然容易崩溃。所以目前只能期待国内的视频制作软件可以努努力，早日推出与 runway 类似的功能。此外 Runway 还举办了首届 AI 电影节，号召全球艺术家使用最新的 AI 技术制作 1-10 分钟的创意影片，优胜者将获得最高 10000 美元的奖励。目前电影节正处于接受投稿的阶段，最终获奖结果会在 2 月份公布，到时候再和大家一起看看有哪些有意思的作品。AI 电影节官网： https://aiff.runwayml.com/Runway 的 AI 电影节官网公布的 AI 影片片段以上就是为今天和大家分享的有关 AI 技术在视频制作中应用，大家对此有什么看法和期待呢？欢迎在评论区分享。喜欢本期推荐的话记得点赞收藏，也可以转发给身边有需要朋友 。如果你有关于本文或者设计的疑问，可以在评论区提出，我会第一时间为大家解答 ~推荐阅读：Google、Meta又放大招！用嘴做视频的时代也要来了大家好，这里是和你们聊设计的花生~近段时间 AI 工具发展势头越发迅猛，在为大家介绍过的 AI 模型中，DALLE·2 和 Midjourney 在文本生成图像的质量和精准度上有了大幅度优化提升，后起之秀 Stable Diffusion 则将 AI 模型的操作门槛降低到普通人都能轻阅读文章 > 2023年，让这20款AI工具帮你更高效地完成工作~2023年，让这20款AI工具帮你更高效的完成工作~大家好，这里是和你们聊设计的花生~2022年是AI技术大发展的一年，我都快记不清为大家推荐多少种AI工具了。阅读文章 > 本篇来源：优设网原文地址：https://www.uisdc.com/runway
技术 原型 设计师 继续话题，“你好，沉浸式体验设计师”的第二与第三部分。曾在第一篇当中提到后两部分不做全译，因对我个人而言稍稍涉及敏感，相关部分跳过（上下文中有做注明）。一如既往，个人学习之用，独享翻译之过程而共享其结果，全部内容仅代表原文作者 Bruno Everling 之观点。为何 3D 将成为 UI 的未来！如何成为沉浸式体验设计师（上）疫情四起，仿佛回到两年前，而又觉甚于两年前。阅读文章 > AR 行业的过去、现在及未来在第一部分当中，我谈到了为什么沉浸式技术将成为 UI/UX 设计师新的前沿阵地，解释了 3D 界面相比于如今我们所习惯的 2D 模式来说为何更加贴近于人类的天性，以及这场即将到来的变革可能对设计师产生怎样的影响。那么 AR 技术何时才能足够成熟到可以被主流市场所接纳呢？如此复杂的技术并不易于预测，因为其中仍有一些严峻的技术挑战尚未得到解决。不过，如果你在关注行业中那些大玩家们近些年来取得的进展，那么你至少能大致预估到技术整体的走向。在第二部分中，我将和各位一起对当前 AR 行业的发展状况进行纵览，包括那些最大的参与者，以及他们各自的技术发展策略。1. 炒作周期结束如果你在过去十年当中关注过关于沉浸式技术的新闻，那么你也许会注意到，近些年里相关话题在公众当中的热度，相比于五年之前已经有所下降。伴随着成千上万科技博主与记者所宣扬的未来潜力，VR 最先跑完了一个炒作周期，而 AR 则紧随其后。在 Gartner 公司于 2018 年发布的新技术炒作周期曲线图当中，AR 正处于谷底的位置，而 VR 已经从曲线中消失了。从 2020 年起，这两项技术则不再出现在图表当中。https://www.gartner.com/smarterwithgartner那么这是否意味着沉浸式技术的失败呢？实际上恰恰相反，这个图表仅意味着炒作周期已经结束，人们开始将他们的希望、梦想或恐惧投射到下一个新技术上。有这样一句引言完美地概括了这一现象，虽然这句话的原始出处已无法考证，但人们通常认为它来自于未来学家 Roy Amara，因此它也被称作“阿玛拉定律”：“我们倾向于高估一项技术的短期效益，而低估其长期影响。”人类并不那么善于进行长远预测。任何开创性的新技术通常都能在公众当中形成两方面的剧烈反应：一部分人会过度兴奋并产生不切实际的幻想，而另一部分人则抱有轻视或恐惧的态度，并主张禁止该技术的发展。这两类反应都有问题。根据 Gartner 的炒作周期曲线图，沉浸式技术会缓慢地进入到所谓“生产力稳定期”。在这个时期，技术已经度过最猛烈的炒作阶段，并且在短期内无法再满足大众媒体的渴求，进而难以令他们继续保持兴趣。一些风投开始退身，很多受炒作的怂恿而立项的团队要么关张，要么转向其他领域。但仍会有一些人在坚持 100% 的投入；这些人在持续地创建和改进，因为他们理解这会是一场马拉松而非短跑冲刺。这些公司将成为大浪淘沙之后的胜利者。时间快进几年甚至几十年，这项技术将会成熟到超越曾经所有人的想象。下面，就让我们一起了解这样一些马拉松跑者，看看我们可以从他们身上学到些什么。英文原文在此处对多家公司的相关技术进行介绍与分析。如第一篇文章所预告，此类内容对于译者涉及敏感，因而不做翻译。有兴趣的朋友请根据文末链接阅读原文。—— C7210如何开启沉浸式体验设计师的职业之路当沉浸式技术成熟到能够被大众市场所接受时，势必有大量人员一拥而入；而从行业当前的发展状况来看，我们还有大约一到两年时间可以提前着手准备，例如熟悉 3D 相关技术，主动参与到全新设计范式的塑造当中。在后文中，我将谈及关于如何开始沉浸式体验设计师职业道路的潜在策略。我会分享一些我在过去五年里所收集的优质学习资源及工具，希望能帮助大家快速上手，并一起加入到这场变革的最前线。1. 关于移动 AR基于移动设备的 AR 可能难以代表 AR 技术的未来，但它仍是我们的最佳起点。听起来有些自相矛盾，我们来详细解释。正如我们在第一部分当中所说，数字化界面势必会向着与现实世界紧密结合的方向发展，而交互方式更贴近于我们自然天性的 AR 技术正是发展路径上的下一站。从很多方面来讲，AR 都是虚拟与现实得以真正融合的最后一块拼图。当然，我们距离那个阶段仍然很远；要实现其潜力的完全释放，以下这些先决条件必须得到满足：硬件方面：界面的输出方式需要离人眼更近，使得内容可以从手机屏幕的局限当中解放出来，并能呈现在我们的自然视野所能覆盖到的任何地方。此外，设备中的诸多传感元件也必须能持续扫描我们周边的环境，从而实现高度精准的环境感知能力。软件方面：数字化内容需要转换为 3D 形式，并能与现实世界无缝整合。取决于用户的输入，以及周围物理环境的状态，包括其他物体的相互作用、光照条件、物理定律、天气状况等方面的要素，3D 化内容应该能够动态地改变自身的外观、属性、及位置。虽然当前的移动 AR 在某些方面的表现还算像样，但它在体验上似乎很难全面达到上述这样理想的程度。要实现真正沉浸式的体验，类似 AR 眼镜这样的设备将成为必需。2. 为何设计师应该拥抱移动 AR来自 Patrick Schneider on Unsplash既然如此，为什么我仍推荐首先学习面向移动 AR 进行设计？因为我相信，作为一种过渡技术，移动 AR 在增强现实的发展史上仍有自己的一席之地；作为垫脚石，它能帮我们为了更加沉浸式的未来进行准备。正如现今的科技公司正在基于移动设备开发和验证 AR 所需的技术组件，作为设计师，我们同样可以将移动 AR 作为学习场地，从可用性的角度对新的界面范式进行试验。我能想到至少五个具体的理由来说明为什么移动 AR 可以完美地引导我们去学习“沉浸式体验设计师”所需掌握的必要技术：移动端界面是我们的主场。这方面我们早已掌握了来龙去脉。我们理解所有的规则及可能性，也包括局限。虽然关于移动 AR 我们还有一些新东西要学，但整体体验依然依附于移动设备的场景，遵从于通用的设计原则及交互模式。面向移动 AR，你确实需要以 3D 的方式进行设计，但又不完全是——因为界面的输入方式仍然发生在二维触屏上。入门门槛较低。任何拥有移动设备的人都可以创造出移动 AR 体验，无需昂贵的硬件便能生成原型进行测试。而对于真正意义上的 AR 体验（譬如以眼镜作为载体），你可能会需要非常昂贵的软硬件，包括相关的专业知识，来处理早期普遍存在的技术问题。设计工具足够成熟。在近几年里，我尝试过诸多 app 和工具，但发现要针对 AR 眼镜相关体验去设计原型几乎是不可能的事，特别是在对 3D 和游戏设计缺乏深入理解的情况下。相比于毫无经验而上手 Unity，面向移动 AR 的设计工具则相对容易学习很多。移动 AR 更容易融入人们的生活。手机 7 天 24 小时陪伴着我们，不离左右。当前社会对于手机的接纳度很高，而 AR 眼镜的情况则相反。这使得我们有机会可以去探索一些 AR 眼镜尚难覆盖到的用例，特别是在户外公共空间当中。测试更容易。任何拥有智能手机的人都可以帮你测试原型。相比之下，通过最新的 AR 设备进行测试的成本则过于高昂。希望以上这些可以使大家明白，目前而言，移动 AR 可能是设计师试水“沉浸式体验设计师”的最佳途径了。至于具体如何起步，我创建了一份“移动 AR 新手包”供大家参考，其中包括了近些年里令我感到有所收获的一系列优质资源。3. 移动 AR 新手包App先来看一些具有启发性的 app。熟悉移动 AR 的方式之一自然是尝试现有的 app，充分把玩。下面列出一些比较典型的，其中也包括一些不那么知名，但很具实验性质的 app。Ikea Place：第一批移动 AR app 的代表，也是具有真实用例场景的产品，提供了上乘的解决方案。Wanna Kicks：同样提供预览类的功能，具体用例聚焦于鞋类试穿和购买，实际体验非常惊艳。纽约时报 app：最早一批拥抱 AR 技术的新闻类产品。他们会为新闻故事提供相关 AR 功能，从而实现更深层的沉浸体验。无线电波的构造：非常早期的实验性 AR app，出自荷兰设计师 Richard Vijgen 之手。是付费 app，但非常值得尝试。Meisai：作者 Takayuki Watanabe 在其中探索着各种不同的 AR 滤镜与视觉效果，非常有趣。Qlone：也可以被看作是 3D 设计与原型工具，用来对现实物体进行 3D 扫描进而生成模型。阅读与学习资源此处内容对于译者涉及敏感，因而不做翻译。有兴趣的朋友请根据文末链接阅读原文。—— C72103D 设计与原型工具来自 Mehdi MeSSrro on Unsplash既要说，也要练，学新工具势在必行。也许最初令人生畏，但当你熟练之后，便会发现其中的乐趣。以下是一系列对于初学者来说较为友好的 3D 与原型工具供参考。Spline：对于初次体验 3D 是不错的选择，开发团队比较年轻，致力于让 3D 设计变得更简单。产品免费，易于使用，没有铺天盖地的复杂功能，输出快捷，恰到好处。Vectary：定位类似于 Spline，大体上在尝试打造 3D 设计领域的 Figma，聚焦于简单易用且易于协作的功能，既能引领你步入新领域，也能帮你在入门之后产出令人印象深刻的作品。Blender：当 Spline 和 Vectary 已经难以满足进一步的需求时，你可以继续进阶到 Blender。我甚至不大理解这款软件之所以免费的理由，因为它切实提供了创建专业 3D 模型及动画所需的一切功能。最初上手的难度相对较高，但他们提供的学习资源质量很棒，有助于你快速提升水平。Spark AR：最初由 Meta（Facebook）面向内部团队开发使用，而后面向公众发布。任何人都可以通过它来创建并发布他们自己的 AR 面具和滤镜。大体上讲，是这个产品开启了 Instagram 上全脸滤镜的热潮。虽然你可以通过这个软件制作非常复杂的东西，但他们在官网提供的教程还是可以帮助你非常便捷的创建自己的虚拟面具。Adobe Aero：你可以轻松地将预制或自制的 3D 模型拖放到书桌或房间地板上，并添加相应的交互行为，创建出简单的 AR 原型。Apple Reality Composer：Apple 自家的 AR 设计工具，定位类似于 Adobe Aero，如果你希望把玩一些 3D 内容，添加一些交互，创建一些简单的原型，那么这绝对是正确的工具。纸和笔：若干年前 WWDC 的这部视频罕见地展示了 Apple 的设计师制作 AR 原型的幕后故事。我非常惊讶于他们仅通过纸、笔、胶水等工具就能实现大量原型设计工作。你可以远离屏幕几个小时，通过制作实体化原型来演示和验证数字化体验，太棒了不是么。如何获取 3D 模型来自 Bradley Pelish on Unsplash有时候，基于他人创造并提供的 3D 模型来设计体验确实会令事情简单一些。前面提到的很多 3D 工具都会通过他们自己的库和平台为用户提供模型。如果这些仍然难以满足你的所需，那么不妨试试以下平台：Thangs：免费 3D 模型平台。质量水准不一，但你或许恰好能找到比较适合的。Sketchfab：付费平台，但整体水准明显更高。如果你需要质量过硬、细节出色的模型，不妨到这里一试。大致就是这样。希望这份清单，包括整个文章系列，都能为大家带来价值。英文原文：https://bruno-everling.medium.com原文作者：Bruno Everling译者：C7210AR｜也许AR增强现实技术才是距离设计师最近的未来从科幻小说到电影，从动漫到现实世界，虚拟现实技术历经几十年的光阴，从一个构想，变成了现实世界中到处可以体验到的民用技术。阅读文章 > 欢迎关注作者的微信公众号：「Beforweb」本篇来源：优设网原文地址：https://www.uisdc.com/immersive-experience-designer-3
场景 技术 分辨率 大家好，我是和你们聊设计花生~3D 建模是当下设计热门，大家熟知的 C4D、blender 等 3D 软件都是通过先在三维空间中建模，然后设置参数进行渲染的方式构建 3D 场景。渲染内容元素越复杂、尺寸越大、精度越高，所需的渲染时间也越长，而且对电脑硬件的要求也不低。但是前不久，英伟达（NVIDIA）在其官网上发布了一篇文章，表明其研究团队已经开发出一个可以实现快速渲染 3D 场景的模型 Instant NeRF。「文章链接」 https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai文章表示，Instant NeRF 模型可以在几分钟内对数张静态照片以构建 3D 场景为基础进行训练学习，然后在几十毫秒内渲染出该 3D 场景的图像。英伟达还在文章内放上了一段视频，以可视化的方式展示了 Instant NeRF 的运作方式——以逆向渲染的方式，模拟光线在现实世界中的运作 ，以实现用数张从不同角度拍摄的2D图像来重构一个逼真的3D场景。如果我们看到一张图片，大脑很容易就能通过空间想象判断一个物体的空间体积、位置、颜色等信息。就如通过一个人物的三视图，我们便能构建出一个完整的立体人物形象。图片来源: 优设文章《出海产品如何从零搭建 IP 插画库？让大厂高手教你！》作者：腾讯设计但是这对人工智能来说并非易事。就以往来说，即使我们给出多个角度的图片，人工智能也无法像人脑那样自动推算空白角度的细节，因此也无法自动构建出完整的 3D 场景。这也是为什么现在的 3D 场景都是由建模开始的——先把所有的造型细节构建好，才能实现后期多角度场景渲染。来源：Artstation-Merve Kaplan那 Instant NeRF 是如何实现仅依靠数张不同角度有图片，在几秒的时间内渲染出完整逼真的 3D 场景的呢？通过文章内容，我们可以了解 Instant NeRF 技术的实现，主要依靠 2 点：NeRF，即神经辐射场。 用过函数分析预测 2D 镜头中的颜色和光强度，并渲染完成的 3D 场景多分辨率哈希网格编码技术，将 NeRF 模型的训练学习时间由数小时缩短为几分钟，渲染时间更是缩短至毫秒。什么是 NeRF（神经辐射场）技术Instant NeRF 技术并非英伟达全新研发，其中的 NeRF（神经辐射场）技术早在 2020 年提出了。NeRF 由加州大学伯克利分校、谷歌研究院和加州大学圣地亚哥分校的研究人员共同开发的，旨在使用神经网络，将输入的二维图像集合，渲染输出位逼真三维场景。用 NeRF 技术将图片转为 3D 场景具体步骤为：先将一个连续的场景，描述为一个 5D 矢量值函数，包括一个 3D 位置（x；y；z）和 2D 观察方向（θ；Φ）。将这个5D函数输入模型后，输出为一个发射的颜色C=（r；g；b）和体积密度（α）。然后使用体积渲染技术，将输出的颜色与密度数据合成为 RGB 图像。渲染函数是可微分的，所以可以通过最小化合成图像和真实图像之间的残差，实现优化场景表示，最终形成完整了 3D 场景。通过 NeRF 技术，可以实现利用多张不同角度 2D 照片构建逼真完整的 3D 场景，与实景拍摄几乎无异。在此基础上，无论是想固定视角查看不同光照角度效果：具有复杂遮挡的场景：还是将虚拟对象插入具有明显遮挡效果的现实世界场景中，都是可以实现的。NeRF 甚至能渲染出对真实对象进行 360视图捕获的效果，而且无需绿幕等背景隔离或掩蔽。开发人员还在继续深入对进行 NeRF 开发扩展，以实现在任意光照条件下从新的视角对场景进行渲染。NeRF 技术的出现无疑是激动人心的。根据可视化的复杂性和分辨率，用传统方法创建一个三维场景需要几个小时甚至更长时间。将人工智能带入画面会加快事情的进展——省去前期建模的工作，极大地提高了3D捕捉的效率和便利性。我们已经知道，NeRF 是通过 5D 数据输入-模型运算学习- 输出 RGBσ数据-体积渲染的步骤，来形成完整3D场景。早期的 NeRF 模型在几分钟内就能渲染出没有伪影的清晰场景，但在模型训练学习这一步，由于要处理大量数据，且可能需要进行结构修改，例如修剪、拆分或合并等步骤，模型训练过程非常耗费资源和时间，需要十几小时甚至一天。然而，英伟达的却通过一种名为多分辨率的哈希网格编码技术，却将这一步所需的时间缩短了几个量级——由原来的十几小时缩短为几分钟。多分辨率哈希编码技术多分辨率哈希编码技术，是由来自英伟达的 Thomas Müller、Alex Evans、Christoph Schied 和 Alexander Keller 组成的研究小组创造的一种新的输入编码方法。“我们通过一种通用的新输入编码来降低成本，该编码允许在不牺牲质量的情况下使用更小的网络，从而显着减少浮点和内存访问操作的数量：一个小型神经网络，由可训练的多分辨率哈希表增强通过随机梯度下降优化其值的特征向量。多分辨率结构允许网络消除哈希冲突的歧义，从而形成一个简单的架构，在现代 GPU 上并行化是微不足道的。——多分辨率哈希编码技术研究小组多分辨率哈希编码技术原理涉及很多计算机专业术语和知识，但是如果你对哈希算法有所了解，知道哈希算法的特征之一：无论大的数据，通过哈希算法都能将其转换为固定长度的哈希值。我们就能对多分辨率哈希编码技术的逻辑有一个大致的了解。多分辨率哈希编码技术的总体思路，就是通过减少所使用的参数编码技术所需的参数数量，并使数据结构本身更易于 GPU 处理，从而进行神经网络训练明显更快。无论输入 Instant NeRF 的数据大小如何，通过希哈编码技术先将数据转换为唯一对应的索引值。在知道检索数据的索引值的前提下，在执行训练操作时，不需要对数据结构进行结构更新，模型处理速度就能提升很多。不同编码的重建质量演示。可以看出使用哈希表编码方式的(d)和(e)的训练时间分别为 1 分 40 秒和 1 分 45 秒，比其他编码方式的训练速度提高了 8 倍以上。且在可训练参数总数相同的情况下，(e)比(d)质量更高，但训练时间不会增加。此外，哈希编码技术会自动优先考虑“具有最重要精细尺度细节的稀疏区域”。这样就不用将时间和计算资源花费在空白空间或细节较少的空间上。例如，图像中具有较粗糙细节的区域不会在不必要的精细分辨率上重复查询，从而提高训练和渲染的效率和速度。多分辨率哈希编码技术让 Instant NeRF 模型只需要几秒钟就能对几十张静止的照片进行训练，再加上它们的拍摄角度的数据，然后可以在几十毫秒内渲染出结果的 3D 场景。相比 NeRF 之前数小时的训练学习时间，Instant NeRF 的进步无疑是惊人的。新的多分辨率哈希编码算法将时间缩短到 5 秒，不仅可以训练场景，还可以提供实时渲染总结英伟达研究团队将自己研发的多分辨率哈希编码技术和 NeRF 模型结合，使 Instant NeRF 成为首批将超快的神经网络训练和快速渲染相结合的模型之一。它能几分钟内处理图像并在“几十毫秒”内生成完整的 3D 场景，极大地提高了 3D 捕捉和分享的速度、便利性和范围。且多分辨率哈希编码技术经过优化后，Instant NeRF 可以在单个英伟达 GPU 上进行训练并高速运行，而且渲染结果质量极高。英伟达的研究人员表示，Instant NeRF 有多种应用：帮助自动驾驶系统了解现实世界物体的大小体积，用来训练自动驾驶汽车；用于为虚拟世界创建化身，为“元宇宙”的构建提供技术支撑；还可用于建筑和娱乐业，以快速生成真实环境的数字表现，创作者可在此基础上进行修改和构建以上这些都只是 Instant NeRF 目前应用的一小部分。Instant NeRF 的 3D 场景构建逻辑完全不同于现在传统的 3D 软件，在应用方面有很大的不同。随着元宇宙和人工智能的深入发展，相信 Instant NeRF 的应用价值会不断替提升，技术的迭代升级也会不断深入拓展。「参考资料」https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/https://www.matthewtancik.com/nerfhttps://finance.sina.com.cn/wm/2020-04-10/doc-iirczymi5502874.shtmlhttps://nvlabs.github.io/instant-ngp/https://www.dpreview.com/news/3150421614https://www.bilibili.com/video/BV1pq4y1M7qqhttps://en.wikipedia.org/wiki/Hash_function更多设计资讯2022 设计趋势！正在悄然流行的「新粗野主义」风格每年你会在优设看到大量的设计趋势预测和总结类的文章，其中有的出自腾讯这样的头部公司，有的出自 Uxdesign.cc 和 Graphicmama 这样的知名设计博客，还有的则可能会出自行业内的知名设计师。阅读文章 > 天价头像是如何诞生的？写给设计师的 NFT 超全入门指南注：本文仅仅为 NFT 科普，不建议设计师参与。阅读文章 > 本篇来源：优设网原文地址：https://www.uisdc.com/nvidia-instant-nerf
设计师 技术 现实 疫情四起，仿佛回到两年前，而又觉甚于两年前。那时似乎所有人都躲在家里，而此刻这里那里远的近的相关的熟识的太多人在经历状况的起伏，便感到与两年前相比更加真实和迫近。大约是如此。来自 BrunoEverling@Medium 的系列文章，“Intro to Immersive Experience Design”，关于 AR、3D 界面设计及相关趋势、个人学习策略等等，个人感觉很有看头，译起来也很过瘾。全系列由三篇文章组成：第一部分：为何 3D 将成为 UI/UX 的未来第二部分：AR 产业的过去、现在及未来第三部分：沉浸式体验设计师的职业道路本篇为第一部分的全篇译文，略长；而后两部分出于某些原因或许考虑摘译。一如既往，个人学习之用，独享翻译之过程而共享其结果，全部内容仅代表原文作者 Bruno Everling 之观点。来自 Ameer Basheer on Unsplash为何 3D 将成为 UI/UX 的未来在第一部分中，我将和各位分享为什么我个人相信 AR 将成为 UI/UX 设计师新的前沿阵地。我会聊到界面范式为何势必由 2D 转向 3D，以及这项转变对于设计师及产品构建者的工作将形成怎样的影响。我的首要目标，是帮助大家了解如何充分利用我们此时所处的独特历史时期，即加入这场变革并为之做好准备的窗口仍在开放，而设计师亦可在塑造这个年轻行业并创造长期影响力的过程中扮演至关重要的角色。1. 我为什么要做这件事我写这个文章系列的动机，来自于对如今人机界面技术发展状态的深切不满。互联网存在于我们生活当中的方方面面，我们可以随时随地访问到巨量的信息。而通往这广阔无垠的数字化世界的窗口却只有钞票大小，一切内容都受困于这块玻璃屏幕后面——听起来并不那么方便，而且我们似乎已经习惯了这种不便。出身于工业设计的我，在创作出第一个数字化产品的很久以前，就开始进行实体化的设计了。我仍记得，在第一次设计自己的网站还有 app 时，由于必须面对的局限而感到的一丝沮丧：所有东西都必须是二维的，且必须被规规整整地填入一个矩形边框当中。此外，我也时常在想，在触屏交互范式以外，一定存在着某种更好的“东西”——它会更贴近于我们的天性，更贴近于我们在现实世界中感知和处理信息的方式。三年前，我开始探索这“东西”可能是怎样的一种存在。很快，我接触到沉浸式体验相关的技术。我深深地陷入了兔子洞中，花了大量的时间阅读相关的资讯，尝试各种不同的设备和 app。接下来的文字，归纳了我这一路上所得的关键知识与洞见；如果你有兴趣去理解这迷人的新交互范式，那么希望这些文字能够成为你的学习捷径。2. 增强现实来自 zedinteractive on Pixabay增强现实技术，即 AR，能使计算机生成的信息叠加于现实事物之上。这个概念本身算不上新事物，相关的沉浸式技术研究课题已有数十年的历史。但直到近年，得益于相关软硬件越发强大的性能，越发小巧的尺寸，以及越发低廉的价格，这项技术才逐渐从大学实验室走向大众市场。从几年前开始，我们已经可以在智能手机上体验最早一批实际可用的 AR app，包括“宝可梦 Go”这样的游戏，以及社交平台上的各种面部效果等等。AR 如此大规模吸引到市场的注意，这确实令人兴奋；但要真正实现其潜力，AR 还有很长一段路要走。尽管移动端 AR 在当前所体现出了巨大的创新性，但以手机作为载体，似乎仍然很难实现人们所寻求的那个融合着现实与数字化信息的世界。我们当中那些尝试过高级技术与设备的人距离我们所说的“理想世界”确实更近了，但当前，无论是 Magic Leap 还是微软的 HoloLens，纵使能帮我们更清晰的瞥见那沉浸式的未来，它们也仍然被认为是此类设备较为早期的、bug 较多的版本。那么为何我个人仍如此确信 AR 会有一个光明的未来？我们不妨从界面设计的角度来思考这件事。3. 认知负荷我相信 AR 可以取得成功的理由很简单：这一切都在于“认知负荷”。这个概念由教育心理学家 John Sweller 于上世纪八十年代提出，用于描述人们完成任务时在心智上所需付出的精力总和。该理论认为，由于人们的短期记忆能力非常有限，因此，沉重的认知负荷会对人们完成任务的效率造成严重的负面影响，并使人们的学习能力受到阻碍。我们在设计产品时，一项重要的工作就是帮助用户降低认知负荷。一个 app 或网站，越易于导航和完成任务，便越好；体验越不费力，便越具有竞争力。人机界面的发展历史见证着认知负荷持续降低的历程。GUI（图形界面）之所以能代替命令行界面，并不只是因为它看起来更漂亮——更重要的是，它使得人脑中相当一部分记忆空间得以解放，从而使人能更加聚焦于任务本身。命令行界面需要用户在完成任务的过程中持续回忆和输入各种命令与参数，而 GUI 则能将系统的底层逻辑以符合人们在现实世界中处理事物的方式可视化地呈现出来（文档、文件夹、抽屉），因此极大降低了人们所需付出的脑力。来自 Mika Baumeister on Unsplash而随着移动时代的到来，触屏技术使得人机界面的认知负荷进一步降低。人们可以通过与生俱来的灵活的手指，去直接触摸和控制数字化信息，这就使得指针交互所形成的抽象层面得以被移除。如今，另一类强大的人机界面类型同样得到了广泛的关注，即 VUI（语音界面）。通过语言与数字化设备进行沟通的方式更加自然省力，因为这原本就是我们生而为人所习惯的。这与命令行时代的情况恰好相反：在那时，我们必须学习和适应机器的语言，才能与它们进行沟通；如今，机器开始学习和理解我们的语言，以此与我们进行交流。4. 关于“输出”的下一场变革触控和语音在很大程度上都属于输入方式。而在输出方面，尚缺乏足够贴近人类天性的方式。人类是视觉动物，我们的双眼是帮助我们认知世界的最重要的感官。而一块小小的二维屏幕怎能真正满足我们的所需。正如触屏离我们的手更近（移动设备），VUI 离我们的嘴和耳朵更近（Airpods），人机界面的输出方式也将离我们的眼睛更近——譬如智能眼镜。来自 Jürgen Schmidtlein on PixabayAR 眼镜能帮我们将数字化信息直接投射到真实世界的环境当中。这在本质上是非常强大的概念，因为内容终于打破了屏幕的禁锢。这意味着两件事：首先，内容可以超越矩形框架的范围，真正呈现在我们眼前的现实环境当中，在它们应该在的地方，而不再以手机屏幕作为两者之间的“代理”。第二，内容可以从二维扩展至三维。而由此所创造出的可能性将使更好、更直观的视觉沟通形式得以实现。更重要的是，这将使人机界面的认知负荷进一步降低。我们来看一些更直观的例子。早期的 AR 用例最典型的例子之一便是地图：通常，在二维图像信息与三维环境信息之间进行转换会非常消耗脑力。而通过 AR，你可以直接将信息投射在道路上，从而将一部分脑力解放出来，用于关注更重要的事物。在驾车的场景中，这更是有利于安全性的提升：导航信息直接投射在视野前方，而不是呈现在方向盘侧面的二维屏幕上，这样驾车人的视线便无需去关注侧面的设备屏幕，确保注意力始终聚焦在行车路线上。来自 Roland Denes on Unsplash我们在线上买鞋时，通常会仔细观察若干商品详情图片，并将它们在头脑中转化成复杂的模型，去设想鞋子在现实中甚至是在我们脚上的样子——整个过程的认知负荷非常高。家具一类的产品也是同理。在这些场景中，AR 能让我们从不同的角度直观地看到产品在真实环境中的样子，帮助我们快速有效地制定决策。再来考虑操作手册的例子。譬如为了更换空气净化器的滤芯，而翻看着 300 多页厚的印满了小字和插图的说明手册，这着实不是什么良好的体验。借助 AR，清晰易懂的 3D 图形化的操作指引便可直接附着于操作对象之上。电气装配与维修也是同样的道理，这类在过去仅能由专业人员进行的操作，在 AR 的辅助下，都将会变得简单易行很多。Carlos Fy / CC BY-SA以上这些例子仅展示了 AR 这项技术的一小部分潜力，更多的可能性仍有待我们去进行设计。这便引出了下一个话题，即设计师在该技术的进化历程中将扮演怎样的角色。沉浸式体验设计AR 对于 UI/UX 设计意味着什么？从 2D 到 3D 的转变，对于设计师来说自然意味着一个全新维度的可能性——字面意义上的全新维度。我们将可以通过事物的三维形体，而不只是二维形状，来传达其可供性（affordance）。界面元素与内容将拥有纵深，并能在多个角度上被观察和互动。我们也将拥有一种创建信息层级的新方式：除了颜色、对比度、大小以外，我们还将能利用远近距离来体现界面或内容元素之间的权重关系。我们也不再需要通过模拟的阴影效果让按钮看起来更有质感——在三维环境中，我们可以让它“真实的”凸起于背景之上，就像现实世界当中的按钮那样。来自 ID 849356 on Pixabay由于设计将不再受矩形框架的限制，我们一直以来所依赖的一些设计原则和架构或将不再适用，譬如网页设计中的 12 列栅格体系等等；内容更多将会锚定于物体表面，而非二维屏幕的框架之中。或许，所谓的“响应式设计”，届时将会指代 3D 对象随着用户距离的远近而呈现出不同的外观及功能性，而非基于屏幕或浏览器的尺寸而改变布局。例如，附着于产品表面的文本对象可以随着用户逐渐走远而增大字号，让人从较远的距离也能清晰阅读。在 AR 当中进行叙事的方式也将发生重大变化。每一个体验都将是独特的，且只存在于它所对应的特定场景当中。人们的行动方式不同，因此我们也就无法预先设计一条“标准”的行动路径，所谓“边缘案例”将成为常态，因此用研与测试工作将比以往更加重要。诸如此类的变化让我们看到一个事实：AR 将对数据的组织、管理与呈现方式产生根本性的影响，因此在 UI/UX 设计层面，同样需要全新的思路与方法。业界需要我们我们已经大致了解了为何由 2D 向 3D 进行转变将成为必然，以及这将对我们这些设计师产生怎样的影响。那么接下来，我们可以做些什么呢？当我在几年前意识到 AR 的潜力时，摆在我面前的是两个选项：等待技术的成熟及转变的发生，再进行响应。也就是等待别人搭桥，再去过河。参与建造桥梁，成为第一批过河的人。来自 Mason Kimbarovsky on Unsplash我个人希望能有尽可能多的设计师选择第二条道路，在造桥的阶段就参与其中，而不是等待工程师们把一切都搞定。我认为这很重要，因为：正如曾经出现的诸多新技术，更多是由开发者们首先实现了参与，并在之后持续引领着业界；如今在 AR 方面，也呈现出缺乏以用户为中心的产品开发思路的问题。该技术新近所取得的进展，基本都是围绕着“技术能实现什么”而进行的；我们看到很多所谓的解决方案实际上没有解决任何实际问题。AR 应该如何被用于满足用户实际需求，这依然是一片缺乏探索的领域。这便形成了某种恶性循环：迄今为止最为成功的 AR 案例并没带来太多实际价值，很容易被人忽视，因此设计师们也倾向于认为这项技术不存在真实用例，进而错过了参与其中并创造真实变革的机会。这个领域相对来说仍然非常年轻，因此还没有太多的工具或是设计准则可以依赖。这种局面对于设计师来说既是挑战也是机遇，一片开阔的土壤正等待着我们去开垦。这一次，我们可以探索和建立规则，而不是像过去几次技术变革那样，等待开发人员、业务分析师或市场部门来做这件事。我个人相信，摆在我们面前的是一个独特的机遇：AR 在未来的影响力是足以预见的，但实际技术仍需要发展几年，才能达到价格足够低廉，用户体验足够友好，进而进入大众市场的程度。任何理解了这一点的设计师都应该意识到，我们仍然有足够的时间来学习并逐渐实现 3D 界面设计的转化。随着越来越多的公司开始尝试跨入第三个维度，“沉浸式体验设计师”很可能将成为大受欢迎的职位。我们是否已经做好准备去迎接设计历史的新篇章，并在其中扮演我们的新角色了呢？在本系列文章后续的部分当中，我将和各位一起对当前的 AR 产业进行纵览，例如最重要的玩家有哪些，他们各自的沉浸式技术策略是怎样的，以及接下来几年的发展趋势。而最重要的，我还将和各位一起讨论如何充分利用当前的行业图景，以及作为设计师应该如何在接下来的技术变革中扮演重要的角色。最终，我希望大家都能对这个领域的潜力感到兴奋，并一起加入到沉浸式体验设计师的行列当中。AR｜也许AR增强现实技术才是距离设计师最近的未来从科幻小说到电影，从动漫到现实世界，虚拟现实技术历经几十年的光阴，从一个构想，变成了现实世界中到处可以体验到的民用技术。阅读文章 > 欢迎关注作者的微信公众号：「Beforweb」本篇来源：优设网原文地址：https://www.uisdc.com/immersive-experience-designer
表哥
在路上
