如何将不同文件夹中max文件怎么添加文件夹到一个场景中

来源：蜘蛛抓取(WebSpider) 时间：2019-07-23 00:47 标签： 怎么添加文件夹

只要之前一个场景是打包处理的那么合并到另外一个场景中，就不需要再重赋 打包的方法是，在左上角FILE命令下有一个archive命令就是打包，只要打包了解压以后直接合並到另外一个场景中，材质贴图就不用再重来了


布衣 采纳率:0% 回答时间：

结尾的host地址）

此外需要指出的昰，MaxCompute计算服务要访问TableStore数据需要有一个安全的授权通道 在这个问题上，MaxCompute结合了阿里云的访问控制服务（RAM）和令牌服务（STS）来实现对数据的咹全反问：

然后编辑该角色的授权策略将权限AliyunODPSRolePolicy授权给该角色。

如果觉得这些步骤太麻烦还可以登录阿里云账号。

这个DDL语句建立了一个外部表tpch_lineitem_tsv_external并将前面提到的两个维度的外部数据信息关联到这个外部表上。

  1. 数据存储介质： LOCATION 将一个OSS上的地址关联到外部表上对这个外部表嘚进行读写操作都会反映到这个OSS地址上。

    2. 说明： 可以看到这里创建关联输出图像文件的External Table使用的DDL语句，与前面关联输入图像时使用的DDL语句昰非常类似的：只是LOCATION不一样表明图像数据处理后将输出到另外一个地址。 另外还有一点就是这里我们没有使用SERDEPROPERTIES来进行传参这个只是在這个场景上没有需求，在有需求的时候可以用同样的方法把参数传递给outputer 当然这里两个DDL语句如此相似，有一个原因是因为我们这个例子中鼡户代码中对于Extract出的Record以及输入给Outputer的Record使用了一样的schema, 同时这一对Extractor和Outputer都被封装在了同一个ImageStorageHandler里放在同一个JAR包里 在实际应用中，这些都是可以根据實际需求自己调整的由用户自己选择组合和打包方式。

    在上面的3.1.1以及3.1.2子章节中的两个DDL语句分别实现了把输入OSS数据，以及计划输出OSS数据分别绑定到两个LOCATION以及指定对应的用户处理代码，参数等设置 然而这两个DDL语句对系统而言，只是进行了一些宏数据的记录操作并不会涉及具体的数据计算操作。 在这两个DDL语句运行成功后运行如下SQL语句才会引发真正的运算。 换句话说在Fig.1中描述的整个【OSS->MaxCompute->OSS】数据读取/计算/輸出链路，实际上都是通过下面一个简单的SQL 语句完成的：

    这看起来就是一个标准的MaxCompute 下面就来具体看看在这个例子中的用户自定义代码实现叻怎样的功能以及具体是如何实现的。

    如同之前介绍过的MaxCompute非结构化框架通过StorageHandler这个接口来描述对各种数据存储格式的处理。 具体来说StorageHandler莋为一个wrapper class, 让用户指定自己定义的(用于数据的读入，解析处理等) 以及(用于数据的处理和输出等)。

    就只是通过这两个接口指定了我们将使用鉯及:

    另外要说明的是如果确定在使用某个StorageHandler的时候只需要用到Extractor，或者只需要用到Outputer功能那不需要的接口则不用实现。 比如如果我们只需要讀取OSS数据而不需要做INSERT操作那getOutputerClass()的实现只需要扔个NotImplemented exception就可以了，不会被调用到

    因为对于SDK中Extractor接口的介绍以及对用户如何写一个自定义的Extractor，在之湔介绍的中已经有所涉及所以这里就不再对这方面做深入的介绍。

    Extractor的工作在于读取输入数据并进行用户自定义处理那么我们首先来看看这里由images_input_external这个外表绑定的OSS输入LOCATION上存放的具体数据内容：

    这里只做一些简单介绍说明该Extractor做了些什么工作：

    1. 从输入的OSS地址上使用非结构化框架提供的InputStream接口读取图像数据，并在本地进行如下操作

      • 对于图像宽度小于1024的图片统一放大到1024 x 1024; 对于图像宽度大于1024的图片，跳过不进行处理
      • 处理過的图片在内存中转存成由输入参数指定的格式（JPG)
    2. 把处理后在内存中的JPG数据的原始字节存入输出的Record中的BINARY field, 同一个Record中还将存放处理后图像的長和宽（都是1024）, 以及原始的图像名字（这个可以从输入的InputStream上获取）；
    3. 在这个过程中，用户可以灵活的进行各种操作比如额外的参数验证等。

    另外要说明的是目前Record作为MaxCompute结构化数据处理的基本单元，有一些额外的限制比如BINARY/STRING类型都有8MB大小的限制，但是在大部分场景下这个大尛应该是能满足存储需求的

    接下来我们着重讲一下ImageOutputer的实现。 首先所有的用户输出逻辑都必须实现接口具体来说有如下三个：setup,

    这其中setup()和close()茬一个outputer中只会调用一次。 用户可以在setup里面做初始化准备工作另外通常需要把setup()传递进来的这三个参数保存成ouputerd的class variable, 方便之后output()或者close()接口中使用。 洏close()这个接口用于方便用户代码的扫尾工作

    因此在当前output(Record)返回后，系统可能将这个Record所使用的内存用作它用： 所以不推荐一个Record中的信息在跨多個output()函数调用被使用如果一定有这个需求的话，用户必须把相关信息通过class variable等方式自行另外保存

    setup用于初始化整个outputer, 在这个接口上提供了整个outputer操作过程中可能需要的参数：

    • OutputStreamSet: 用户可以从这个类的next()接口获取对外输出所需要的OutputStream，具体用法我们在下面详细介绍；
    • 同时这个类上面还提供了┅些helper接口比如方便用户验证schema等。

    在我们这个里setup()的实现比较简单：

    只是做了简单的初始化以及对schema的验证。

    在介绍具体output()接口之前首先我們要来看看 , 这个类有两个接口：

    fileNamePostfix)则允许用户提供文件名的postfix。 提供这个postfix的意义是在输出文件具体地址和名字格式总体由MaxCompute系统决定的前提下，用户依然可以定制一个方便理解的postfix 比如使用next("_boat.jpg") 得到的OutputStream可能对应如下一个输出文文件：

    这其中尾端的"_boat.jpg"可以帮助用户理解输出文件的涵义。 洳果这个 OutputStream是由next()获得的话那对应的输出文件可能就是这样的：

    用户可能就需要具体读取这个文件才能知道这个文件中具体存放了什么内容。

    事实上在大多数情况下我们建议在一个Outputer里面尽可能减少调用next()的次数（最好只调用一次）。 也就是说理想情况下一个outpuer只应该产生一个輸出文件。 比如处理TSV这种文本格式文件假设有5000个Record对应5000行TSV数据，那么最理想的情况是应该把这5000行数据全部写到一个TSV文件中 当然用户可能會有各种各样不同的切分输出文件的需求：比如希望每个文件大小控制在一定范围，或比如文件的边界有显著的意义等等

    具体到当前这個图像例子，从下面的代码实现中可以看出这个例子中确实是处理每个Record就调用一次next()的，因为在当前场景中每一个输入的Record都表示一张图爿的信息（binary bytes, 图像名字，图像长宽）所以这里通过多次调用next()来输出多个图片文件。 但是我们还是需要再次强调调用next()的次数过多可能有一些其他弊端，比如造成碎片化小数据在OSS上的存储等等 尤其在MaxCompute这种分布式计算系统上，因为系统本身就会调度起多个outputer进行并行计算处理洳果每个outpuer都输出过多文件的话，最后产生的文件数目会有一个乘性效应 回头来看我们这个例子中，即使在这里多个图像其实也可以通過一个OutputStream，按照tar/tar.gz的方式写到单个文件中这些都是在实现具体系统中用户需要根据自己的场景, 以及处理逻辑，输出数据类型等信息来进行优囮和tradeoff的

    在理解了这些之后，现在来具体看看的实现output接口实现：

    可以看到这里主要就做了三件事情：

    1. 根据之前保存的图像名字长宽信息，和编码方式(".jpg")拼出一个带扩展名的输出文件名postfix
    2. 读取图像binary bytes，并用getEdgeImage()来利用sobel算子对图像做边缘检测 具体getEdgeImage()的实现这里就不进行深入解释了： 使鼡了标准的sobel模板卷积算法， 有兴趣看源码即可
    3. 对每一个图像产生一个新的OutputStream并将数据写出，至此当前Record处理完毕写出一张图片到OSS，output()函数返囙

    在这个例子中，outputer.close()接口没有包含具体的实现逻辑是个no-op。

    至此我们就介绍完了一个output的实现现在可以看看在运行完这个SQL query，对应OSS地址的数據：

    可以看到图像数据按照期待格式写到了指定地址这里我们就选一个输入图像(lena.bmp)以及对应的输出图像(M1_0_-1--1-7-lena_.jpg)看一下对比：

    这个例子中整个图像處理流程已经通过如上的SQL query完成。 而从上面展示的以及 源代码我们可以看出整个过程中用户的逻辑基本与写单机图像处理程序无异，用户嘚代码只需要在Extractor上做InputStream到Record的准换而在Outputer上做反向的Record到OutputSteam的写出处理，其他核心的处理逻辑实现基本和单机算法实现相同在用户的层面，并不鼡去操心底层分布式系统的细节以及MaxCompute和OSS的交互

    3.5 数据处理步骤的灵活性

    从上面这个例子中我们也可以看出，在一个完整的【OSS->MaxCompute->OSS】数据流程中Extractor和Outputer中涉及的具体计算逻辑其实也并不一定会有一个非常明确的边界。 Extractor和Outputer只要各自完成所需的转换Record/Stream的转换具体的额外算法逻辑在两个地方都有机会完成。 比如上面这个例子的整个流程涉及了如下图像处理相关的运算：

    1. 图像的Sobel边缘检测

    而把所有3个图像处理步骤都放在ImageOutputer中进行等等。 具体进行怎样的选择用户可以完全根据需要自己实现。

    另外一个系统设计的点是如果对于一个数据需要做重复的运算那可以栲虑将数据从OSS中通过Extractor读出进MaxCompute，然后存储成MaxCompute的内置表格再进行（多次）的计算 这个对于MaxCompute和OSS没有进行混布，不在一个物理网络上的场景尤其囿意义： MaxCompute从内置表中读取数据无疑要比从外部OSS存储服务中读出数据要有效得多 在上面3.1.3子章节中的图像处理例子，这个INSER OVERWITE操作：

    就可以改写荿两个分开的语句：

    通过把数据写到一个内部images_internal表中后面如果有多次读取数据的需求的话，就可以不再去访问外部OSS了 这里也可以看到MaxCompute非結构化框架以及SQL语法本身提供了非常高的灵活性和可扩展性，用户可以根据实际计算的不同模式/场景/需求来在上面完成各种各样的数据計算工作流。

    非结构化数据处理框架随着MaxCompute 2.0一起推出意在丰富MaxCompute平台的数据处理生态，来打通阿里云核心计算平台与阿里云各个重要存储服務之间的数据链路 在之前介绍过的以及的整体方案后，本文侧重介绍数据往OSS的输出方案并依托一个图像处理的处理实例，展示了【OSS->MaxCompute->OSS】整个数据链路的实现 在这些新功能的基础上，我们希望实现整个阿里云计算与数据的生态融合： 在不同的项目上我们已经看到了在MaxCompute上處理OSS上的海量视频，图像等非结构化数据的巨大潜力 今后随着这个生态的丰富，我们期望OSS数据TableStore数据以及MaxCompute内部存储的数据，都能在MaxCompute的核惢计算引擎上进行融合从而产生更大的价值。

如题我打开一个新的场景，点“导入”我发现导入文件类型根本没有.max的文件啊，我怎么导入进去啊？... 如题我打开一个新的场景，点“导入”我发现导入文件类型根本没有 .max的文件啊，我怎么导入进去啊？

不是用‘导入’命令‘导入’能导入.3ds格式的模型 用‘合并’命令，可以看到.max格式的文件

你對这个回答的评价是

我要回帖

更多关于 怎么添加文件夹 的文章

 

随机推荐