Oracle BLOB到base64 CLOB

时间:2015-03-19 21:48:41

标签: oracle oracle11g

我可以一次性将oracle BLOB转换为Base64 CLOB吗?

像:

CREATE TABLE test
(
image BLOB,
imageBase64 CLOB
);

INSERT INTO test(image)
VALUES (LOAD_FILE('/full/path/to/new/image.jpg'));

UPDATE test SET imageBase64 = UTL_ENCODE.base64_encode(image);

commit;

我知道我可以添加函数/存储过程来完成工作。性能方面非常重要,所以我问是否有办法通过直接将数据推送到CLOB来克服32K限制。

4 个答案:

答案 0 :(得分:7)

此功能得到了from here应该完成的工作。

CREATE OR REPLACE FUNCTION base64encode(p_blob IN BLOB)
  RETURN CLOB
-- -----------------------------------------------------------------------------------
-- File Name    : http://oracle-base.com/dba/miscellaneous/base64encode.sql
-- Author       : Tim Hall
-- Description  : Encodes a BLOB into a Base64 CLOB.
-- Last Modified: 09/11/2011
-- -----------------------------------------------------------------------------------
IS
  l_clob CLOB;
  l_step PLS_INTEGER := 12000; -- make sure you set a multiple of 3 not higher than 24573
BEGIN
  FOR i IN 0 .. TRUNC((DBMS_LOB.getlength(p_blob) - 1 )/l_step) LOOP
    l_clob := l_clob || UTL_RAW.cast_to_varchar2(UTL_ENCODE.base64_encode(DBMS_LOB.substr(p_blob, l_step, i * l_step + 1)));
  END LOOP;
  RETURN l_clob;
END;
/

然后更新看起来像

UPDATE test SET imageBase64 = base64encode(image);

请注意,可能应该使用函数DBMS_LOB.APPEND而不是该连接运算符来优化函数。如果您遇到性能问题,请尝试使用它。

答案 1 :(得分:7)

我通过使用Java存储过程在工作中解决了同样的问题。这种方法中没有涉及VARCHAR2的分块/连接,因为编码/解码base64的能力本身构建在Java中,只需编写一个简单包装Java方法的Oracle函数就可以正常运行并且是高性能的,因为只要你已经执行了几次,HotSpot JVM将Java proc编译成低级代码(高性能就像C存储函数一样)。我稍后会编辑这个答案并添加有关该Java代码的详细信息。

但要退一步,请问为什么要将这些数据存储为BLOB和base64编码(CLOB)?是否因为您的客户端想要使用后一种格式?我真的更喜欢只存储BLOB格式。其中一个原因是base64编码版本的大小可能是原始二进制BLOB的两倍,因此存储它们可能意味着存储量的3倍。

我在工作中实现的一个解决方案是创建自己的Java存储函数base64_encode(),它编码二进制文件 - > base64然后使用该函数在查询时动态编码base64(它并不昂贵)。从应用程序/客户端,您可以查询类似SELECT base64_encode(image) FROM test WHERE ...

的内容

如果无法触及应用程序代码(即COTS应用程序),或者您的开发人员对使用函数不感兴趣,您可以使用VIRTUAL(计算机)为它们抽象(因为您使用的是11g +)表上包含计算的base64_encode(image)的列。它的功能类似于视图,因为它不会物理存储编码的CLOB,但会在查询时生成它们。对于任何客户,他们都无法告诉他们他们没有阅读物理专栏。另一个好处是,如果您更新了jpg(BLOB),则会立即自动更新虚拟CLOB。如果您必须插入/更新/删除大量BLOB,则可以节省66%的重做/存档日志,而无需处理所有CLOB。

最后,为了提高性能,请确保使用的是SecureFile LOB(BLOB和CLOB)。几乎在所有方面,它们都更快更好。

更新 - 我找到了我的代码,至少是使用Java存储过程执行相反操作的版本(将base64编码的CLOB转换为其二进制BLOB版本)。写反向并不困难。

--DROP FUNCTION base64_decode ;
--DROP java source base64;

-- This is a PLSQL java wrapper function
create or replace
FUNCTION base64_decode (
   myclob clob)
   RETURN blob
AS LANGUAGE JAVA
   NAME 'Base64.decode (
            oracle.sql.CLOB) 
            return oracle.sql.BLOB';
/

-- The Java code that base64 decodes a clob and returns a blob.
create or replace and compile java source named base64 as
import java.sql.*;
import java.io.*;
import oracle.sql.*;
import sun.misc.BASE64Decoder;
import oracle.jdbc.driver.*;

public class Base64 {

public static oracle.sql.BLOB decode(oracle.sql.CLOB  myBase64EncodedClob)
  {

    BASE64Decoder base64   = new BASE64Decoder();
    OutputStream  outstrm  = null;
    oracle.sql.BLOB myBlob = null;
    ByteArrayInputStream instrm = null;

    try
    {
      if (!myBase64EncodedClob.equals("Null"))
      {
        Connection conn = new OracleDriver().defaultConnection();
        myBlob = oracle.sql.BLOB.createTemporary(conn, false,oracle.sql.BLOB.DURATION_CALL);
        outstrm = myBlob.getBinaryOutputStream();
        ByteArrayOutputStream byteOutStream = new ByteArrayOutputStream();

        InputStream in = myBase64EncodedClob.getAsciiStream();
        int c;
        while ((c = in.read()) != -1)
        {
          byteOutStream.write((char) c);
        }

        instrm = new ByteArrayInputStream(byteOutStream.toByteArray());

        try  // Input stream to output Stream
        {
          base64.decodeBuffer(instrm, outstrm);
        }
        catch (Exception e)
        {
          e.printStackTrace();
        }

        outstrm.close();
        instrm.close();
        byteOutStream.close();
        in.close();
        conn.close();
      }

    }
    catch (Exception e)
    {
        e.printStackTrace();
    }

    return myBlob;

  }  // Public decode

} // Class Base64
;
/

答案 2 :(得分:5)

如果存储过程尽管对您来说是一个可行的选择,这里有一个可能解决您问题的方法......

首先,让我们将Tim Hall的好base64encode()功能变成一个程序......

create or replace procedure base64encode
    ( i_blob                        in blob
    , io_clob                       in out nocopy clob )
is
    l_step                          pls_integer := 22500; -- make sure you set a multiple of 3 not higher than 24573
    l_converted                     varchar2(32767);

    l_buffer_size_approx            pls_integer := 1048576;
    l_buffer                        clob;
begin
    dbms_lob.createtemporary(l_buffer, true, dbms_lob.call);

    for i in 0 .. trunc((dbms_lob.getlength(i_blob) - 1 )/l_step) loop
        l_converted := utl_raw.cast_to_varchar2(utl_encode.base64_encode(dbms_lob.substr(i_blob, l_step, i * l_step + 1)));
        dbms_lob.writeappend(l_buffer, length(l_converted), l_converted);

        if dbms_lob.getlength(l_buffer) >= l_buffer_size_approx then
            dbms_lob.append(io_clob, l_buffer);
            dbms_lob.trim(l_buffer, 0);
        end if;
    end loop;

    dbms_lob.append(io_clob, l_buffer);

    dbms_lob.freetemporary(l_buffer);
end;

这里的“技巧”是在对过程/函数的调用中直接使用持久性LOB定位器。为什么“持久”?因为如果您创建一个返回LOB的函数,那么在后台创建了一个临时LOB,这意味着需要一些TEMP磁盘/内存使用和LOB内容复制。对于大型LOB,这可能意味着性能受到打击。为了满足您使其成为最佳性能的要求,您应该避免使用此TEMP空间。因此,对于这种方法,必须使用存储过程而不是函数。

然后,当然,必须使用持久性LOB定位器来提供该过程。您必须再次使用存储过程执行此操作,例如,首先向表中插入一个空的LOB(有效地创建一个新的LOB定位符),然后将新创建的LOB定位符提供给base64编码例程......

create or replace procedure load_and_encode_image
    ( i_file_name       in varchar2 )
is
    l_input_bfile       bfile := bfilename('DIR_ANYTHING', i_file_name);
    l_image_base64_lob  test.imageBase64%type;
    l_image_raw         test.image%type;
begin
    insert into test(image, imageBase64)
    values (empty_blob(), empty_clob())
    returning image, imageBase64
    into l_image_raw, l_image_base64_lob;

    begin
        dbms_lob.fileopen(l_input_bfile);
        dbms_lob.loadfromfile(
            dest_lob => l_image_raw,
            src_lob => l_input_bfile,
            amount => dbms_lob.getlength(l_input_bfile)
        );
        dbms_lob.fileclose(l_input_bfile);
    exception
        when others then
            if dbms_lob.fileisopen(l_input_bfile) = 1 then
                dbms_lob.fileclose(l_input_bfile);
            end if;
            raise;
    end;

    base64encode(
        i_blob => l_image_raw,
        io_clob => l_image_base64_lob
    );
end;

注意:当然,如果你只对64个小文件进行编码(实际大小取决于你的PGA设置,我猜测;这是DBA的一个问题,这个然后,基于功能的方法可以与基于程序的方法同等地执行。在我的笔记本电脑上编码200MB文件的Base64使用功能+更新方法花了55秒,使用程序方法花费了14秒。不完全是速度恶魔,所以选择适合你需求的东西。

注意:我相信这个基于过程的方法可以通过将文件读取到循环中的内存块,base64-将块编码到另一个内存块并将它们都附加到目标来进一步加速持久的LOB。这样,您应该避免通过test.image过程重新读取完整的base64encode() LOB内容,从而使工作负载更加轻松。

答案 3 :(得分:1)

我找到的最简单的方法是使用dbms_lob.converttoclob,它适用于特殊字符(在你的情况下你没有遇到这个问题)。

创建封装程序:

CREATE OR REPLACE FUNCTION blob2clob(blob_i IN BLOB) RETURN CLOB IS
  l_clob         CLOB;
  l_dest_offset  NUMBER := 1;
  l_src_offset   NUMBER := 1;
  l_amount       INTEGER := dbms_lob.lobmaxsize;
  l_clob_csid    NUMBER := nls_charset_id('WE8ISO8859P15'); --dbms_lob.default_csid;
  l_lang_context INTEGER := dbms_lob.default_lang_ctx;
  l_warning      INTEGER;
BEGIN
  ---------------------------
  -- Create Temporary BLOB --
  ---------------------------
  dbms_lob.createtemporary(lob_loc => l_clob,
                           cache   => TRUE);
  --------------------------
  -- Convert CLOB to BLOB --
  --------------------------
  dbms_lob.converttoclob(dest_lob     => l_clob,
                         src_blob     => blob_i,
                         amount       => l_amount,
                         dest_offset  => l_dest_offset,
                         src_offset   => l_src_offset,
                         blob_csid    => l_clob_csid,
                         lang_context => l_lang_context,
                         warning      => l_warning);
  --
  RETURN l_clob;
END blob2clob;

然后你可以使用:

blob2clob(utl_encode.base64_encode(image))