ken777制书谈之九：——平底锅电子书的瘦身及其他

ken777

由来：
    近期又有书友问及PDG电子书的瘦身问题，这里将以前写的一篇小文再次发出来，新加的说明用蓝字表示：

    最近我在论坛上（指以前的老坛）提及瘦身处理一些影印清晰版灰白平底锅电子书（超星/读秀PDG）以及大图版转仿清晰，处理后体积可以压缩到原来的1/7左右（不含灰度照片），引起大家关心。在这儿就和书友聊聊这个“瘦身”问题。

   务虚篇：
    一、平底锅的背景
    折腾多年，我收藏的影印电子书主要是清晰的平底锅（当然有更清晰的DJVU格式电子书更好），而非转换而成的影印PDF，毕竟绝大多数影印版PDF来源于超星及其衍生网站（也有个别的书是书友自扫的，比如电驴上HARRISON的部分书），原始格式自然较好。
    影印平底锅的种类五花八门，有超星官方定义的也有网友自行扩展的，尺寸上有清晰版、大图版、快速版；格式上多见的有00H、02H、04H、11H、6XH、JPG、PNG、TIFF等等，欲知其细节，建议去读一下老马的大作《PDG科普篇》：
    http://www.comicer.com/stronghorse/water/software/pdgbasic.htm
    二、必要性
    影印平底锅的瘦身，我是这样想的：
    1、收集、处理影印版图书就是为了“保真”，其次就是阅读舒适，再次之就是减小体积。
      ·对于“保真”而言，扫描书籍的图像分辨率当然越高越好：目前通常书籍的印刷分辨率在300PDI以上（“铅与火”时代在150DPI左右），因此对于书稿而言，扫文字分辨率至少在300DPI以上，扫挂网的灰度照片和彩色照片一般要在450DPI以上方才谈得上“保真”。
      ·就阅读而言，在72DPI或96DPI的显示器上，对于文字为主的书来说，黑白两色时300DPI的清晰度足以阅读了，而含灰度数据的文字用150DPI也足够了，而这两者的文件体积却差别很大。这就是灰度清晰版文字页面（300DPI）能够很理想的瘦身以及灰度大图版文字页面（150DPI）能够用放大瘦身成“仿清晰”版而阅读效果比较好的简单原理。
      ·当然，含照片等的灰度格式、彩色格式尽量原封不动比较好（除非是增强对比度、去除背透等）。
    2、处理针对的对象是：
      ·灰度发白的页面（大图版、清晰版均有，多半是新书，有的发白到了无法看书的地步）；
      ·水印（大图版的）；
      ·发暗的页面；
      ·背透严重的页面；
      ·超大体积的书。
    3、影印版电子书据我知道，压缩率最高的当是DJVU的格式，对于平底锅，体积最小的就是黑白的DJVU压缩的00H格式（比黑白两色的Tiff格式还小）。
    三、可行性
    用什么软件处理：
      ·尝试过用ACDSEE、Photoimpact进行处理，效果比较令人满意，但步骤繁琐、人工干预过多，大批量时不现实；Photoshop如果有高手放出批处理就好了。
      ·据说用园地的“深海美容”软件可以一步做到瘦身，自动化程度很高，但是看过别人用它处理过的书，效果用老马的软件完全可以达到，而且我没财富(虚拟币)买这个软件。（最近试用了一下，自动化程度较高，但对于精益求精者来说还是可控制处不够）
      ·老马的“三剑客”Pdg2Pic、DjVuToy、ComicEnhancerPro（简称CEP）等软件很容易使用，我现在基本上就用它了。这几个软件在老马的原创空间都有：
        http://www.comicer.com/stronghorse/software/index.htm
    四、处理原则
      做成最适宜阅读的效果，尽量保存原版风貌，用最好的压缩格式来存储。
      ·清晰黑白平底锅无损压缩处理成DJVU压缩的00H格式；（下载来的清晰平底锅多半是02H、11H和CCITT压缩的00H格式。）
      ·清晰灰度平底锅针对有灰度照片的和纯文字、线条图的页面分别处理处理成混合格式；
      ·大图JPG平底锅放大处理；（很有压缩空间，有照片的话也分别处理）
      ·大图PNG平底锅基本不处理；（因为这种格式吵醒公司已经对扫描原图进行了一定的处理（多半变成黑白两色），加上水印，然后再被转换成了16级灰度的PNG，用于IE（浏览器）阅读，此时损失了许多数据，再处理效果不太好或费时费力。）
      ·全彩平底锅不处理；（因其处理效果不好或费时费力）
      ·快速平底锅不处理（呵呵，有必要吗？）

    操作篇
    1、查看PDG书的格式：
      将平底锅解压缩到一个文件夹，用老马的Pdg2Pic来看：
      【图1】
      Pdg2Pic将报告汇总信息，并显示当前选中的页面预览及简要信息，包括宽度、高度、DPI、类型 、原始数据格式。类型通常显示为T1（黑白图像）、T2（灰度/彩色图像）、T3（多层图像）。原始数据格式包括CCITT_v1（V1版黑白PDG）、CCITT、JPG和DjVu，T3文件报告底层和第一个插图的格式，中间用“＋”连接。
    2、平底锅无损压缩
      ·对于正文部分是清晰黑白的页面，可以直接进行无损压缩；（当然，别的页面也行）
      ·将平底锅解压缩到一个文件夹，用老马的DjVuToy打开，选择“PDG压缩”功能；
      ·按1、2、3、4顺序操作即可（不要选中2“转换为快速版”），处理完后会给出报告：
        【图2】
      ·多次使用效果证明清晰版黑白的00H、02H、11H、TIFF的体积可以减少25%左右；
      ·压缩后，黑白页面的格式为DJVU压缩的00H，灰度的是JPG，索引色的仍是PNG。
    3、清晰灰白平底锅
      ·将平底锅解压缩到一个文件夹，用老马的用Pdg2Pic把PDG书转换回图片存于另一个文件夹（如果是JPG、PNG改名形成的PDG文件，直接批量改回来即可）；
      ·分类：在资源管理器里用“缩略图”方式浏览这些页面，将它们分类存于不同的文件夹：（我一般用偷懒的办法，如：111、222、333、ccc、hhh等等）
          -彩色的（如封面、封底、彩色插页等，一般就不处理了）；
          -带灰度照片的（一般我不太处理，除非太灰白了或背透严重）；
          -纯文字的；
          -有的平底锅页面扫描质量严重不统一，深的深、浅的浅，这时候也需要分类处理。
      ·用CEP处理这些图像，善用各类参数非常关键，好在CEP处理可以很直观地在预览页面上呈现出来。
          -关于参数和用法请参阅CEP的帮助。这里只提几点：
            ◇-仅仅去水印的话，将“高亮度”调到“108～112”即可。
            ◇-“曲线调整”对于页面发白、发黑、背透（背景杂乱）的处理很有用，有4种预设模式，还能拖动参数图的控制点手动调节，如下图：
               【图3】调整前
               【图4】调整后
            ◇-对发白的页面处理后，通常要增强一些Gamma值，我一般调在140~200；
            ◇-CEP的参数可以针对不同的情况分别设置，我就设置了好几套：
               【图5】
            ◇-对于页面边缘有部分线框的，可以选“切边”以及“填白”模式；
            ◇-对于文字页面，通常选“色彩”为“单色”，存成Tiff格式；
            ◇-对于有灰度照片的页面，选“色彩”为“保持原样”或“4级灰度”、“16级灰度”或“黑白漫画”，存成PNG或JPG格式；
          -调整好典型页面后，可以用CEP的“批量转换”功能对文件夹全部图片（或选中的）文件进行批量转换：
      ·将处理后的彩色的、灰度图的、黑白tiff图片批量改名为PDG放在一起（注意不要忘了原来就有的bookinfo.dat和BookContents.dat两个书籍信息文件），用DJVUTOY的“PDG压缩”功能处理一下，再打包成ZIP即可。
      ·效果：
       《三十年中国优秀短篇小说》，尺寸1944x2593的，发白/发灰的清晰04H格式PDG，纯文字页面，77.4M，用上法处理成清晰00H的PDG，结果10.5M。
        对于这本书，参数是：曲线（203，-5，255，64）；锐化7级，柔化2级，黑白单色，另外左边、下边切了一点（书页扫描多出来的）。
    4、大图灰白平底锅
      ·大图JPG改名的平底锅如果像上节那样直接处理，效果不太好，一般先放大，再瘦身处理（关键在此）。
      ·做成“仿清晰版”效果一般如下步骤：
          -第一遍：放大（1.5~2）倍，高亮度110~120，高亮值210~230（为了先去水印），色彩保持原样，存成PNG格式（或100%质量的JPG格式）；
             -放大时用bicubic算法比较好
          -第二遍：按上述对付清晰平底锅的办法处理曲线调节、锐化、减色成单色Tiff；（锐化很重要，我一般取锐化7级+柔化2级或锐化3级+柔化1级）
          -然后改名为PDG，用DjVuToy压缩成00H。
      ·效果：
       《失落的世界》，大图JPG改名的PDG，107.59M，用上法处理成仿清晰PDG，结果11.0M。参数类似（微调了一下）
      ·吵醒/读秀的书籍效果各有千秋，同时各人的显示设置、喜好也不尽相同，况且CEP本身的预览功能很完善，建议大家在软件默认的设置基础上进行微调。
    其他：
    1、感谢原创发书的各位大侠！没有你们的共享，也就没有这里所谓的减肥了。
    2、感谢老马的软件和讲解。
    3、您要是纯为了收藏原本的电子书、或者做研究之用，还是收原生态的吧！
    4、要是您有足够大的硬盘、有老马的可调节显示效果的收费UV，也别费这个劲儿“瘦身”了！
    5、我瘦身主要是为了自己看书、收藏用（硬盘太小了！），呵呵！您做不做全看您自己的需求。
    6、我现在都是下完清晰平底锅后分门别类处理，大图用CEP处理去放大、去水印、减色、加黑、锐化成tiff，然后更名为pdg，压缩打包成uvz保存。
    7、瘦身很费时间和精力，我处理一本书大约要一个小时左右（300页），更何况复杂版式的。（注：ken777用的机器很老，PIII-800，448M内存）
    8、别人做的瘦身效果往往不满意（特别是有图片的时候），还是自己动手吧！

tuisi

写得很不错，学习，懂了不少东西，谢谢啊

ken777

回复 静一静 的帖子

看帖：

·全彩平底锅不处理；（因其处理效果不好或费时费力）

原因就是：PDG彩色04H格式和大图彩色格式本身是基于JPG压缩的，其压缩比还挺大（50~55%），除非扫描/处理得过差（比如某些封面、封底发黑、内页背透或过白等），一般我就算了。

5234511

开始不明白楼主说的平底锅是什么？后来恍然大悟原来就是PDG:)
学习了  ~~

wendoocoom

呵呵，楼主这经验蛮不少的！学习了。我十分特别很喜欢精确版面还原的原因就是因为这东西具有足够好的清晰度和足够小的体积，比较能满足我这个完美主义者——因为追求完美，我通常用png无损压缩保存扫描稿，不过体积嘛，自然一块2T的硬盘就必不可少了。呵呵，看来我得转变思路，小小追求一下“质量体积比”了。

c_mang

收集、处理影印版图书就是为了“保真”，其次就是阅读舒适，再次之就是减小体积。
概括的好。

ken777

本篇小文是去年5月份写于读书中文网的，后来又发到本人博客，今天老马（strnghrs）在我博客上留言，介绍了新的CEP使用方法，并澄清了几个要点：

strnghrs 2011-03-15 14:17

• 1、楼主用的CEP版本有点老，参数也比较传统：在处理发白页面的时候，“自动对比度”会很有用；在处理偏色、发黄页面的时候，“自动色阶”很不错；如果黑白文字笔画较细，“加粗”可以解决。现在大图版其实也在学CEP，先自动色阶一下再放出来，所以看起来效果不像清晰版这么白。
• 2、大图灰白平底锅的处理部分，如果减色成单色，去水印部分根本没有必要，因为减色成单色的时候什么水印都去掉了。这样处理步骤可以合并，减少中间环节。
• 3、真正纯正的00H PDG，应该是CCITT G4压缩的PDG，DjVu压缩的00H其实完全是用第三方软件做出来的，不是CX自己放出来的。如果想制作CCITT G4压缩的00H PDG，可以用PdgRenamer，注意选择“黑白图像->DG（PDG Maker）”选项。
  

感谢老马！

别样的春意

路过学习，这几天在处理书籍，很是累人！

solomoon

看到版主的介绍，才知道原来清晰版也可以再“瘦身”且保真，学习了。谢谢。

何石

回复 ken777 的帖子

也请凡剑兄看看这三本书应该如何调整，每本书帖了一张，发到了下面地址的45楼：
http://www.readfree.net/bbs/read ... ;toread=&page=3

starrynight

其实收费版的uv和cv带调节功能的，除非硬盘不够，个人还是喜欢留完整版的，看的时候调节一下，效果一样，但并不会改变文件，毕竟瘦身后的图片会有一定的损失，说不定以后会有更好的方法呢:)

qoriq

瘦身是个技术活，需要熟练经验
有几本pdf电子书比较大，图像格式的
结果优化了一下优化大了

ken777

何石 发表于 2011-3-24 15:51
回复 ken777 的帖子

也请凡剑兄看看这三本书应该如何调整，每本书帖了一张，发到了下面地址的45楼：

何石兄，简单试验了一下，结果在下面。大家商榷。

这三张书页实际上分成两类：
    一张JPG的真彩色图，565*800，灰度过渡比较均匀，图偏小需要放大在处理。
   另两张是读秀的16色PNG大图（看扩展名是JPG的，实际上是PNG，可能是下载软件搞得），一般这种格式的处理效果很不佳（我在制书谈里也说了）。
    所以，后两本书不建议瘦身或减肥处理。

对这几个样例，我做了些试验，都放在一个压缩包里，见附件：

感觉《中国历代艺术典》、《中国书画全书》效果不太好，《说甲解契》效果好些。
   
具体做法如下：
  首先都放大1.89倍（个人习惯，2倍也可以），存成100%的JPG（或无损PNG），下边切了一点边。

  对于《说甲解契》，做成黑白的话，设置如下：
（就是样例里的144页）
  注意此时锐化为7级，柔化2级。
  其实，《说甲解契》原图有淡灰色的竖栏线，做成灰度的更好，设置如下：
（就是样例里的145页）

  至于《中国历代艺术典》、《中国书画全书》这两本，因为读秀已经处理过了，细节损失不少，我处理用了下面的参数：

这也是在我的电脑上试过多次，感觉观感较好的（注意锐化3级、柔化1级）。

在自己的电脑上多试几种组合可能会更好些。

何石

看凡剑的教程受益匪浅，多谢指导，可不可以根据不同格式PDG，制作成一个表格，给出参考值，对老马软件的熟悉需要一个过程，不容易达到理想效果。不知道我的要求是不是过分。附件是我列出的表格，只有项目，没有填数据仅供参考。

ken777

何石 发表于 2011-4-1 11:26
看凡剑的教程受益匪浅，多谢指导，可不可以根据不同格式PDG，制作成一个表格，给出参考值，对老马软件的熟 ...

何石兄，拿出一个统一的列表就不必了吧！

  PDG扫描效果各有不同，特别是近来扫描的04H和JPG大图，参数稍有差异转换效果就截然不同；
   专心的话，一本书处理起来分成3~4种参数（偏黑的、发白的、背透严重的、文字极少的、带图的……）是正常的；
   我处理书基本上都在上面例子的参数附近微调，老兄参考即可。
   况且各人看书“舒适度”主观感觉不一样，说实话我瘦身的效果其他朋友也有觉得都不满意的。

CHRX

今天看到此帖，真是相见恨晚。原来也在数典见过一些但不及此文这完整全面。也读过老马大侠的文章，但理解不深。此文对我帮助甚大。谢ken777大大！

azb1262006

9篇文章就这个看的迷糊了...还不清楚这些到底意味着什么，调色也还不行，曲线几乎完全不会用。
等我再学学基础知识

polariswong

好文！击掌长叹！
感谢k版分享经验！

dracodoc

好文章
另外有个小问题没找到答案，我想上传收藏的德鲁克书籍到网盘然后发到论坛，看到说快速版的pdf不让发，那么什么样的是快速版？
收藏的pdf里有不少是清晰度比较低的，也比较早，肯定不如后来的扫描版效果好，说不定就是快速版...

ken777

dracodoc 发表于 2012-2-2 03:11
好文章
另外有个小问题没找到答案，我想上传收藏的德鲁克书籍到网盘然后发到论坛，看到说快速版的pdf不让发 ...

请看老马的文章：“PDG科普篇”
http://www.comicer.com/stronghorse/water/software/pdgbasic.htm
里面有一段讲的就是快速版，对PDF也是适用的。

dracodoc

ken777 发表于 2012-2-2 09:25
请看老马的文章：“PDG科普篇”
http://www.comicer.com/stronghorse/water/software/pdgbasic.htm
里面 ...

多谢，看完了。
看来我收藏的那些书大部分都是快速版了。不过也没有清晰版的，作为已有的作品全集还是没法替代的

beyondband

学习了，非常不错。