图像处理协作系统、协作方法、便携式终端装置

摘要

本发明涉及图像处理协作系统、协作方法、便携式终端装置。提供图像处理协作系统等，其将具有文件显示区域的图像处理装置用的操作画面显示在便携式终端，在从便携式终端进行图像处理装置的协作操作的情况下，可实现对文件显示区域进行了操作时的操作后的画面的显示速度的高速化等。操作画面是具有文件显示区域的第1操作画面时，图像处理装置将除文件显示区域以外的第1操作画面的显示用数据、文件、文件显示区域再现用信息发送至便携式终端装置。便携式终端装置使用这些生成图像处理装置的第1操作画面并显示于显示部件。在对文件显示区域进行了用户操作时，使用保存于自身的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。

说明书

技术领域

本发明涉及具备作为多功能数字复合机的MFP（Multi Function  Peripherals，多功能外围设备）等的图像处理装置和可与该图像处理装置连接 的智能手机、平板电脑终端等的便携式终端装置的图像处理协作系统、在同 系统中执行的协作方法、便携式终端装置以及在便携式终端装置中执行的协 作方法。

背景技术

近年，智能手机、平板电脑终端等的便携式终端装置可存储电子化的文 档，能够不论时间与场所而阅览或编辑文档。此外，能够将在便携式终端装 置中实施了编辑等之后的文件发送至所述MFP等的图像处理装置，并使图像 处理装置执行印刷或者保存等的处理。进而，还能够将由通过图像处理装置 的扫描仪部读取的原稿的图像数据等构成的文件发送至便携式终端装置，在 便携式终端装置中进行编辑等。

但是，存在需要将便携式终端装置和图像处理装置分别单独操作，操作 变得烦杂的问题。

因此，最近，提出图像处理装置和便携式终端装置的协作系统，将用于 使用图像处理装置的功能的图像处理装置用的操作画面在便携式终端装置的 显示部中显示，能够从便携式终端装置操作图像处理装置。在该协作系统中， 在便携式终端装置的显示部中显示的图像处理装置的操作画面基于从图像处 理装置被发送的显示用数据而显示。

然而，在这样的协作系统中，也存在作为图像处理装置的操作画面，例 如显示使图像处理装置内的图像数据等的文件在画面的一部分中预览显示的 预览显示画面的情况。通过将图像处理装置内的文件在便携式终端装置的显 示部上预览显示，能够在便携式终端装置的、比图像处理装置的操作面板更 大的画面上确认文件，对用户来说非常便利。

但是，在便携式终端装置中对在便携式终端装置中显示的预览画面中的 文件进行操作的情况下，存在如下的问题点。

即，如所述那样，由于基于从图像处理装置被发送的显示用数据，显示 在便携式终端装置的显示部中显示的图像处理装置的操作画面，因此在通过 便携式终端装置操作在便携式终端装置中显示的预览显示画面等的情况下也 同样，首先，表示进行了操作的操作信息从便携式终端装置被发送至图像处 理装置，图像处理装置基于该操作信息生成下一个操作画面，将用于将其显 示的显示用数据发送至便携式终端装置，便携式终端装置基于该显示用数据 再现并显示操作画面。

因此，例如，在便携式终端装置侧对预览显示画面中的文件显示区域的 文件进行翻页操作的情况下，为了与翻页操作对应，需要在图像处理装置侧 调用文件，将当前显示的页的下一页设定为显示数据之后，将具有该页的数 据的操作画面的显示用数据发送至便携式终端装置。从而，操作画面的显示 用数据的生成需要时间，存在操作后的预览画面在便携式终端装置上的显示 速度变慢的问题。

此外，还存在如下问题：从图像处理装置至便携式终端装置的预览画面 显示用数据的发送以数据被压缩的状态进行，在便携式终端侧将其扩展并显 示，因此在小的文件显示区域内的显示数据被压缩/扩展而再现性恶化，不能 显示文件的细致的预览图像。

而且，还存在如下问题：由于在图像处理装置侧生成与操作对应的文件 的显示数据，因此对于被预览显示的文件，在便携式终端装置侧能够使用的 操作限于图像处理装置提供的操作，不能进行通常可通过便携式终端装置侧 的应用对文件操作的例如捏合等的操作，使用便利性不好。

另外，在专利文献1中，公开了能够以与使用经由网络被连接的多个打 印机之中的期望的打印机以期望的印刷设定印刷文档数据的结果大致相同的 大小进行印刷预览的技术。

具体而言，若通过用户操作便携式终端选择要印刷的文档，选择打印机 以及印刷设定（用纸尺寸、分辨率等），则服务器基于印刷设定计算像素数， 以计算出的像素数从文档文件生成印刷图像。另一方面，取得与便携式终端 的显示部相关的信息（横向像素数、纵向像素数、分辨率），基于印刷物的 分辨率和显示部的分辨率计算预览图像的像素数，以计算出的像素数生成预 览图像，将预览图像发送至便携式终端装置。

现有技术文献

专利文献

专利文献1：（日本）特开2011-118586号公报

但是，上述专利文献1所述的技术是与将在服务器中生成的预览图像发 送至便携式终端装置的技术相关的技术，不是操作在便携式终端装置中显示 的图像处理装置侧的操作画面的文件显示区域的技术。因此，对于在操作文 件显示区域的情况下发生的所述的问题点，不能提供解决方案。

发明内容

本发明是鉴于这样的情况而完成的，其课题在于，提供图像处理协作系 统以及协作方法，其在将具有文件显示区域的图像处理装置用的操作画面在 便携式终端装置中显示，从便携式终端装置进行图像处理装置的协作操作的 情况下，能够实现对所述文件显示区域进行了操作时的操作后的画面的显示 速度的高速化、文件的显示精度的提高、可使用的操作种类的扩大，进而提 供适合被用于所述协作系统的便携式终端装置和在该便携式终端装置中执行 的协作方法。

上述课题通过以下的手段被解决。

（1）一种图像处理协作系统，具备可相互连接的图像处理装置和便携式 终端装置，其特征在于，所述图像处理装置具备：显示部件；操作画面判断 部件，在有来自所述便携式终端装置的、在所述显示部件中显示的图像处理 装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示 文件的全部或者一部分的文件显示区域的第1操作画面，还是不具有文件显 示区域的第2操作画面；以及发送部件，在通过所述操作画面判断部件判断 为是第1操作画面的情况下，将除所述文件显示区域以外的第1操作画面的 显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述 文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为 是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端 装置，所述便携式终端装置具备：取得请求部件，对所述图像处理装置，进 行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成部件， 在根据所述取得请求从所述图像处理装置被发送的显示用数据是第1操作画 面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第1操作 画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装 置的第1操作画面，在从图像处理装置被发送的显示用数据是第2操作画面 的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操 作画面；显示部件，显示通过所述操作画面生成部件被生成的第1或者第2 操作画面；文件保存部件，保存从所述图像处理装置被发送的文件；操作判 断部件，判断是否对在所述显示部件中显示的第1或者第2操作画面进行了 用户操作；通知部件，在通过所述操作判断部件判断为对在第1操作画面内 但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作 画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处 理装置；以及显示控制部件，在通过所述操作判断部件判断为对在第1操作 画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件 中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据 而显示。

（2）如前项1所述的图像处理协作系统，在所述便携式终端装置的文件 显示区域再现用信息中，包含表示所述第1操作画面中的文件显示区域的位 置的第1位置信息、和表示在文件显示区域中显示的数据在文件内的位置的 第2位置信息，所述操作画面生成部件通过将所述文件中的由所述第2位置 信息示出的位置的数据合成到由所述第1位置信息示出的文件显示区域的位 置上，从而生成第1操作画面。

（3）如前项1或者2所述的图像处理协作系统，所述图像处理装置具备： 文件存储部件，存储1个或者多个文件；以及文件取得部件，在通过所述操 作画面判断部件判断为是第1操作画面的情况下，从所述文件存储部件取得 在所述文件显示区域中显示的文件，所述发送部件将通过所述文件取得部件 取得的文件发送至所述便携式终端装置。

（4）如前项2或者3所述的图像处理协作系统，所述第1位置信息是所 述操作画面中的文件显示区域的坐标。

（5）如前项2～4的任一项所述的图像处理协作系统，所述第1操作画面 是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位 置信息是在文件显示区域中显示的文件的页信息。

（6）如前项1～5的任一项所述的图像处理协作系统，所述便携式终端装 置的操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判 断是否进行了用户操作。

（7）如前项1～6的任一项所述的图像处理协作系统，所述便携式终端装 置的显示控制部件通过将对应于操作的数据合成到由所述第1位置信息示出 的文件显示区域的位置上，从而切换文件显示区域内的显示数据。

（8）如前项1～7的任一项所述的图像处理协作系统，所述便携式终端装 置在对于在显示部件中显示的操作画面中的文件显示区域，进行了文件显示 区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操 作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件 内的位置的第3位置信息通知至所述图像处理装置。

（9）如前项8所述的图像处理协作系统，从所述便携式终端装置通知所 述第3位置信息时，所述图像处理装置基于所述第3位置信息生成数据并显 示于第1操作画面的文件显示区域，以使成为与便携式终端装置侧的文件显 示区域内的显示数据相同的显示。

（10）一种协作方法，由具备可相互连接的图像处理装置和便携式终端 装置的图像处理协作系统执行，其特征在于，所述图像处理装置执行：操作 画面判断步骤，在有来自所述便携式终端装置的、在显示部件中显示的图像 处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有 显示文件的全部或者一部分的文件显示区域的第1操作画面，还是不具有文 件显示区域的第2操作画面；以及发送步骤，在所述操作画面判断步骤中判 断为是第1操作画面的情况下，将除所述文件显示区域以外的第1操作画面 的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所 述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断 为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终 端装置，所述便携式终端装置执行：取得请求步骤，对所述图像处理装置， 进行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成步骤， 在根据所述取得请求从所述图像处理装置被发送的显示用数据是第1操作画 面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第1操作 画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装 置的第1操作画面，在从图像处理装置被发送的显示用数据是第2操作画面 的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操 作画面；显示步骤，在显示部件中显示在所述操作画面生成步骤中被生成的 第1或者第2操作画面；将从所述图像处理装置被发送的文件保存至文件保 存部件的步骤；操作判断步骤，判断是否对在所述显示部件中显示的第1或 者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中判断为 对在第1操作画面内但在文件显示区域外的区域进行了用户操作的情况，或 者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操 作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中判 断为对在第1操作画面内的文件显示区域进行了用户操作的情况下，使用在 所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所 述操作对应的数据而显示。

（11）一种便携式终端装置，其特征在于，具备：连接部件，用于与图 像处理装置连接；取得请求部件，对通过所述连接部件连接的图像处理装置， 进行图像处理装置的操作画面的显示用数据的取得请求；接收部件，在所述 图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域 的第1操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发 送的、除所述文件显示区域以外的第1操作画面的显示用数据、所述文件、 用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域 再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收 根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数 据；操作画面生成部件，在通过所述接收部件接收到的显示用数据是第1操 作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第1操 作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理 装置的第1操作画面，在从图像处理装置被发送的显示用数据是第2操作画 面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2 操作画面；显示部件，显示通过所述操作画面生成部件被生成的第1或者第 2操作画面；文件保存部件，保存通过所述接收部件接收到的文件；操作判 断部件，判断是否对在所述显示部件中显示的第1或者第2操作画面进行了 用户操作；通知部件，在通过所述操作判断部件判断为对在第1操作画面内 但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作 画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处 理装置；以及显示控制部件，在通过所述操作判断部件判断为对第1操作画 面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中 保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而 显示。

（12）如前项11所述的便携式终端装置，在所述文件显示区域再现用信 息中，包含表示所述第1操作画面中的文件显示区域的位置的第1位置信息、 和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，所述 操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数 据合成到由所述第1位置信息示出的文件显示区域的位置上，从而生成第1 操作画面。

（13）如前项12所述的便携式终端装置，所述第1位置信息是所述操作 画面中的文件显示区域的坐标。

（14）如前项12或者13所述的便携式终端装置，所述第1操作画面是 在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置 信息是在文件显示区域中显示的文件的页信息。

（15）如前项11～14的任一项所述的便携式终端装置，所述操作判断部 件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用 户操作。

（16）如前项11～15的任一项所述的便携式终端装置，所述显示控制部 件通过将对应于操作的数据合成到由所述第1位置信息示出的文件显示区域 的位置上，切换文件显示区域内的显示数据。

（17）如前项11～16的任一项所述的便携式终端装置，在对于在所述显 示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示 数据的送页操作、扩大操作、缩小操作的至少其中一个的用户操作的情况下， 将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第 3位置信息通知至所述图像处理装置。

（18）一种协作方法，由便携式终端装置执行，其特征在于，具备：与 图像处理装置连接的步骤；取得请求步骤，对所述被连接的图像处理装置， 进行图像处理装置的操作画面的显示用数据的取得请求；接收步骤，在所述 图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域 的第1操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发 送的、除所述文件显示区域以外的第1操作画面的显示用数据、所述文件、 用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域 再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收 根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数 据；操作画面生成步骤，在所述接收步骤中接收到的显示用数据是第1操作 画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第1操作 画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装 置的第1操作画面，在从图像处理装置被发送的显示用数据是第2操作画面 的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操 作画面；显示步骤，在显示部件中显示所述操作画面生成步骤中被生成的第 1或者第2操作画面；保存步骤，将在所述接收步骤中接收到的文件保存至 文件保存部件；操作判断步骤，判断是否对在所述显示部件中显示的第1或 者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中，判断 为对在第1操作画面内但在文件显示区域外的区域进行了用户操作的情况， 或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的 操作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中， 判断为对第1操作画面中的文件显示区域进行了用户操作的情况下，使用在 所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所 述操作对应的数据而显示。

根据前项（1）所述的发明，图像处理装置在有来自便携式终端装置的、 图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是 具有显示文件的全部或者一部分的文件显示区域的第1操作画面，还是不具 有文件显示区域的第2操作画面，在判断为是第1操作画面的情况下，将除 文件显示区域以外的第1操作画面的显示用数据、文件、以及用于便携式终 端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至 便携式终端装置。另一方面，便携式终端装置使用从图像处理装置被发送的 除文件显示区域以外的第1操作画面的显示用数据、文件、文件显示区域再 现用信息，生成在文件显示区域中显示文件数据的图像处理装置的第1操作 画面，并在显示部件中显示。此外，在对被显示的第1操作画面中的文件显 示区域进行了用户操作的情况下，使用在自身的文件保存部件中保存的文件， 将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。

也就是说，在对第1操作画面中的文件显示区域进行了用户操作的情况 下，使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成 并显示在文件显示区域中应显示的数据，因此不需要如以往那样，在图像处 理装置侧根据操作而生成文件显示区域用的显示数据，并从图像处理装置接 收该数据，因此能够使便携式终端装置中的向操作后的画面的切换显示速度 高速化。

而且，不需要压缩/扩展在图像处理装置侧生成的文件显示区域内的显示 数据，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显 示精度。

进而，便携式终端装置使用原文件生成在文件显示区域中应显示的数据， 因此将在便携式终端装置侧对一般的文件可使用的捏合等的操作对在文件显 示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩大，成为 使用便利性好的系统。

根据前项（2）所述的发明，文件显示区域再现用信息包含表示所述操作 画面中的文件显示区域的位置的第1位置信息、和表示在文件显示区域中显 示的数据在文件内的位置的第2位置信息，因此便携式终端装置使用从图像 处理装置被发送的文件和所述文件显示区域再现用信息，能够可靠地再现文 件显示区域以及第1操作画面。

根据前项（3）所述的发明，能够将在文件显示区域中显示的文件可靠地 发送至便携式终端装置。

根据前项（4）所述的发明，通过使用操作画面中的文件显示区域的坐标 作为第1位置信息，便携式终端装置能够容易地确定文件显示区域的位置。

根据前项（5）所述的发明，能够在便携式终端装置中显示在文件显示区 域内将文件以页单位预览显示的预览显示画面，便携式终端装置从图像处理 装置取得在文件显示区域中显示的文件的页信息，从而能够确定在文件显示 区域中显示的数据在文件内的位置。

根据前项（6）所述的发明，便携式终端装置基于操作画面中的进行了用 户操作的位置的坐标，能够容易地判断是否进行了用户操作。

根据前项（7）所述的发明，便携式终端装置通过将对应于操作的数据合 成到由第1位置信息示出的文件显示区域的位置上，从而能够切换文件显示 区域内的显示数据。

根据前项（8）所述的发明，对于在便携式终端装置中显示的操作画面中 的文件显示区域，进行了在文件显示区域内的显示数据的送页操作、扩大操 作、缩小操作的至少其中一个用户操作的情况下，表示与所述操作对应地在 文件显示区域内显示的数据在文件内的位置的第3位置信息从便携式终端装 置被通知至图像处理装置，因此图像处理装置能够掌握在便携式终端装置中 显示的文件显示区域的显示状态。

根据前项（9）所述的发明，图像处理装置能够使在便携式终端装置中显 示的文件显示区域的显示与便携式终端装置侧的显示同步。

根据前项（10）所述的发明，在便携式终端装置中对第1操作画面中的 文件显示区域进行了用户操作的情况下，使用从图像处理装置被发送且便携 式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据， 因此不需要如以往那样，在图像处理装置侧与操作对应地生成并发送文件显 示区域用的显示数据，能够使便携式终端装置中的向操作后的画面的切换显 示速度高速化。而且，不需要在图像处理装置侧生成的文件显示区域的数据 的压缩/扩展处理，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提 高文件的显示精度。进而，便携式终端装置使用原文件生成在文件显示区域 中应显示的数据，因此将在便携式终端装置侧对一般的文件可使用的操作对 在文件显示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩 大。

根据前项（11）所述的发明，能够构成如下的便携式终端装置：在通过 便携式终端装置，对第1操作画面中的文件显示区域进行了用户操作的情况 下，能够使向操作后的画面的切换显示速度高速化，同时能够提高文件的显 示精度，而且将在便携式终端装置侧对一般的文件可使用的操作对在文件显 示区域中显示的文件也能够使用。

根据前项（12）所述的发明，便携式终端装置使用从图像处理装置被发 送的文件和所述文件显示区域再现用信息，能够可靠地再现文件显示区域和 第1操作画面。

根据前项（13）所述的发明，通过使用操作画面中的文件显示区域的坐 标作为文件显示区域的位置信息，便携式终端装置能够容易地确定文件显示 区域的位置。

根据前项（14）所述的发明，便携式终端装置能够显示在文件显示区域 内将文件以页单位预览显示的预览显示画面，同时从图像处理装置取得在文 件显示区域中显示的文件的页信息，从而能够确定在文件显示区域中显示的 文件内的数据。

根据前项（15）所述的发明，便携式终端装置能够基于操作画面中的进 行了用户操作的位置的坐标，容易地判断是否进行了用户操作。

根据前项（16）所述的发明，便携式终端装置通过将对应于操作的数据 合成到文件显示区域的位置上，从而能够切换在文件显示区域内的显示数据。

根据前项（17）所述的发明，在对操作画面中的文件显示区域，进行了 在文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中 一个用户操作的情况下，表示与所述操作对应地在文件显示区域内显示的数 据在文件内的位置的信息从便携式终端装置被通知至图像处理装置。

根据前项（18）所述的发明，在对第1操作画面中的文件显示区域进行 了用户操作的情况下，便携式终端装置使用从图像处理装置被发送且便携式 终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据。

附图说明

图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。

图2是表示图像处理装置以及便携式终端装置的电气结构的方框图。

图3是表示图像处理装置以及便携式终端装置的固件结构的方框图。

图4是表示图像处理装置以及便携式终端装置的各软件的关系的图。

图5是用于说明图像处理协作系统的动作的图。

图6是表示在协作操作时的图像处理装置的动作的流程图。

图7是表示在协作操作时的便携式终端装置的动作的流程图。

图8是表示用户操作了在便携式终端装置中显示的图像处理装置的操作 画面时的处理的流程图。

标号说明

1 图像处理装置

2 便携式终端装置

101 CPU

102 ROM

104 扫描仪部

105 打印部

106 存储部

107 操作面板部

107b 显示部

109 WIFI模块

111 USB接口

201 CPU

202 RAM

203 存储部

204 显示部

205 WIFI模块

207 USB接口

209 协作部

具体实施方式

以下，基于附图说明本发明的实施方式。

图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。

该图像处理协作系统具备图像处理装置1、由智能手机或平板电脑终端 等构成的便携式终端装置2等，这些图像处理装置1和便携式终端装置2经 由无线LAN路由器3、网络4可相互连接。另外，图像处理装置1和便携式 终端装置2也可以通过USB接口等被有线连接。

在该实施方式中，作为图像处理装置1，使用具备复制功能、打印功能、 扫描功能、传真功能等的所述的MFP。以下，将图像处理装置也记为MFP。 此外，将便携式终端装置也记为便携式终端。

图2是表示所述MFP1和便携式终端2的电气结构的方框图。

MFP1具备CPU101、ROM102、RAM103、扫描仪部104、打印部105、 存储部106、操作面板部107、WIFI（Wireless Fidelity，无线保真）模块109、 LAN（Local Area Network，局域网）控制器110、USB接口（USB I/F）111 等。

所述CPU101通过按照在ROM102等中存储的动作程序而动作，统括地 控制MFP1的整体。例如，除了控制为可使用MFP1的各种功能之外，在该 实施方式中，基于来自便携式终端2的请求，将在便携式终端2中显示的MFP1 的操作画面的显示用数据发送至便携式终端2，或者判断操作画面是具有显 示了文件的全部或者一部分的文件显示区域的第1操作画面，还是不具有文 件显示区域的第2操作画面，或者确定第1操作画面的文件显示区域，或进 而确定被显示的文件并执行从存储部106取得等的处理。另外，作为具有文 件显示区域的操作画面，能够例示用于预览文件的预览显示画面。

此外，根据操作画面是所述第1操作画面还是第2操作画面的判断结果， 进行变更发送至便携式终端2的操作画面显示用数据的种类等的控制，但详 细的说明如后述。

所述ROM102是存储CPU101的动作程序等的存储器，RAM103是提供 在CPU101按照动作程序而动作时的作业区域的存储器。

所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或同样在 未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像 数据的部件。

所述打印部105是将通过扫描仪部104读取的原稿的图像数据、或从便 携式终端2等被发送的打印数据印刷至用纸的部件。

所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特 别是，在该实施方式中，存储在操作面板部107中显示的各种操作画面的显 示用数据，与用户的操作对应的操作画面的显示用数据通过CPU101从存储 部106被调用，并在操作面板部107中被显示，或发送至便携式终端2。此 外，保存由通过扫描仪部104读取的图像数据构成的文档文件、或从外部装 置被发送的文档文件等的多个文件。

操作面板部107是操作MFP1或向用户显示消息等的部件，具备具有开 始键、数字键等的键部107a、和由液晶等的触摸面板构成的显示部107b。

所述WIFI模块109是用于与便携式终端2无线连接的接口，所述LAN 控制器110是控制与个人计算机或其它MFP等的外部装置之间的通信的部 件。

所述USB接口111是用于与便携式终端2有线连接的接口。

另一方面，在便携式终端2中使用智能手机、平板电脑终端、电子纸等。 便携式终端2具备CPU201、RAM202、存储部203、显示部204、WIFI模块 205、LAN控制器206、USB接口207、文件处理部208a、208b、协作部209 等。

所述CPU201是统括地控制便携式终端2的整体的部件，按照作为基本 软件的OS（Operating System，操作系统）、或后述的协作应用或者通用应 用而动作。

所述RAM202是成为在CPU201按照动作程序而动作时的作业区域的存 储器。

所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在 该实施方式中，存储基本OS、协作应用、通用应用等的程序。另外，在以下 的说明中也将应用（アプリケーション）简称为应用（アプリ）。

所述显示部204由具备触摸面板的液晶等的设备构成。

所述WIFI模块205是用于将便携式终端2与MFP1无线连接的接口， 所述LAN控制器206是控制与用户终端等的外部装置之间的通信的部件。此 外，所述USB接口207是用于将便携式终端装置2与MFP1有线连接的接口。

所述文件处理部208a、208b对文件实施编辑、转发或邮件分发等的处理。 以下，将文件处理部208a，208b都记为文件处理部208。

所述协作部209是为了顺利地进行MFP1和便携式终端2之间的功能协 作而使得能够使用MFP1的功能的部件。具体而言，为了使用MFP1的复制 功能、打印功能、扫描功能、传真功能等，将用于再现与在MFP1的操作面 板部107中显示的所述的第1或者第2操作画面相同的操作画面的画面显示 用数据等从MFP1接收并作为远程画面在显示部204中显示，或在用户操作 了被显示的远程画面时，检测画面上的操作位置的坐标并发送至MFP1。MFP1 通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示对应 的动作。

然而，所述文件处理部208通过CPU201执行通用应用实现其功能。也 就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，例如 能够使用各种应用：文件编辑用应用、具有通过电子邮件分发文件的功能的 应用、具有在网页上存储文件的功能的应用等。

此外，所述协作部209通过CPU201执行所述的协作应用实现这些功能。 也就是说，协作应用是用于实现MFP1和便携式终端2的平稳的功能协作的 软件。此外，在协作应用和通用应用之间，能够进行文件的转发或下载。

图3是表示MFP1和便携式终端2的固件结构的方框图。

MFP1在应用层具备操作面板（应用）121或开放API（Open Application  Program Interface，开放应用程序接口）122等，在公共API层具备公共API （Common API）125或面板显示图像生成部126等，在硬件依赖层具备面板 画面生成部123、面板控制部124、便携式终端用控制部127等。

进而，在核心层具备面板输入控制部129、面板LCD控制部130、JPEG 编码器驱动器131等，在设备层具备操作面板部107、USB接口部111、JPEG 压缩部133、WIFI模块109等。

面板画面生成部123在从便携式终端2进行协作操作的情况下，生成在 操作面板部107中显示的操作画面的显示用数据。特别是，在协作操作时从 便携式终端2被请求的操作画面是文件的预览图像显示画面那样的具有文件 显示区域的第1操作画面的情况下，生成除文件显示区域以外的操作画面的 显示用数据。是不具有文件显示区域的第2操作画面的情况下，原样生成第 2操作画面的显示用数据。

面板控制部124进行与操作面板部107的通信状态的控制等。此外，面 板显示图像生成部126在协作操作时在便携式终端2中显示的远程画面是具 有文件显示区域的第1操作画面的情况下，确定第1操作画面中的文件显示 区域的位置，生成表示该位置的第1位置信息，或确定在文件显示区域中显 示的文件，或确定在文件显示区域中显示的数据在文件内的位置，生成表示 该位置的第2位置信息。另外，生成的所述第1位置信息以及第2位置信息 作为便携式终端2用于再现文件显示区域的文件显示区域再现用信息，与文 件一起被发送至便携式终端2。

便携式终端用控制部127在与便携式终端2的协作处理时，控制用于与 便携式终端2进行通信的接口等。

面板输入控制部129进行与操作面板部107的操作输入相关的控制，面 板LCD控制部130进行操作面板部107的显示部107b的显示控制。JPEG压 缩部133是将经由JPEG编码器驱动器131从便携式终端用控制部127被发 送来的操作画面显示用数据或文件进行JPEG压缩的部件，被压缩的数据经 由USB接口111或WIFI模块109，被发送至便携式终端2。

另一方面，便携式终端2由具备图像显示应用221、显示图像生成应用 222、JPEG展开应用223、浏览器等的各种应用的应用层、和具备各种管理 器225、226等的平台层、和具备各种程序库227以及核心228的OS层、以 及硬件229构成。

所述JPEG展开应用223是扩展从MFP1被发送来的压缩数据的部件。 显示图像生成应用222在从MFP1被发送来的压缩数据是具有文件显示区域 的第1操作画面的显示用数据的情况下，使用扩展后的文件和所述的第2位 置信息，生成在第1操作画面的文件显示区域中显示的数据。此外，对在文 件显示区域中显示的数据，在便携式终端2侧进行了扩大、缩小、翻页等的 用户操作的情况下，使用从所述MFP1被发送的原文件扩大或缩小文件内的 数据，或变更并生成页，以使与由第2位置信息示出的文件显示区域的大小 一致。

所述图像显示应用221是使用从MFP1被发送且通过JPEG展开应用223 被扩展的操作画面显示用数据，将MFP1的操作画面作为远程画面而生成， 并在显示部204中显示的部件。具体而言，在第2操作画面的显示用数据的 情况下，基于该数据生成第2操作画面并在显示部204中显示。此外，在第 1操作画面的显示用数据的情况下，在从MFP1被发送的第1操作画面的显 示用数据中的由所述第2位置信息示出的文件显示区域的位置上合成通过显 示图像生成应用222生成的文件显示区域的数据，从而生成第1操作画面， 并在显示部204中显示。

此外，在便携式终端2侧，对在文件显示区域中显示的数据进行了扩大、 缩小、翻页等的用户操作的情况也同样，图像显示应用221将通过显示图像 生成应用222生成的被扩大、缩小或者翻页后的数据合成到文件显示区域的 位置上从而生成第1操作画面，并在显示部204中显示。

另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG 展开应用223作为通过协作应用实现的功能的一部分而构成。

接着，说明将MFP1和便携式终端2协作操作的情况的处理。

用户要将便携式终端2与MFP1经由网络或有线连接，将便携式终端2 和MFP1协作操作。便携式终端2和MFP1的协作操作通过用户启动在便携 式终端2中安装的协作应用而开始。

图4是表示MFP1以及便携式终端2的各软件的关系的图，分别在左侧 表示MFP1侧的软件，在右侧表示便携式终端2的软件。

便携式终端2的协作应用位于便携式终端2的OS和作为通用的软件的 应用软件的中间，能够取得用户的操作信息、与便携式终端2的发送接收数 据、便携式终端2侧的显示画面数据，能够根据需要将这些数据发送至MFP1。 也就是说，便携式终端2的协作软件执行应用的调用等的便携式终端2侧的 用户操作接受处理、MFP1的操作画面显示用数据的接收/显示处理（便携式 终端侧操作画面处理）、协作操作关联处理等。作为协作操作关联处理，可 举出表示操作的内容的操作信息与MFP1的通信等。

另一方面，在MFP1侧的OS或MFP1用的应用软件都是本公司设计/本 公司定制因而可得到全部必要的信息的情况下，MFP1的协作应用可以不位 于OS-应用软件间，也可以与OS或应用软件独立，且通过与OS或应用软件 通信，从而获得必要的信息。MFP1的协作应用执行应用的调用等的MFP1 侧的用户操作接受处理、对于便携式终端2的MFP用操作画面数据（画面显 示用数据）的发送处理（MFP侧操作画面处理）、协作操作关联处理等。作 为协作操作关联处理，可举出来自便携式终端2的操作信息等的接收/执行处 理等。

若用户选择在便携式终端2的显示部204中显示的操作画面中的协作操 作图标，并指示MFP协作，则便携式终端2的协作软件进行对被注册的MFP1 的通信，调用MFP1的协作软件，请求操作画面的取得。由此，开始协作操 作模式，在MFP1的显示部105a和便携式终端2的显示部204中，显示MFP 侧的操作画面。另外，也可以在便携式终端2的显示部204中，并行地显示 MFP用操作画面和便携式终端用操作画面的双方。

若用户操作作为在便携式终端2中显示的MFP1的操作画面的远程画面， 则表示操作的内容的操作信息被发送至MFP1。若该信息为作业等的执行指 示则MFP进行对应的动作。另一方面，在需要根据操作使下一个操作画面显 示的情况下，将下一个操作画面的显示用数据发送至便携式终端2。

在此，若用户从在MFP1的操作面板107的显示部107b中显示的操作画 面，指定MFP1内的文件，指示具有文件显示区域的第1操作画面，例如文 件的预览画面的显示，则该预览画面在MFP1的显示部107b中被显示。

如图5所示，文件的预览画面对在MFP1的显示部107b中显示的操作画 面D1设定文件显示区域D2，在该文件显示区域D2中显示用户指定的文件 内的数据F1。在该实施方式中假设文件以1页为单位显示，但也可以仅显示 1页内的一部分，在页数少的情况下也可以显示全页。

用户要在大的便携式终端2的显示画面阅览该预览画面的情况下，用户 从便携式终端2使协作模式开始，对MFP1指示在操作面板107的显示部107b 中显示的画面的取得请求。

接受了请求的MFP1判断该操作画面是具有文件显示区域的第1操作画 面，还是不具有文件显示区域的第2操作画面。

在是第2操作画面的情况下，压缩该操作画面的显示用数据并发送至便 携式终端2。另一方面，在是第1操作画面的情况下，如图5的圆圈数字1 所示，压缩并转发操作画面之中的、除文件显示区域D2以外的画面的显示 用数据。此时，确定在文件显示区域D2中显示的文件，将该文件的整体压 缩并转发至便携式终端2，同时便携式终端2使用被转发的文件再现文件显 示区域D2，将用于再现第1操作画面的文件显示区域再现用信息也发送至便 携式终端2。

作为文件显示区域再现用信息，有表示操作画面D1中的文件显示区域 D2的位置的第1位置信息、和表示在文件显示区域D2中显示的数据F1在 文件内的位置的第2位置信息。在该实施方式中，由于在文件显示区域D2 中按每页显示文件，因此表示数据F1在文件内的位置的第2位置信息成为被 显示的页信息。

便携式终端2将接收到的文件等保存至存储部203，同时使用接收到的 操作画面显示用数据，将MFP1的操作画面作为远程画面而生成。在不具有 文件显示区域的第2操作画面的情况下，基于接收到的操作画面显示用数据 生成第2操作画面。

另一方面，在具有文件显示区域的第1操作画面的情况下，如图5的箭 头A所示，将从MFP1接收到的第1操作画面的显示用数据中的文件显示区 域D2的位置，使用同样从MFP1接收到的第1位置信息而确定（图5的圆 圈数字2）。

然后，使用同样从MFP1接收到的文件和所述第2位置信息，生成在文 件显示区域D2中显示的数据。然后，如箭头B所示，将被生成的数据合成 到所述确定的文件显示区域D2的位置上，在显示部204中显示（图5的圆 圈数字3）。

由此，与在MFP1的操作面板107中显示的文件的预览显示画面相同的 远程画面在便携式终端2的显示部204中显示。

在该状态下，若用户通过在便携式终端2一般可对文件进行操作的例如 捏合等的操作，对在文件显示区域D2中显示的数据进行扩大、缩小、翻页 等的操作，则在操作后的文件显示区域D2中显示的数据通过便携式终端23 被生成。

也就是说，由于基于第1位置信息或者第2位置信息了解文件显示区域 D2的尺寸，因此便携式终端2使用在存储部203中存储的文件，将被扩大或 者缩小的数据、或者翻页后的数据与所述文件显示区域D2的尺寸配合而生 成。然后，将生成的数据与文件显示区域D2合成，作为第1操作画面在显 示部204中显示。

这样，在该实施方式中，在对第1操作画面D1中的文件显示区域D2 进行了用户操作的情况下，由于使用从MFP1被发送且便携式终端2自身保 持的原文件，根据操作生成并显示在文件显示区域D2中应显示的数据，因 此，变得不需要如以往那样，在MFP1侧根据操作生成文件显示区域D2用 的显示数据，或将该数据从MFP1接收，能够使便携式终端2中的向操作后 的画面的切换显示速度高速化。

而且，由于针对在MFP1侧生成的文件显示区域D2内的显示数据，不 需要压缩并发送，或在便携式终端2侧进行扩展，因此能够防止由于压缩/扩 展所导致的数据的恶化，能够提高文件的显示精度。另外，在该实施方式中， 也可以以压缩的状态进行从MFP1至便携式终端2的文件的发送，但由于文 件本身的压缩/扩展所导致的恶化程度与文件显示区域的显示数据的压缩/扩 展相比格外小，因此没有问题。

进而，由于便携式终端2使用原文件生成在文件显示区域D2应显示的 数据，因而能够将在便携式终端2侧对一般的文件可使用的操作也对在文件 显示区域D2中显示的数据使用，能够实现可使用的操作种类的扩大，成为 使用便利性好的系统。

另外，在以上的例中，表示了首先在MFP1的操作面板2中使预览显示 画面显示，并从便携式终端2取得该操作画面的情况，但也可以不在MFP1 的操作面板2中使预览显示画面显示，而是通过在协作模式后从便携式终端 2指定应显示的文件并请求预览画面的取得，从而使预览画面在便携式终端2 中显示。

此外，也可以从在MFP1的存储部106中存储的多个文档文件之中指定 被预览的文件。此外，也可以将通过扫描仪部104读取的原稿的图像数据在 读取的同时进行显示。

图6是表示协作操作时中的MFP2的动作的流程图。通过MFP1的 CPU101按照在ROM102等中存储的动作程序而动作，该动作被执行。

在步骤S01中，判断从便携式终端2是否有操作画面的取得请求，若没 有则原样结束处理。若有取得请求（步骤S01中“是”），则在步骤S02中， 判断被请求的是否为具有文件显示区域的第1操作画面。若是第1操作画面 （步骤S02中“是”），则前进至步骤S03，若不是第1操作画面（步骤S02 中“否”），则前进至步骤S08。

在步骤S03中，根据被请求的操作画面的画面信息确定文件显示区域的 位置，同时取得表示被确定的位置的第1位置信息。该位置信息由表示操作 画面内的文件显示区域的位置的坐标构成，但希望能够容易且可靠地确定文 件显示区域的位置。

接下来，在步骤S04中，根据画面信息，确定在文件显示区域中显示的 原文件和页，同时取得被确定的文件和页信息（第2位置信息）。

接着，在步骤S05中，判断取得的文件是动态图像或是静止图像，若是 静止图像（步骤S05中“静止图像”），则在步骤S06中进行了预览显示后， 前进至步骤S08。另外，在已经进行预览显示的情况下，在步骤S06中原样 继续预览显示。在步骤S05中动态图像的情况下（步骤S05中“动态图像”）， 在步骤S07中不进行原文件的再现，前进至步骤S08。

在步骤S08中生成操作画面显示用数据，接下来在步骤S09中发送至便 携式终端2。具体而言，在操作画面是不具有文件显示区域的第2操作画面 的情况下，发送第2操作画面的显示用数据。在操作画面是具有文件显示区 域的第1操作画面的情况下，发送除文件显示区域以外的第1操作画面的显 示用数据、文件本身、表示文件显示区域的位置的第1位置信息、以及表示 在文件显示区域中显示的数据在文件内的位置的第2位置信息。

接下来，在步骤S10中，在便携式终端2侧进行了扩大、缩小或者翻页 等的操作的情况下，判断是否接收到从便携式终端2被发送的、表示在文件 显示区域内显示的数据在文件内的位置的第3位置信息。若没有接收（步骤 S10中“否”），则前进至步骤S12。若接收（步骤S10中“是”），则在步 骤S11中，使在操作面板部107的显示部107b中显示的预览画面的文件显示 区域内的数据，与在便携式终端2中显示的预览画面的文件显示区域内的数 据的尺寸或页等同步后，结束处理。

在步骤S12中，判断是否从便携式终端2接收到伴随对MFP1的远程画 面的操作的操作信息，在接收到的情况下（步骤S12中“是”），在步骤S13 中，进行与操作对应的处理。此时，在与操作对应的处理是向下一个操作画 面的迁移的情况下，将迁移后的操作画面显示用数据发送至便携式终端2， 便携式终端2显示迁移后的远程画面。在没有接收操作信息的情况下（步骤 S12中“否”），结束处理。

图7是表示协作操作时的便携式终端2的动作的流程图。该动作通过便 携式终端2的CPU201按照在存储部203等中存储的协作应用等而动作，从 而被执行。

在步骤S21中，对MFP1进行了操作画面的取得请求后，在步骤S22中， 从MFP1接收数据。

在步骤S23中，判断操作画面是否是具有文件显示区域的第1操作画面， 若是第1操作画面（步骤S23中“是”），则在步骤S24中，根据从MFP1 被发送的第1位置信息确定文件显示区域后，在步骤S25中，判断从MFP1 被发送的文件是静止图像还是动态图像。

若是静止图像（步骤S25中“静止图像”），则在步骤S26中，基于从 MFP1被发送的文件和第2位置信息，生成文件显示区域的显示用数据后， 在步骤S27中，将生成的文件显示区域的显示用数据合成到第1操作画面的 显示用数据的文件显示区域，并显示第1操作画面。

另一方面，若是动态图像（步骤S25中“动态图像”），则在步骤S28 中，再现从MFP1被发送的文件，在步骤S29中，将再现的数据与第1操作 画面的显示用数据合成，显示第1操作画面。

在步骤S23中，在操作画面是不具有文件显示区域的第2操作画面的情 况下（步骤S23中“否”），在步骤S31中，基于从MFP1被发送的第2操 作画面的显示用数据，再现并显示第2操作画面。

图8是表示对于在便携式终端2的显示部204中显示的MFP1的远程画 面进行了用户操作时的便携式终端2的动作的流程图。该动作通过便携式终 端2的CPU201按照在存储部203等中存储的协作应用等而动作，从而被执 行。

在步骤S41中，判断是否对于在显示部204中显示的MFP1的远程画面， 进行了扩大、缩小、翻页等的用户操作。若没有进行（步骤S41中“否”）， 则结束处理。若进行（步骤S41中“是”），则在步骤S42中，判断是否是 对文件显示区域内的显示数据的操作。能够通过判断是否是在远程画面或文 件显示区域的坐标内的操作而容易地判断是否进行了用户操作。

若不是对文件显示区域内的显示数据的操作（步骤S42中“否”），则 在步骤S47中，将表示进行了操作的操作信息发送至MFP。若是对文件显示 区域内的显示数据的操作（步骤S42中“是”），则在步骤S43中，判断文 件是静止图像还是动态图像。在是动态图像的情况下（步骤S43中“动态图 像”），结束处理。在是静止图像的情况下（步骤S43中“静止图像”）， 在步骤S44中，使用从MFP1接收且在存储部203中保存的文件，根据操作 将文件显示区域内的数据扩大、缩小、或翻页，从而生成对于文件显示区域 的显示用数据后，在步骤S45中，将生成的数据合成到第1操作用画面的文 件显示区域，并从操作前的数据切换并显示。

接下来，在步骤S46中，将表示与操作对应地实施了扩大、缩小、或者 翻页后在文件显示区域内显示的数据在文件内的位置的第3位置信息，发送 至MFP1，并结束处理。