操作输入系统、电子设备、移动终端、及操作输入方法

摘要

使电子设备和移动终端进行合作，消除电子设备的画面转移，在电子设备的画面上确认来自移动终端的操作内容并且进行各种操作输入。图像形成装置在使操作显示单元显示特定画面的状态下，在检测到移动终端的接近的情况下，将与特定画面预先相关联的操作输入信息发送到移动终端。移动终端基于从图像形成装置发送的操作输入信息显示操作输入画面，将由用户从操作输入画面指示的操作内容发送到图像形成装置。图像形成装置根据从移动终端发送的操作内容，更新特定画面。

说明书

技术领域

本发明涉及操作输入系统、电子设备、移动终端、以及操作输入方法， 更详细地说，涉及使图像形成装置等的电子设备和移动终端进行合作、可进 行使用了移动终端的操作输入的操作输入系统、电子设备、移动终端、以及 操作输入方法。

背景技术

图像形成装置之一的MFP(Multi-Function Peripheral：数字复合机)具备 打印机功能、复印机功能、传真机功能、扫描仪功能等多个功能。这样的图 像形成装置，通常有具备了触摸板功能的液晶显示器，接受来自用户的操作 输入。此外，在这样的图像形成装置中，具备在图像数据的印刷前，将印刷 图像(打印预览图像)显示在液晶显示器的画面上的预览显示功能。用户通 过利用该预览显示功能，能够在将图像数据的印刷物实际地印刷输出前在画 面上确认，此外，在画面上的印刷图像与期望的印刷图像不同的情况下，能 够在画面上进行编辑等。

图13A至图13E是用于说明以往的图像形成装置中的预览显示功能的图。 在图中，100表示预览画面，101表示编辑按钮，102表示各种编辑菜单画面， 103表示OK按钮，104表示页脚(footer)。用户通过对图像形成装置进行规定 的操作，图像形成装置使预览画面100显示在该触摸板画面上。然后，在该预 览画面100中显示图像数据的打印预览图像。

首先，用户观察预览画面100，选择作为编辑对象的页面(图13A、S101 )。这里，通过用户的触摸操作，选择‘页面1’。接着，用户按下(触摸)预 览画面100上所显示的编辑按钮101时(图13B、S102)，图像形成装置切换触 摸板画面，在触摸板画面上显示各种编辑菜单画面102(图13C、S103)。在 这个各种编辑菜单画面102中，例如，由用户可选择地显示双面设定、页面聚 合、打孔设定、页眉(header)设定、跳过空白、图书印刷(book printing) 、页脚设定、背景图案设定、装订(staple)等的编辑项目。

然后，用户在上述S103中从各种编辑菜单画面102之中选择期望的编辑项 目，再次通过按下OK按钮103，该编辑项目的编辑内容被反映在打印预览图 像上(图13D、S104)。这里，通过用户的触摸操作，选择‘页脚设定’，能 够在页脚中插入日期。

然后，图像形成装置切换触摸板画面，在触摸板画面上再次显示预览画 面100，但在预览画面100上反映上述S104中的编辑内容。即，本例的情况下 ，预览画面100的‘页面1’的页脚104中被插入日期(图13E、S105)。再有， 在对其他的‘页面2’、‘页面3’、...也进行编辑的情况下，反复进行自S101 起的处理。

另一方面，使用大型的液晶显示器和触摸板，已实际使用可通过用户的 手指或笔进行手写输入的电子黑板。

图14A至图14D是用于说明以往的电子黑板中的手写输入功能的图。在图 中，110表示手写输入画面，111表示各种设定变更按钮，112表示各种设定变 更画面，113表示手写输入图像。用户通过在电子黑板上进行规定的操作，电 子黑板使各种设定变更按钮111显示在该手写输入画面110上。再有，该手写 输入画面110可进行触摸操作，识别由用户的手指或笔输入的坐标或轨迹，并 能够作为手写输入图像显示。

首先，用户按下(触摸)手写输入画面110上所显示的各种设定变更按钮 111时(图14A、S111)，电子黑板在手写输入画面110上显示各种设定变更画 面112(图14B、S112)。在这个各种设定变更画面112中，例如，由用户可选 择地显示‘笔的种类’、‘笔的粗细’、‘笔的颜色’等。在‘笔的种类’中， 能够将笔尖的形状设定为圆形、方形、三角形等。在‘笔的粗细’中，能够 将笔的粗细设定为粗、常规、细等。在‘笔的颜色’中，能够将笔的颜色设 定为黑、红、绿等。

然后，用户在上述S112中从各种设定变更画面112中选择了期望的设定后 ，按下各种设定变更按钮111，关闭各种设定变更画面112时(图14C、S113) ，电子黑板使S112中用户选择出的设定反映在用户的手指或笔产生的手写输 入图像113上(图14D、S114)。例如，在笔的设定被设定为“圆形、粗、红” 的情况下，用户通过指或笔输入到手写输入画面110上的手写输入图像113显 示为“圆形、粗、红”。

可是，在上述图13A至图13E和图14A至图14D中说明的操作输入中，发 生多次的画面转移，有用户的方便性差的问题。此外，还有每次功能增加， 层次加深，操作次数增加直至达到用户需要的功能为止，用户的负担较大的 问题。

相对于此，提出了使图像形成装置或电子黑板等电子设备与智能手机等 的移动终端合作，提高用户的方便性的各种技术。例如，在特开2012-89161 号公报中，记载了由图像形成装置、服务器、以及移动终端组成的系统。根 据该系统，将移动终端贴近服务器时，服务器进行用户认证，生成与图像形 成装置的执行状态对应的菜单信息并传送到移动终端。在移动终端中，从服 务器获取的菜单信息之中选择期望的服务或设定值，再度贴近服务器。在服 务器中从移动终端获取选择响应信息，控制图像形成装置以执行用该信息指 定的服务。

可是，在上述特开2012-89161号公报中记载的发明中，根据来自移动终 端的操作输入，能够控制图像形成装置，但需要通过服务器，所以用户无法 知道从移动终端输入的内容被怎样反映给图像形成装置。

发明内容

本发明鉴于上述实际情况而完成，目的在于提供使图像形成装置等的电 子设备和移动终端进行合作，消除电子设备的画面转移，用户在电子设备的 画面上确认来自移动终端的操作内容的同时，能够进行各种操作输入的操作 输入系统、电子设备、移动终端、以及操作输入方法。

本发明的目的在于提供操作输入系统，其包括具有显示单元的电子设备 和与该电子设备之间可进行近距离无线通信的移动终端，其特征在于，所述 电子设备包括在使所述显示单元显示了特定画面的状态下检测出所述移动终 端接近的情况下，将与所述特定画面预先相关联的操作输入信息发送到所述 移动终端的发送单元，所述移动终端包括：基于从所述电子设备发送的所述 操作输入信息，显示操作输入画面的显示单元；以及将由用户从所述操作输 入画面指示的操作内容发送到所述电子设备的发送单元，所述电子设备包括 根据从所述移动终端发送的操作内容，更新所述特定画面的更新单元。

本发明的另一目的在于提供操作输入系统，其特征在于，所述电子设备 在与所述移动终端之间建立了近距离无线通信的连接时，建立相比与所述移 动终端之间的所述近距离无线通信可进行长距离的无线通信的其他的无线通 信的连接。

本发明的另一目的在于提供操作输入系统，其特征在于，所述电子设备 的所述发送单元将与所述特定画面预先相关联的操作输入项目的ID信息作为 所述操作输入信息发送到所述移动终端，所述移动终端包括存储与所述操作 输入项目的ID信息相关联的操作输入画面信息的存储单元，所述移动终端的 所述显示单元根据所述存储单元中存储的操作输入画面信息，显示操作输入 画面。

本发明的另一目的在于提供操作输入系统，其特征在于，所述电子设备 的所述发送单元将包含与所述特定画面预先相关联的操作输入项目的ID信息 的操作输入画面信息，作为所述操作输入信息发送到所述移动终端，所述移 动终端的所述显示单元根据所述操作输入画面信息，显示操作输入画面。

本发明的另一目的在于提供操作输入系统，其特征在于，所述操作输入 项目是由用户预先设定的输入项目。

本发明的另一目的在于提供操作输入系统，其特征在于，在所述电子设 备为图像形成装置的情况下，所述特定画面是预览画面，所述操作输入项目 是所述预览画面上所显示的有关打印预览图像的编辑的项目。

本发明的另一目的在于提供操作输入系统，其特征在于，在所述电子设 备为电子黑板的情况下，所述特定画面是手写输入画面，所述操作输入项目 是所述手写输入画面上所显示的有关手写输入图像的编辑的项目。

本发明的另一目的在于提供电子设备，其具有显示单元，与移动终端之 间可进行近距离无线通信，其特征在于，该电子设备包括：发送单元，在使 所述显示单元显示了特定画面的状态下，在检测到所述移动终端接近的情况 下，将与所述特定画面预先相关联的操作输入信息发送到所述移动终端；接 收单元，从所述移动终端接收由用户对于所述操作输入信息所指示的操作内 容；以及更新单元，根据该接收单元接收到的操作内容，更新所述特定画面 。

本发明的另一目的在于提供移动终端，其可与具有显示单元的电子设备 之间进行近距离无线通信，其特征在于，该移动终端包括：接收单元，在接 近使所述显示单元显示了特定画面的状态的所述电子设备时，从该电子设备 接收与所述特定画面预先相关联的操作输入项目的ID信息；存储单元，存储 与所述操作输入项目的ID信息相关联的操作输入画面信息；显示单元，根据 该存储单元所存储的操作输入画面信息，显示操作输入画面；以及发送单元 ，将用户从所述操作输入画面所指示的操作内容发送到所述电子设备，根据 该发送单元发送的操作内容，更新所述电子设备的所述特定画面。

本发明的另一目的在于提供操作输入方法，用于包括了具有显示单元的 电子设备和与该电子设备之间可进行近距离无线通信的移动终端的操作输入 系统，其特征在于，该方法包括：包括所述电子设备在使所述显示单元显示 了特定画面的状态下，在检测到所述移动终端接近的情况下，将与所述特定 画面预先相关联的操作输入信息发送到所述移动终端的步骤，包括所述移动 终端基于从所述电子设备发送的所述操作输入信息，显示操作输入画面的步 骤；以及将用户从所述操作输入画面所指示的操作内容发送到所述电子设备 的步骤，并包括所述电子设备根据从所述移动终端发送的操作内容，更新所 述特定画面的步骤。

附图说明

图1是表示本发明的操作输入系统的结构例子的图。

图2是表示本发明的第1实施方式的操作输入系统的结构例子的框图。

图3A及图3B是用于说明图2所示的图像形成装置的处理例子的流程图。

图4是用于说明图2所示的移动终端的处理例子的流程图。

图5A至图5C是表示一例画面转移的图。

图6是表示一例可否组合表的图。

图7是用于说明本发明的第2实施方式的图像形成装置的处理例子的流程 图。

图8是表示一例图像形成装置上所显示的WiFi配对设定画面的图。

图9是表示本发明的第3实施方式的操作输入系统的结构例子的框图。

图10A至图10C是用于说明本发明的第3实施方式的操作输入系统的处理 例子的图。

图11A至图11C是用于说明本发明的第3实施方式的操作输入系统的其他 处理例子的图。

图12A至图12D是用于说明本发明的第3实施方式的操作输入系统的再一 其他处理例子的图。

图13A至图13E是用于说明以往的图像形成装置中的预览显示功能的图。

图14A至图14D是用于说明以往的电子黑板中的手写输入功能的图。

具体实施方式

以下，参照附图，说明有关本发明的操作输入系统、电子设备、移动终 端、以及操作输入方法的优选实施方式。

图1是表示本发明的操作输入系统的结构例子的图，在图中，1表示电子 设备，2表示移动终端。电子设备1具有液晶显示器等的显示单元，例如，能 够例示在上述图13A至图13E、图14A至图14D中说明的图像形成装置、电子 黑板等。此外，作为移动终端2，例如，以智能手机或移动电话为主，也可以 是平板终端等。电子设备1和移动终端2例如通过NFC(Near Field  Communication；近距离通信)等的近距离无线通信(也称为短距离无线通信 )，彼此可连接。

(第1实施方式)

图2是表示本发明的第1实施方式的操作输入系统的结构例子的框图。本 例的系统由电子设备1的一个例子即图像形成装置1a、与图像形成装置1a之间 可进行近距离无线通信的移动终端2构成。图像形成装置1a能够作为具备打印 机功能、复印机功能、传真机功能、扫描仪功能等多个功能的MFP(数字复 合机)来例示，但也可以是单一功能的打印机或复印机等。

图像形成装置1a包括：光学地读取原稿图像并输入图像数据的原稿读取 单元11a；基于图像数据形成图像的图像形成单元12a；对图像数据施加各种 图像处理的图像处理单元13a；具有触摸板的操作显示单元14a；由控制图像 形成装置1a的动作的CPU和存储器等构成的控制单元15a；硬盘或半导体存储 器等的存储单元16a；包含数字键和各种操作键的操作输入单元17a；与移动 终端2之间进行WiFi等的无线LAN(Local Area Network；局域网)通信的无线 LAN-I/F(接口)18a；与移动终端2之间进行NFC等的近距离无线通信的近 距离无线通信单元19a。

移动终端2包括：与图像形成装置1a之间进行NFC等的近距离无线通信的 近距离无线通信单元21；半导体存储器等的存储单元22；与图像形成装置1a 之间进行WiFi等的无线LAN通信的无线LAN-I/F23；由控制移动终端2的动 作的CPU和存储器等构成的控制单元24；具有触摸板的操作显示单元25；以 及由CCD(Charge Coupled Device；电荷耦合装置)等的摄像元件构成的拍摄单 元26。

在本实施方式中，使图像形成装置和移动终端合作，消除图像形成装置 的画面转移，以使用户在图像形成装置的画面上确认来自移动终端的操作内 容的同时，能够进行各种操作输入。作为用于此的结构，图像形成装置1a包 括在使操作显示单元14a(相当于本发明的电子设备的显示单元)显示特定画 面的状态下，在检测到移动终端2接近的情况下，将与特定画面预先相关联的 操作输入信息发送到移动终端2的发送单元。该发送单元相当于本发明的电子 设备的发送单元，由图像形成装置1a的控制单元15a及近距离无线通信单元 19a实现。更具体地说，在用户将移动终端2贴近图像形成装置1a的操作显示 单元14a时，图像形成装置1a的近距离无线通信单元19a检测移动终端2接近， 在图像形成装置1a的近距离无线通信单元19a和移动终端2的近距离无线通信 单元21之间例如建立基于NFC的通信协议，彼此可通信地连接。

此外，作为图像形成装置1a的操作显示单元14a上显示的特定画面，例如 ，能够列举上述图13A至图13E所示的预览画面。此外，从图像形成装置1a向 移动终端2发送的操作输入信息是，与预览画面预先相关联的操作输入项目的 ID信息、或包含与预览画面预先相关联的操作输入项目的ID信息的操作输入 画面信息。作为该操作输入项目，如图13A至图13E所示，可以直接设定双面 设定、页面聚合、打孔设定、页眉设定、跳过空白、图书印刷、页脚设定、 背景图案设定、装订等的编辑项目，或也可以在这些编辑项目之中仅选择性 地设定用户经常使用的编辑项目。具体地说，例如，仅将双面设定、页眉设 定、页脚设定预先与预览画面相关联。此外，操作输入项目的ID信息是，用 于识别这些操作输入项目，并通知与操作输入项目对应的操作内容的信息( 操作码信息等)。图像形成装置1a受到控制，以执行通过该ID信息通知的操作 内容。此外，本例中的操作输入画面信息是，用于使上述操作输入项目显示 在画面上的画面数据。

移动终端2包括：当接近了在操作显示单元14a上显示了预览画面的状态 的图像形成装置1a时，从图像形成装置1a接收与预览画面预先相关联的操作 输入信息的接收单元；基于接收到的操作输入信息，显示操作输入画面的显 示单元；以及将用户从操作输入画面指示的操作内容(即、ID信息)发送到 图像形成装置1a的发送单元。再有，该显示单元相当于本发明的移动终端的 显示单元，由移动终端2的操作显示单元25实现。此外，接收单元及发送单元 相当于本发明的移动终端的接收单元及发送单元，由移动终端2的控制单元24 及近距离无线通信单元21实现。这里，作为使移动终端2的操作显示单元25 显示操作输入画面的方法，根据从图像形成装置1a发送的操作输入信息的内 容来考虑两种方法。

首先，作为第1方法，说明操作输入信息是操作输入项目的ID信息的情况 。在该情况下，移动终端2包括存储与操作输入项目的ID信息相关联的操作输 入画面信息的存储单元，操作显示单元25根据由该存储单元所存储的操作输 入画面信息，显示操作输入画面。再有，该存储单元相当于本发明的移动终 端的存储单元，由移动终端2的存储单元22实现。即，根据第1方法，图像形 成装置1a将与预览画面预先相关联的操作输入项目的ID信息发送到移动终端 2。在移动终端2的存储单元22中，与操作输入项目的ID信息相关联地存储操 作输入画面信息，操作显示单元25根据存储单元22中存储的操作输入画面信 息，显示后述图5B所示的操作输入画面。

此外，作为第2方法，说明操作输入信息是包含操作输入项目的ID信息的 操作输入画面信息的情况。在该情况下，移动终端2的操作显示单元25根据从 图像形成装置1a接收到的操作输入画面信息，显示操作输入画面。即，根据 第2方法，在图像形成装置1a的存储单元16a中，存储包含与预览画面预先相 关联的操作输入项目的ID信息的操作输入画面信息，向移动终端2发送该操作 输入画面信息。然后，移动终端2的操作显示单元25根据来自图像形成装置1a 的操作输入画面信息，显示操作输入画面。再有，在图像形成装置1a侧不清 楚移动终端2的画面分辨率的情况下，图像形成装置1a在与移动终端2通过近 距离无线通信连接时，获取移动终端2的画面分辨率，根据该画面分辨率适当 变换操作输入画面信息即可。

而且，图像形成装置1a包括：从移动终端2接收由用户指示的操作内容( ID信息)的接收单元；以及根据接收到的操作内容，将预览画面更新的更新 单元。再有，该接收单元相当于本发明的电子设备的接收单元，由图像形成 装置1a的控制单元15a及近距离无线通信单元19a实现。此外，更新单元相当 于本发明的电子设备的更新单元，作为图像形成装置1a的控制单元15a的一功 能来实现。以下，基于图3A及图3B～图6说明上述操作输入系统的操作输入 方法的具体例子。

图3A及图3B是用于说明图2所示的图像形成装置1a的处理例子的流程图 。图4是用于说明图2所示的移动终端2的处理例子的流程图。在图3A中，首 先，图像形成装置1a根据用户进行的规定的操作输入，将图5A所示的预览画 面141a显示在操作显示单元14a上(步骤S1)。在图5A的例子中，作为打印预 览图像，显示‘页面1’、‘页面2’、‘页面3’、...。然后，图像形成装置1a在 显示了预览画面141a的状态下，在移动终端2接近时，判定与移动终端2之间 是否建立了近距离无线通信的连接(步骤S2)。

接着，图像形成装置1a在上述步骤S2中，在判定出与移动终端2之间建立 了近距离无线通信的连接的情况下(“是”的情况)，判定从移动终端2是否有 操作输入信息的发送请求(步骤S3)。另一方面，在上述步骤S2中，在判定为 与移动终端2之间未建立近距离无线通信的连接的情况下(“否”的情况)，在 步骤S2中转移到等待状态。然后，在上述步骤S3中，图像形成装置1a在判定 为从移动终端2有操作输入信息的发送请求的情况下(“是”的情况)，将与预 览画面141a预先相关联的操作输入信息发送到移动终端2(步骤S4)，而且将 图6所示的操作输入信息的可否组合表发送到移动终端2(步骤S5)。在本例中 ，发送由用户预先设定的编辑项目、这里为打印预览图像的编辑有关的双面 设定、页眉设定、页脚设定的ID信息，作为操作输入信息。另一方面，在上 述步骤S3中，在判定为从移动终端2没有操作输入信息的发送请求的情况下( “否”的情况)，在步骤S3中转移到等待状态。

在移动终端2中，存储从图像形成装置1a发送的、与双面设定、页眉设定 、页脚设定的ID信息相关联的操作输入画面信息，根据该操作输入画面信息 ，在操作显示单元25上显示操作输入画面。图5B表示一例该操作输入画面即 各种编辑菜单画面。即，在图5B的各种编辑菜单画面251中，双面设定、页眉 设定、页脚设定构成的编辑项目可由用户选择性地显示。

这里，说明有关图6的可否组合表。该可否组合表是用于判定在图5B的 各种编辑菜单画面251上所显示的多个编辑项目之中能否组合的表。图6的例 子是，以在上述图13A至图13E所示的各种编辑菜单画面102中所包含的编辑 项目为对象的情况下的表结构，对于页面聚合、图书印刷、跳过空白、背景 图案设定、...的各编辑项目，可组合的项目为‘1’，不可组合的项目为‘0’ 。例如，在页面聚合的情况下，图书印刷不可组合，跳过空白及背景图案设 定可组合。即，在图5B的各种编辑菜单画面251中，在假想为显示着页面聚合 、图书印刷、跳过空白、背景图案设定的情况下，用户选择页面聚合时，图 书印刷为不可选择组合、跳过空白及背景图案设定为可选择组合。

接着，在图3B的处理流程中，图像形成装置1a判定是否检测到移动终端 2的脱离(步骤S6)，在判定为检测到移动终端2的脱离、即移动终端2位于近 距离无线通信的范围外的情况下(“是”的情况)，由于近距离无线通信被一 度中断，所以原样显示预览画面141a，移动终端2再次被贴近预览画面141a， 判定与移动终端2之间是否建立了近距离无线通信的连接(步骤S7)。另一方 面，在步骤S6中，在判定为未检测出移动终端2的脱离、即移动终端2位于近 距离无线通信的范围内的情况下(“否”的情况)，原样显示预览画面141a， 转移到步骤S8。然后，图像形成装置1a在上述步骤S7中，在判定为与移动终 端2之间建立了近距离无线通信的连接的情况下(“是”的情况)，判定从移动 终端2是否有操作内容的反映请求(步骤S8)。另一方面，在上述步骤S7中， 在判定为与移动终端2之间未建立近距离无线通信的连接的情况下(“否”的 情况)，在步骤S7中转移到等待状态。

然后，图像形成装置1a在上述步骤S8中，在判定为从移动终端2有操作内 容的反映请求的情况下(“是”的情况)，从移动终端2接收由移动终端2选择 和设定的操作内容(步骤S9)。在图5B的例子中，页脚设定由用户选择和设 定，作为该操作内容，接收‘页脚和日期’。另一方面，在上述步骤S8中，在 判定为从移动终端2没有操作内容的反映请求的情况下(“否”的情况)，在步 骤S8中转移到等待状态。

接着，图像形成装置1a基于在步骤S9中接收到的操作内容、即图5B的各 种编辑菜单画面251中指定的‘页脚和日期’，将图5A所示的操作显示单元14a 的预览画面141a更新(步骤S10)。具体地说，用户通过触摸操作，从预览画 面141a上所显示的打印预览图像、‘页面1’、‘页面2’、‘页面3’、...之中，选 择要进行编辑的对象。例如，图5C所示，在用户选择出‘页面1’的情况下， 在该‘页面1’的页脚142a中自动地插入日期。再有，如果在‘页面1’以外 还有要编辑的页面，用户通过触摸预览画面141a的相应页面，使同样的内容 立即被反映。

接着，图像形成装置1a判定从移动终端2是否接收到其他的操作内容(步 骤S11)，在判定为接收到其他的操作内容的情况下(“是”的情况)，返回到 步骤S10并反复进行处理，在不是这样的情况下(“否”的情况)，直接结束。 于是，在移动终端2选择和设定的操作内容有多个的情况下，每当从移动终端 2接收操作内容时，将预览画面141a更新。

接着，基于图4说明有关移动终端2的处理流程。首先，图5A所示，在使 预览画面141a显示在图像形成装置1a的操作显示单元14a上的状态下，将移动 终端2贴近预览画面141a。此时，移动终端2判定与图像形成装置1a之间是否 建立了近距离无线通信的连接(步骤S21)。

移动终端2在上述步骤S21中，在判定与图像形成装置1a之间建立了近距 离无线通信的连接的情况下(“是”的情况)，对图像形成装置1a请求发送操 作输入信息(步骤S22)。然后，移动终端2从图像形成装置1a接收与预览画面 141a预先相关联的操作输入信息(步骤S23)，而且从图像形成装置1a接收图6 所示的操作输入信息的可否组合表(步骤S24)。在本例中，与图3A及图3B的 处理流程同样，作为操作输入信息，接收由用户预先设定的编辑项目，这里 为接收打印预览图像的编辑有关的双面设定、页眉设定、页脚设定的ID信息 。另一方面，在上述步骤S21中，在判定为与图像形成装置1a之间未建立近距 离无线通信的连接的情况下(“否”的情况)，在步骤S21中转移到等待状态。

移动终端2从图像形成装置1a接收双面设定、页眉设定、页脚设定的ID 信息时，根据存储单元22中存储的操作输入画面信息，在操作显示单元25上 显示操作输入画面(步骤S25)。该操作输入画面的一例即各种编辑菜单画面 251如图5B所示那样。即，在图5B的各种编辑菜单画面251中，用户可选择地 显示由双面设定、页眉设定、页脚设定构成的操作输入项目(编辑项目)。

移动终端2判定由用户从操作显示单元25所显示的各种编辑菜单画面251 之中，是否选择出操作输入项目(步骤S26)，在判定为选择出操作输入项目 的情况下(“是”的情况)，通过参照图6的可否组合表，判定是否有与选择出 的操作输入项目不能组合的项目(步骤S27)。另一方面，在步骤S26中，在判 定为操作输入项目没有被选择的情况下(“否”的情况)，在步骤S26中转移到 等待状态。

在步骤S27中，移动终端2在判定有不能与上述选择出的操作输入项目组 合的项目的情况下(“是”的情况)，使各种编辑菜单画面251上不能组合的项 目例如成为灰暗显示或非显示等不可选择状态(步骤S28)。另一方面，在步 骤S27中，在判定为没有与选择出的操作输入项目不能组合的项目的情况下( “否”的情况)，转移到步骤S29。

移动终端2判定是否有用户的其他的操作输入项目的选择(步骤S29)，在 判定为有其他的操作输入项目的选择的情况下(“是”的情况)，返回到步骤 S27，反复进行处理。另一方面，在步骤S29中，在判定为没有其他的操作输 入项目的选择的情况下(“否”的情况)，请求图像形成装置1a反映在图5B的 各种编辑菜单251中选择和设定的操作内容，将操作内容发送到图像形成装置 1a(步骤S30)。再有，在步骤S23及步骤S24中，在移动终端2从图像形成装置 1a接收到操作输入信息及可否组合表后，也可以将移动终端2从图像形成装置 1a分离。即，用户在移动终端2与图像形成装置1a分离的状态下，也可以对移 动终端2的各种编辑菜单画面251进行操作。在该情况下，通过使移动终端2 再次接近图像形成装置1a的预览画面141a，移动终端2和图像形成装置1a通过 近距离无线通信来连接。然后，从移动终端2请求图像形成装置1a反映操作内 容，上述操作内容被发送到图像形成装置1a。

于是，根据本实施方式，使图像形成装置和移动终端合作，消除图像形 成装置的画面转移，能够在图像形成装置的画面上确认来自移动终端的操作 内容的同时，进行各种操作输入。

(第2实施方式)

在上述第1实施方式中，在图像形成装置1a和移动终端2之间的无线连接 上，使用了NFC等的近距离无线通信，但也可以使用相比该近距离无线通信 可进行长距离的无线通信的其他的无线通信。例如，可以适用作为无线LAN 之一的WiFi、适合数米左右的无线通信的蓝牙(Bluetooth(注册商标。以下 同样。))等。在图2的结构例子中，图像形成装置1a、移动终端2分别具备无 线LAN-I/F18a、无线LAN-I/F23，可进行无线LAN(WiFi)的无线通信。

图7是用于说明本发明的第2实施方式的图像形成装置1a的处理例子的流 程图。图8是表示一例在图像形成装置1a上所显示的WiFi配对设定画面的图。 首先，用户事先使图像形成装置1a的操作显示单元14a显示图8的WiFi配对设 定画面，在图像形成装置1a和移动终端2之间建立了近距离无线通信的连接时 ，设定使WiFi配对为有效、或为无效。在本例中，将WiFi配对设定为有效。

在图7中，图像形成装置1a根据用户进行的规定的操作输入，将图5A所 示的预览画面141a显示在操作显示单元14a上(步骤S31)。在图5A的例子中， 作为打印预览图像，显示‘页面1’、‘页面2’、‘页面3’、...。然后，图像形 成装置1a在显示了预览画面141a的状态下，在移动终端2接近预览画面141a时 ，判定与移动终端2之间是否建立了近距离无线通信的连接(步骤S32)。

在上述步骤S32中，图像形成装置1a在判定为与移动终端2之间建立了近 距离无线通信的连接的情况下(“是”的情况)，参照图8的WiFi配对设定，这 里设定为‘有效’，所以执行无线LAN的配对(步骤S33)。另一方面，在上述 步骤S32中，在判定为与移动终端2之间未建立近距离无线通信的连接的情况 下(“否”的情况)，在步骤S32中转移到等待状态。

图像形成装置1a判定与移动终端2之间是否建立了无线LAN的连接(步骤 S34)。在判定为与移动终端2之间建立了无线LAN的连接的情况下(“是”的 情况)，结束与移动终端2之间的近距离无线通信(步骤S35)。另一方面，在 步骤S34中，在判定为与移动终端2之间未建立无线LAN的连接的情况下(“ 否”的情况)，在步骤S34中转移到等待状态。

图像形成装置1a判定通过无线LAN从移动终端2是否有操作输入信息的 发送请求(步骤S36)，在判定为从移动终端2有操作输入信息的发送请求的情 况下(“是”的情况)，将与预览画面141a预先相关联的操作输入信息发送到 移动终端2(步骤S37)，而且将图6所示的操作输入信息的可否组合表发送到 移动终端2(步骤S38)。在本例中，作为操作输入信息，发送由用户预先设定 的编辑项目，这里为发送打印预览图像的编辑的双面设定、页眉设定、页脚 设定的ID信息。另一方面，在上述步骤S36中，在判定为从移动终端2没有操 作输入信息的发送请求的情况下(“否”的情况)，在步骤S36中转移到等待状 态。

关于移动终端2，与上述第1实施方式中说明的内容是同样的，但从图像 形成装置1a通过无线LAN接收双面设定、页眉设定、页脚设定的ID信息及可 否组合表(图6)时，根据存储单元22中存储的操作输入画面信息，在操作显 示单元25上显示操作输入画面。该操作输入画面的一例即各种编辑菜单画面 251如图5B所示那样。即，在图5B的各种编辑菜单画面251中，双面设定、页 眉设定、页脚设定构成的编辑项目可由用户选择性地显示。此外，图6的可否 组合表也是同样的，所以这里省略说明。

图像形成装置1a判定通过无线LAN从移动终端2是否有操作内容的反映 请求(步骤S39)，在判定为从移动终端2有操作内容的反映请求的情况下(“ 是”的情况)，从移动终端2接收由移动终端2选择和设定的操作内容(步骤S40 )。在图5B的例子中，由用户选择和设定了页脚设定，接收“页脚和日期”， 作为该操作内容。然后，图像形成装置1a基于在步骤S40中接收到的操作内容 、即图5B的各种编辑菜单画面251中指定的页脚和日期’，将图5A所示的操作 显示单元14a的预览画面141a如图5C所示进行更新(步骤S41)。另一方面，在 上述步骤S39中，在判定为从移动终端2没有操作内容的反映请求的情况下(“ 否”的情况)，在步骤S39中转移到等待状态。

接着，图像形成装置1a判定从移动终端2是否接收到其他的操作内容(步 骤S42)，在判定为接收到其他的操作内容的情况下(“是”的情况)，返回到 步骤S41并反复进行处理，在不是这样的情况下(“否”的情况)，直接结束。 于是，在由移动终端2选择和设定的操作内容有多个的情况下，每当从移动终 端2接收操作内容时，将预览画面141a更新。

于是，根据本实施方式，除了第1实施方式的效果以外，由于图像形成装 置和移动终端通过无线LAN来连接，所以每当操作输入时不需要贴近移动终 端，即使是距图像形成装置较远的场所也能够进行操作输入。

(第3实施方式)

在上述第1实施方式、第2实施方式中，作为图1的电子设备1例示说明了 图像形成装置，但电子设备1的实施方式不限定于图像形成装置，也可以是能 够通过用户的手指或笔进行手写输入的电子黑板。

图9是表示本发明的第3实施方式的操作输入系统的结构例子的框图。本 例的系统由电子设备1的一例即电子黑板1b、以及与电子黑板1b之间可进行近 距离无线通信的移动终端2构成。

电子黑板1b包括：硬盘或半导体存储器等的存储单元11b；与移动终端2 之间进行NFC等的近距离无线通信的近距离无线通信单元12B；具有触摸板的 操作显示单元13b；控制电子黑板1b的动作的由CPU和存储器等构成的控制单 元14b；包含数字键和各种操作键的操作输入单元15b；以及与移动终端2之间 进行WiFi等的无线LAN通信的无线LAN-I/F(接口)16b。

与图2的结构例子同样，移动终端2包括近距离无线通信单元21、存储单 元22、无线LAN-I/F23、控制单元24、操作显示单元25、以及拍摄单元26。

在本实施方式中，使电子黑板和移动终端进行合作，消除电子黑板的画 面转移，用户在电子黑板的画面上确认来自移动终端的操作内容的同时，能 够进行各种操作输入。作为用于此的结构，电子黑板1b包括在使特定画面显 示在操作显示单元13b(相当于本发明的电子设备的显示单元)上的状态下， 在检测到移动终端2接近的情况下，将与特定画面预先相关联的操作输入信息 发送到移动终端2的发送单元。该发送单元相当于本发明的电子设备的发送单 元，由电子黑板1b的控制单元14b及近距离无线通信单元12b实现。更具体地 说，在用户将移动终端2贴近了电子黑板1b的操作显示单元13b时，电子黑板 1b的近距离无线通信单元12B检测移动终端2接近，在电子黑板1b的近距离无 线通信单元12b和移动终端2的近距离无线通信单元21之间，例如建立基于 NFC的通信协议，相互可通信地连接。

此外，作为电子黑板1b的操作显示单元13b上显示的特定画面，例如，能 够列举上述图14A至图14D所示的手写输入画面。此外，从电子黑板1b向移动 终端2发送的操作输入信息是，与手写输入画面预先相关联的操作输入项目的 ID信息，或是包含与手写输入画面预先相关联的操作输入项目的ID信息的操 作输入画面信息。作为该操作输入项目，如图14A至图14D所示，可以直接设 定笔的种类、粗细、颜色等的编辑项目，或也可以在这些编辑项目之中仅选 择性地设定用户常常使用的编辑项目。具体地说，例如，仅将笔颜色预先与 手写输入画面相关联。此外，操作输入项目的ID信息是，识别这些操作输入 项目，用于通知与操作输入项目对应的操作内容的信息。图像形成装置1a受 到控制，以执行通过该ID信息所通知的操作内容。此外，操作输入画面信息 是，用于将上述操作输入项目在画面上进行图标显示的大小或配置等的信息 。

在移动终端2包括：当接近了在操作显示单元13b上显示了画面的状态下 的电子黑板1b时，从电子黑板1b接收与手写输入画面预先相关联的操作输入 信息的接收单元；基于接收到的操作输入信息，显示操作输入画面的显示单 元；以及将用户从操作输入画面所指示的操作内容(即，ID信息)发送到电 子黑板1b的发送单元。再有，该显示单元相当于本发明的移动终端的显示单 元，由移动终端2的操作显示单元25实现。此外，接收单元及发送单元相当于 本发明的移动终端的接收单元及发送单元，由移动终端2的控制单元24及近距 离无线通信单元21实现。这里，作为使操作输入画面显示在移动终端2的操作 显示单元25上的方法，与第1实施方式的情况同样，根据从电子黑板1b发送的 操作输入信息的内容被认为有两种，但在这里省略重复说明。

而且，电子黑板1b包括：从移动终端2接收由用户指示的操作内容(ID 信息)的接收单元；以及根据接收到的操作内容，更新手写输入画面的更新 单元。再有，该接收单元相当于本发明的电子设备的接收单元，由电子黑板 1b的控制单元14b及近距离无线通信单元12b来实现。此外，更新单元相当于 本发明的电子设备的更新单元，作为电子黑板1b的控制单元14b的一功能来实 现。再有，在本实施方式中，替代近距离无线通信，也可以使用无线LAN( WiFi)或蓝牙(Bluetooth)等的无线通信。适用了电子黑板1b时的操作输入 方法的基本处理的流程与图像形成装置1a的情况是同样的，但对于几个具体 例子，基于图10A至图10C～图12A至图12D来说明。

图10A至图10C是用于说明本发明的第3实施方式的操作输入系统的处理 例子的图。首先，电子黑板1b根据用户的规定的操作输入，将图10A所示的 手写输入画面131b、即包含手写输入图像132b的手写输入画面131b显示在操 作显示单元13b上。然后，电子黑板1b在使手写输入画面131b显示手写输入图 像132b的状态下，在检测到移动终端2接近的情况下，将与手写输入画面131b 预先相关联的操作输入信息发送到移动终端2。在本例中，发送由用户预先设 定的编辑项目、这里为手写输入图像的编辑有关的笔颜色的ID信息，作为操 作输入信息。

在移动终端2中，存储从电子黑板1b发送的、与笔颜色的ID信息相关联的 操作输入画面信息，根据该操作输入画面信息，在操作显示单元25上显示操 作输入画面。图10B表示该操作输入画面一例即笔颜色编辑画面。即，在图10B 的笔颜色编辑画面252中，由用户可选择地显示黑、红、绿作为笔颜色。移动 终端2将用户对于该笔颜色编辑画面252所选择和设定的操作内容发送到电子 黑板1b。

电子黑板1b从移动终端2接收在移动终端2中选择和设定的操作内容。在 图10B的例子中，由用户选择和设定笔颜色为“红”，接收‘笔颜色为红’作 为该操作内容。然后，电子黑板1b基于从移动终端2接收到的操作内容，即， 在图10B的笔颜色编辑画面252中所指定的‘笔颜色为红’，更新图10A所示的 操作显示单元13b的手写输入画面131b。具体地说，例如，如图10C所示，手 写输入画面131b上手写输入的手写输入图像133b的笔颜色被变更为“红”。再 有，对于已经显示的手写输入图像132b的笔颜色，也可以用同样的内容来变 更。

图11A至图11C是用于说明本发明的第3实施方式的操作输入系统的其他 处理例子的图。首先，电子黑板1b根据用户的规定的操作输入，将图11A所示 的手写输入画面131b、即包含发送目的地地址输入栏134b的手写输入画面 131b显示在操作显示单元13b上。再有，在显示了发送目的地地址输入栏134b 的状态下，使手写输入无效。然后，电子黑板1b在使手写输入画面131b显示 了发送目的地地址输入栏134b的状态下，在检测到移动终端2接近的情况下， 将与手写输入画面131b预先相关联的操作输入信息发送到移动终端2。在本例 中，发送与发送目的地地址输入栏134b对应的ID信息，作为操作输入信息。

在移动终端2中，存储从电子黑板1b发送的、与发送目的地地址输入栏的 ID信息相关联的操作输入画面信息，根据该操作输入画面信息，在操作显示 单元25上显示操作输入画面。图11B表示该操作输入画面的一例即发送目的地 地址输入画面。即，在图11B的发送目的地地址输入画面253中，包含发送目 的地地址输入栏253a、以及虚拟键盘253b。再有，虚拟键盘253b本来装载在 移动终端2上，与发送目的地地址输入栏253a的显示连动地显示。用户通过对 该虚拟键盘253b进行触摸操作，输入期望的地址信息(这里为abc...)。该操 作输入的内容被反映和显示在发送目的地地址输入栏253a中。然后，例如， 在用户按下规定的发送按钮(未图示)时，移动终端2将从发送目的地地址输 入画面253输入的操作内容发送到电子黑板1b。

电子黑板1b从移动终端2接收在移动终端2中输入的操作内容。在图11B 的例子中，作为发送目的地地址，由用户输入‘abc...’，接收‘abc...’，作 为该操作内容。然后，电子黑板1b基于从移动终端2接收到的操作内容，即， 图11b的发送目的地地址输入画面253中所指定的‘abc...’，更新图11A所示的 操作显示单元13b的手写输入画面131b。具体地说，例如，图11C所示，使操 作内容‘abc...’自动地反映在手写输入画面131b的发送目的地地址输入栏 134b中。

图12A至图12D是用于说明本发明的第3实施方式的操作输入系统再一其 他处理例子的图。首先，电子黑板1b根据用户的规定的操作输入，将图12A 所示的手写输入画面131b、即包含手写输入图像132b的手写输入画面131b显 示在操作显示单元13b上。然后，电子黑板1b在使手写输入图像132b显示在手 写输入画面131b上的状态下，在检测到移动终端2接近的情况下，将与手写输 入画面131b预先相关联的操作输入信息发送到移动终端2。在本例中，作为操 作输入信息，发送包含手写输入图像132b的页面一览，即，使手写输入图像 132b为P1，发送包含手写输入图像P1～P4的页面一览。

在移动终端2中，存储与从电子黑板1b发送的页面一览相关联的操作输入 画面信息，根据该操作输入画面信息，在操作显示单元25上显示操作输入画 面。图12B表示该操作输入画面的一例即页面一览画面。即，在图12B的页面 一览画面254中，用户可选择地显示手写输入图像P1～P4。移动终端2将用户 对于该页面一览画面254选择出的操作内容发送到电子黑板1b。这里，如图12C 所示，发送与手写输入图像P4对应的‘P4’。

电子黑板1b从移动终端2接收在移动终端2中选择出的操作内容。在图 12C的例子中，由用户选择手写输入图像P4，接收‘P4’作为该操作内容。 然后，电子黑板1b基于从移动终端2接收到的操作内容、即图12C的页面一览 画面254所指定的‘P4’，更新图12A所示的操作显示单元13b的手写输入画面 131b。具体地说，例如，图12D所示，将手写输入画面131b上显示的手写输 入图像132b(P1)切换为手写输入图像135b(P4)。

于是，根据本实施方式，能够使电子黑板和移动终端进行合作，消除电 子黑板的画面转移，在电子黑板的画面上确认来自移动终端的操作内容的同 时，进行各种操作输入。

以上，作为本发明的各实施方式，例示说明了操作输入系统、电子设备 、移动终端、以及操作输入方法，但本发明也可以为用于使计算机执行该操 作输入方法的程序的方式，或也可以是记录了该程序的计算机可读取的记录 介质的方式。

作为上述记录介质，具体地说，能够假定CD-ROM(-R/-RW)、光 磁盘、HD(硬盘)、DVD-ROM(-R/-RW/-RAM)、FD(软盘)、快闪 存储器、存储卡、存储棒以及其他各种ROM和RAM等，通过在这些记录介质 上记录用于使计算机执行上述本发明的操作输入方法的程序并使其流通，容 易实现该方法。而且，在计算机等的信息处理装置中安装像上述的记录介质 ，通过信息处理装置读出程序，或在信息处理装置具备的存储媒体上存储该 程序，根据需要读出程序，能够执行本发明的操作输入方法。

此外，根据本发明，能够使图像形成装置等的电子设备和移动终端进行 合作，消除电子设备的画面转移，在电子设备的画面上确认来自移动终端的 操作内容的同时，进行各种操作输入。