用于搜索多媒体内容的用户界面方法和设备
2019-11-22

用于搜索多媒体内容的用户界面方法和设备

本发明的各实施例涉及:与用于对查询和查询结果进行查询以基于例如视频的多媒体内容中的内容搜索所需场景的方法相关的用户界面方法和设备,所述用于搜索内容的方法包括以下步骤:通过用户界面接收用于搜索内容的查询输入;通过使用与所述内容相关联的描述信息来检测与所述查询相对应的部分内容中的至少一个,作为查询结果;基于与部分内容中的至少一个中的每一个相对应的播放时段来确定用于显示所述查询结果的位置;通过考虑部分内容的长度和/或所述查询结果之间的相对距离,确定与查询结果相对应的场景标记的尺寸或显示所述查询结果的区域的尺寸;以及根据所确定的查询结果的位置和相关尺寸至少部分地显示至少一个查询结果。

当对镜头和场景编写索引时,从编写索引的镜头和场景中提取每个关键帧以提供各种服务。具体地,通过提取关于关键帧而不是所有帧的情况信息,可以减少操作量。通常,关键帧通过使用颜色、边界(或边缘)、亮度信息等来分割屏幕并从每个分离的对象提取特征点,由此找到相应关键帧的主要特征以及颜色信息等。例如,当存在一个人时,因为可以通过人体剪影的识别从关键帧中提取面部区域并且找到人的图像,因此图像可以成为数据库。在另一示例中,可以通过以下方式提取并搜索感情信息:应用从场景内的若干关键帧中提取特征(例如平均颜色直方图、平均亮度、平局边缘直方图、平均镜头时间、渐变镜头改变率等)并使用提取的特征作为染色体信息的算法。

摄像机1310可以执行例如拍摄照片并通过接口 1301记录视频的摄像机功能。

图3(a)至3(d)是针对缩略图和样本场景视频的各种搜索的实施例,其中在保持相应尺寸或用较大屏幕进行回放时,可以仅显示所指向的样本场景视频。根据实施例,用于搜索缩略图或样本场景视频的屏幕可以在使用场景标记来搜索缩略图或样本场景视频的同时切换至更大的屏幕,并且稍后可以在相应位置处重新开始视频的回放。

在操作1002中,电子设备根据特定事件检测找到的内容中与查询相对应的内容(即场景或镜头)。例如,在操作1000中,当将至少一个设置的查询图像拖拽至视频回放区域或通过语音识别或虚拟键区输入字符,并且然后经过了预定时间或选择了用于执行查询的按钮时,可以执行操作1002。这时,当检测到内容中与查询相对应的内容(即场景或镜头)时,可以进一步计算查询输入和查询结果之间的匹配程度。

程序还包括以下命令:当彼此相邻的查询结果之间的距离比预定参考更短时,在通过用户界面生成了输入事件时,执行用于放大相应部分的放大镜功能。

在另一示例中,当设备旋转时,由加速度计、地磁传感器等检测到旋转,并且将基于旋转来旋转图形用户界面(GUI)屏幕的功能应用于便携式电话、平板计算机等。在这种情况下,可以根据风景模式用户界面(UI)的类型和肖像模式UI的类型来适当地确定要显示信息的数量或形状。

图3示出了根据本发明的各实施例在视频内容搜索查询结果中搜索特定场景的方法的示例;

控制器1300可以包括接口1301、一个或多个处理器1302和1303和内部存储器1304。在一些情况下,可以将整个控制器1300称为处理器。接口1301、应用处理器1302、通信处理器1303和内部存储器1304可以是单独元件,或可以集成为至少一个集成电路。

根据与所述查询结果相对应的所述内容中的内容的长度或所述查询的匹配程度来确定并显示所述场景标记的至少一个图形属性,例如数字、字符、符号、相对尺寸、长度、颜色、形状、角度或动画效果。

在图5(d)中,基本与图5(c)类似,根据每个磁轨显示场景标记,但是缩略图或样本场景视频不根据每个磁轨显示并仅在一个大屏幕上显示。图5(d)的进度条可以具有弯曲形式。该弯曲形式允许用户在用户用双手握住电子设备(例如平板电脑等)时仅通过单手使用服务。也就是说,当用户用单手或双手握住便携式终端时,用户通常握住设备的左侧和右侦k这时,拇指放在显示器或边框(从智能电话的边缘到显示器的开始部分的框架)上并且其余手指位于便携式电子设备的背面上。因此,为了仅用拇指控制用户界面,如果如图5(d)所示用户界面位于左下部,则可以用左拇指方便地使用用户界面。由于这个原因,磁轨可以位于左下部、右下部和中下部,或者可以位于没有根据磁轨划分的一部分上(用图4中所示的方式)。根据另一实施例,当使用具有背面触摸屏的透明显示器时,可以通过来自显示器的背面的指向输入来进行控制。在这种情况下,磁轨可以被布置为使用位于显示器的背面上的四个手指。

所述方法包括当彼此相邻的查询结果之间的距离比预定参考更短时,以下至少一项:重叠所述查询结果、以及将所述查询结果组合为一个并进行显示。

有益效果

所述方法还包括:当指向与查询结果相对应的场景标记时,根据场景标记属性来执行声音反馈、触觉反馈和视觉反馈中的一个或更多个反馈。