发布时间:2025-03-05 09:12:22 来源:乱琼碎玉网 作者:黄凯琪
乐高老少陆晔近照当国际从电视媒体时代走向新媒体时代,传达形式从一对多向多对多改变,个别的声响被扩大了。
https://github.com/openvinotoolkit/openvino_notebooks?tab=readme-ov-file#-getting-started图:地平的动根底环境装置导航页面此外本示例将依靠OpenVINO和LlamaIndex的集成组件,地平的动因而咱们需求单独在环境中对他们进行装置,分别是用于为图画和文本生成多模态向量的llama-index-embeddings-openvino库,以及视觉多模态推理llama-index-multi-modal-llms-openvino库。这儿咱们首要需求对CLIP模型进行初始化,线大咸宜运用OpenVINO和LlamaIndex集成后的库能够轻松完结这一点。
fromllama_index.core.indicesimportMultiModalVectorStoreIndexfromllama_index.vector_stores.qdrantimportQdrantVectorStorefromllama_index.coreimportStorageContext,Settingsfromllama_index.core.node_parserimportSentenceSplitterSettings.embed_model=clip_modelindex=MultiModalVectorStoreIndex.from_documents(documents,storage_context=storage_context,image_embed_model=Settings.embed_model,transformations=[SentenceSplitter(chunk_size=300,chunk_overlap=30)])retriever_engine=index.as_retriever(similarity_top_k=2,image_similarity_top_k=5)多模态向量检索传统的文本RAG经过检索文本类似度来呼唤向量数据库中要害的文本内容,冒险而多模态RAG则需求额定对图片向量进行检索,冒险用以回来与输入问题相关性最高的要害帧,供VLM进一步了解。fromllama_index.coreimportSimpleDirectoryReaderquery_str=tellmemoreaboutgaussianfunctionimg,txt=retrieve(retriever_engine=retriever_engine,query_str=query_str)image_documents=SimpleDirectoryReader(input_dir=output_folder,input_files=img).load_data()代码运转后,评测品咱们能够看到检索得到的文本段和要害帧。作甜来历:OpenVINO中文社区作者:杨亦诚英特尔AI软件工程师介绍Retrieval-AugmentedGeneration(RAG)体系能够经过从知识库中过滤要害信息来优化LLM使命的内存占用及推理功能。
它运用Whisper模型将视频中的语音内容转化为文本内容,乐高老少运用CLIP模型生成多模态嵌入式向量,乐高老少运用视觉言语模型(VLM)处理检索到的图画和文本音讯以及用户恳求。LlamaIndex为咱们供给了强壮的东西组件,地平的动经过调用函数的方法能够轻松完结以上过程。
fromcmd_helperimportoptimum_cliclip_model_id=laion/CLIP-ViT-B-32-laion2B-s34B-b79Kclip_model_path=clip_model_id.split(/)[-1]ifnotPath(clip_model_path).exists():optimum_cli(clip_model_id,clip_model_path)视频数据提取与处理接下来咱们需求运用第三方东西提取视频文件中的音频和图片,线大咸宜并运用ASR模型将音频转化为文本,线大咸宜便于后续的向量化操作。
图:冒险视频了解RAG作业原理源码地址:冒险https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/multimodal-rag环境预备该示例根据JupyterNotebook编写,因而咱们需求预备好相对应的Python环境。爆料显现,评测品新款iPhoneSE的规划估计将类似于iPhone14,搭载更强的A18芯片、8GB运存,支撑AppleIntelligence,但仅装备48MP单摄且存储容量或许较低。
write_ad(menu_tags_up_button);CNMO_AD.init();【CNMO科技音讯】据CNMO了解,作甜在2月20日苹果发布会之前,作甜数据组织Omdia和Canalys的分析师共享了他们对苹果全球iPhone战略的预期和首要影响的见地。该机有望加快苹果老机型的升级换代,乐高老少估计其在苹果产品组合中的比例将从2022年的个位数占比上升到2025年的10%。
高档研讨司理JusyHong表明,地平的动新款iPhoneSE是入门级用户进入苹果生态系统的门户,尤其是跟着AppleIntelligence的推出迭代旗舰机型,线大咸宜如小米16系列和REDMIK90系列,现已确认将搭载超越7000mAh的超大电池,而且支撑无线充电功用。
相关文章