Phi-4-Reasoning-Vision代码实例基于TextIteratorStreamer实现思考过程折叠展示1. 项目概述Phi-4-Reasoning-Vision是基于微软Phi-4-reasoning-vision-15B多模态大模型开发的高性能推理工具专为双卡RTX 4090环境优化。该工具严格遵循官方SYSTEM PROMPT规范支持THINK/NOTHINK双推理模式、图文多模态输入、流式输出与思考过程折叠展示功能。1.1 核心特性双卡并行优化自动将15B模型拆分至两张RTX 4090显卡官方Prompt适配严格遵循Phi-4官方要求的SYSTEM PROMPT格式流式输出解析实现逐字流式输出和思考过程分离多模态输入支持同时处理图片上传和文本提问专业级交互界面通过Streamlit搭建宽屏交互界面2. 环境准备与部署2.1 硬件要求两张NVIDIA RTX 4090显卡至少64GB系统内存CUDA 11.7或更高版本2.2 软件依赖安装pip install torch2.0.1cu117 --extra-index-url https://download.pytorch.org/whl/cu117 pip install transformers4.31.0 streamlit1.25.0 Pillow9.5.02.3 模型加载代码from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path microsoft/phi-4-reasoning-vision-15B tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypetorch.bfloat16, trust_remote_codeTrue )3. TextIteratorStreamer实现原理3.1 流式输出基础实现from threading import Thread from transformers import TextIteratorStreamer def generate_response(prompt, image_input): streamer TextIteratorStreamer(tokenizer) inputs tokenizer(prompt, return_tensorspt).to(cuda) generation_kwargs dict( inputs, streamerstreamer, max_new_tokens1024, do_sampleTrue, temperature0.7 ) thread Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() for new_text in streamer: yield new_text3.2 思考过程解析逻辑def parse_thought_process(text_stream): thought_buffer in_thought False for token in text_stream: if THINK in token: in_thought True thought_buffer elif /THINK in token: in_thought False yield {type: thought, content: thought_buffer} thought_buffer elif in_thought: thought_buffer token else: yield {type: response, content: token}4. Streamlit交互界面实现4.1 界面布局设计import streamlit as st from PIL import Image st.set_page_config(layoutwide) col1, col2 st.columns([1, 2]) with col1: st.header(参数配置) uploaded_file st.file_uploader(上传一张图片以供分析, type[jpg, png]) question st.text_area(提出你的问题, height100) if st.button( 开始推理): if uploaded_file is None: st.error(请先上传图片) else: with col2: st.header(推理结果) image Image.open(uploaded_file) st.image(image, caption上传的图片, use_column_widthTrue) with st.spinner(正在唤醒双卡算力...): response_container st.empty() thought_container st.expander(思考过程, expandedFalse) full_response thought_content prompt fimage{image}/image\n{question} for chunk in generate_response(prompt, image): if chunk[type] thought: thought_content chunk[content] thought_container.markdown(thought_content) else: full_response chunk[content] response_container.markdown(full_response)4.2 异常处理机制try: # 推理代码 except RuntimeError as e: if CUDA out of memory in str(e): st.error(显存不足请尝试减小输入尺寸或关闭其他GPU程序) else: st.error(f推理错误: {str(e)}) except Exception as e: st.error(f系统错误: {str(e)})5. 实际应用案例5.1 图片内容分析上传一张包含多个物体的场景图片提问请详细描述图片中的内容特别注意各物体之间的关系系统会先展示思考过程如何识别物体、分析关系最后输出完整的描述结果5.2 视觉推理问题上传一张逻辑关系图提问根据图中的信息A和C之间有什么关系观察模型的推理过程查看最终结论6. 性能优化建议6.1 双卡负载均衡# 自定义device_map确保负载均衡 device_map { model.embed_tokens: 0, model.layers.0: 0, model.layers.1: 1, # 继续分配各层... lm_head: 1 }6.2 显存管理技巧使用torch.cuda.empty_cache()定期清理缓存设置max_memory参数限制各卡显存使用启用梯度检查点减少显存占用model.gradient_checkpointing_enable()7. 总结本文详细介绍了如何在Phi-4-Reasoning-Vision中实现基于TextIteratorStreamer的思考过程折叠展示功能。通过这种技术我们可以清晰展示大模型的推理过程提升多模态交互体验更好地理解模型的工作机制方便调试和优化提示词该方案特别适合需要展示AI推理过程的教育、研究和演示场景为理解大模型内部工作机制提供了可视化窗口。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。