在上海一間充滿設(shè)計(jì)感的跑通工作室里,佘洪宇盯著屏幕上跳動的創(chuàng)業(yè)代碼,長舒了一口氣。機(jī)讓
他剛剛完成了“啟問Spark Query”最新版本的本地部署不再調(diào)試。
這個(gè)由他獨(dú)立開發(fā)的跑通AI工具,正在以驚人的創(chuàng)業(yè)效率幫助用戶梳理模糊需求,生成精準(zhǔn)的機(jī)讓提示詞。
在這一切的本地部署不再背后,一臺看似不起眼的跑通AMD銳龍AI Max+ 395 AI迷你機(jī),正默默扮演著“幕后英雄”的創(chuàng)業(yè)角色。
一、機(jī)讓創(chuàng)業(yè)靈感:從痛點(diǎn)中發(fā)現(xiàn)機(jī)遇
佘洪宇曾在華為等大廠工作,本地部署不再最近的跑通這次創(chuàng)業(yè)故事,要從一次跟爸媽的創(chuàng)業(yè)交流說起。
作為一名有著多年AI行業(yè)經(jīng)驗(yàn)的機(jī)讓資深從業(yè)者,他經(jīng)常需要與各種AI模型打交道。
然而,當(dāng)他教父母使用AI時(shí),發(fā)現(xiàn)一個(gè)普遍存在的問題:
父母在與AI交互時(shí),往往會因?yàn)闊o法清晰、準(zhǔn)確地表達(dá)自己的需求,導(dǎo)致效率低下,甚至產(chǎn)生令人失望的結(jié)果。
這個(gè)痛點(diǎn)讓佘洪宇陷入了思考。他意識到,隨著AI技術(shù)的普及,越來越多的人需要與AI進(jìn)行高效溝通,但缺乏專業(yè)的提示詞工程知識成為了一大障礙。
為什么不開發(fā)一個(gè)工具,能夠引導(dǎo)用戶梳理思路,將模糊的想法轉(zhuǎn)化為精準(zhǔn)的指令呢?
說干就干,佘洪宇受父母工作經(jīng)驗(yàn)中的“表單”啟發(fā),開發(fā)了“啟問Spark Query”的雛形,結(jié)果在創(chuàng)作者和文字工作者群體中獲得極佳的反響,他們認(rèn)為這極大地提升了工作效率。
二、技術(shù)選型:為何選擇AMD銳龍AI Max+ 395?
隨著“啟問Spark Query”的用戶數(shù)量不斷增加,一個(gè)強(qiáng)烈的“剛需”浮現(xiàn)出來:部分用戶的提示詞可能涉及商業(yè)機(jī)密或個(gè)人隱私,他們迫切需要一個(gè)能夠在本地運(yùn)行、保護(hù)數(shù)據(jù)安全的版本。
有了創(chuàng)業(yè)想法,接下來就是技術(shù)實(shí)現(xiàn)。佘洪宇需要一臺能夠在本地運(yùn)行大模型的硬件設(shè)備,以滿足用戶對數(shù)據(jù)安全和隱私保護(hù)的需求。
然而,要讓“啟問Spark Query”在本地有效運(yùn)行,并保持良好的效果,至少需要一個(gè)30B參數(shù)規(guī)模的Q8量化模型。這對普通用戶的本地硬件(尤其是顯存)提出了非常高的要求。
正是這個(gè)挑戰(zhàn),促使佘洪宇開始尋找市面上最具性價(jià)比、能承載大模型運(yùn)行的AI硬件解決方案。
“我的客戶主要使用Windows,因此我的開發(fā)環(huán)境也必須是Windows。”佘洪宇說,“作為個(gè)人開發(fā)者,預(yù)算必須控制在2萬元以內(nèi)。”
這就要求平臺必須具備Windows系統(tǒng)、30GB以上的超大顯存、強(qiáng)大的GPU性能和高帶寬。
在當(dāng)前市場上能同時(shí)滿足所有這些嚴(yán)苛條件的消費(fèi)級平臺,只有搭載AMD銳龍AI Max 300系列處理器的PC。
AMD銳龍AI Max+ 395處理器擁有多達(dá)16個(gè)超大“Zen 5”架構(gòu)CPU核心、多達(dá)40個(gè)AMD RDNA 3.5圖形核心Radeon 8060S和一個(gè)高達(dá)50 TOPS AI算力的AMD XDNA2架構(gòu)的NPU,這使得它能夠在本地高效運(yùn)行大型AI模型。
“最讓我驚喜的是它顛覆性的模型測試效率,憑借其超大的統(tǒng)一內(nèi)存,我可以同時(shí)在內(nèi)存中加載2至3個(gè)30B規(guī)模的量化大模型。這意味著我可以實(shí)現(xiàn)模型間的無縫切換和即時(shí)對比,無需任何等待。僅此一項(xiàng),就將我的開發(fā)效率提升了至少20-30%。”佘洪宇感嘆道。
此外,AMD 銳龍 AI Max+ 395 AI迷你機(jī)的低功耗和小體積也是吸引佘洪宇的重要因素。“它避免了傳統(tǒng)雙顯卡方案帶來的昂貴、高功耗和高噪音等弊端,非常適合在桌面或家庭環(huán)境中進(jìn)行安靜高效的開發(fā)。”
三、開發(fā)過程:AMD銳龍AI Max+ 395迷你機(jī)如何賦能“啟問Spark Query”?
有了強(qiáng)大的硬件支持,佘洪宇的開發(fā)工作進(jìn)展得非常順利。
“啟問Spark Query”的核心功能,是通過一系列提問式交互,引導(dǎo)用戶梳理思路,將模糊的想法轉(zhuǎn)化為精準(zhǔn)的指令。
在開發(fā)過程中,佘洪宇需要頻繁地測試和優(yōu)化模型。
“以前使用其他設(shè)備(如RTX 4090)時(shí),加載和卸載模型的過程非常耗時(shí),嚴(yán)重拖慢了開發(fā)進(jìn)度。”他說,“但AMD銳龍AI Max+ 395的表現(xiàn)讓我非常滿意。它能夠快速加載和運(yùn)行多個(gè)模型,大大提高了我的開發(fā)效率。”
特別是在處理超長上下文時(shí),AMD銳龍AI Max+ 395的優(yōu)勢更加明顯。“當(dāng)我需要處理如播客轉(zhuǎn)錄、長篇文檔分析等需要超長上下文的任務(wù)時(shí),AMD銳龍AI Max平臺能夠輕松滿足這種需求,這在目前的消費(fèi)級硬件中幾乎是獨(dú)一無二的能力。”佘洪宇說道。
四、實(shí)際應(yīng)用:從旅游規(guī)劃到電腦配置,精準(zhǔn)需求一氣呵成
“啟問Spark Query”正式上線后,很快就展現(xiàn)出極高的效率,向AI提問從未如此簡單。
讓我們來看兩個(gè)實(shí)際應(yīng)用案例,看看AMD銳龍AI Max+ 395是如何賦能“啟問Spark Query”,幫助用戶解決實(shí)際問題的。
啟問Spark Query也有一個(gè)在線版本,以供無銳龍AI Max+ 395本地部署的用戶在線體驗(yàn)使用,這里演示使用的就是在線版本。
啟問Sparkquery在線體驗(yàn)地址:https://yujianaier.xyz/
案例一:丹麥旅游行程規(guī)劃
一位用戶想為兩位從上海出發(fā)的老人規(guī)劃十一假期丹麥7天旅游行程,但很多需求并未明確。
通過“啟問Spark Query”,用戶被引導(dǎo)輸入出發(fā)城市、住宿偏好、餐飲標(biāo)準(zhǔn)、景點(diǎn)偏好和交通偏好等信息。
用戶經(jīng)過引導(dǎo)填入關(guān)鍵詞需求,包括重點(diǎn)考慮自然風(fēng)光景點(diǎn),主要使用火車交通,住宿選擇普通酒店,餐飲預(yù)算為每餐人均100元人民幣等等。
點(diǎn)擊“生成提示詞”后,在AMD銳龍AI Max+ 395處理器的支持下,“啟問Spark Query”快速處理了這些信息,并生成了詳細(xì)的行程規(guī)劃提示詞,包括國際航班建議、丹麥境內(nèi)火車路線、住宿推薦、景點(diǎn)安排、餐飲建議和費(fèi)用估算。
整個(gè)過程高效流暢,生成的行程方案詳細(xì)且符合用戶需求,特別是考慮到了老年人的特殊需求,如節(jié)奏舒緩、交通銜接順暢等。
還能一鍵復(fù)制并跳轉(zhuǎn)到DeepSeek等平臺。
經(jīng)過優(yōu)化后的提示詞,DeepSeek可以更準(zhǔn)確地理解需求,給出的方案也更具可行性,大家感受下:
案例二:4000元辦公電腦配置清單
另一位用戶需要配置一臺預(yù)算約為4000元的電腦,想讓AI列一下配置清單。
通過“啟問Spark Query”的引導(dǎo),用戶輸入了主要用途、外設(shè)需求、品牌偏好和預(yù)算限制等信息。比如主要用于日常辦公,需要一臺27英寸顯示器,處理器要求使用AMD。
借助AMD銳龍AI Max+ 395處理器的強(qiáng)大算力,本地版的“啟問Spark Query”也能迅速生成一份詳細(xì)的配件清單的提示詞,包括處理器、顯示器,以及用途需求,總價(jià)控制在4000元左右,并且所有配件確保兼容。
輸入DeepSeek后迅速獲得了一份清單。
該回答既滿足了性能需求,又符合預(yù)算限制,能夠有效提升企業(yè)采購計(jì)算機(jī)時(shí)的效率。
作為對比,如果沒有“啟問Spark Query”及時(shí)提醒“顯示器”需求時(shí),傳統(tǒng)方案會默認(rèn)將預(yù)算全部投入主機(jī),導(dǎo)致最終裝機(jī)成本突破4000元,或被迫壓縮主機(jī)配置至性能不足。
五、未來展望:AMD AI PC推動AI本地化部署浪潮
佘洪宇的創(chuàng)業(yè)故事,只是AMD銳龍AI Max+ 395在AI本地化部署領(lǐng)域應(yīng)用的一個(gè)縮影。
隨著AI技術(shù)的不斷發(fā)展,越來越多的企業(yè)和個(gè)人開發(fā)者意識到,本地部署AI模型不僅能夠提高效率,還能更好地保護(hù)數(shù)據(jù)安全和隱私。
“目前1.5萬元的價(jià)位對于個(gè)人開發(fā)者和小型團(tuán)隊(duì)來說還是有一定門檻。如果價(jià)格能進(jìn)一步降低,無疑將極大地推動高性能AI PC在更廣泛的開發(fā)者和用戶群體中普及,加速整個(gè)生態(tài)的成熟。“佘洪宇說。
AMD正通過不斷的技術(shù)創(chuàng)新,為開發(fā)者和企業(yè)提供更強(qiáng)大、更高效、更經(jīng)濟(jì)的AI解決方案,助力更多像“啟問Spark Query”這樣的創(chuàng)新應(yīng)用誕生,推動AI技術(shù)更好地服務(wù)于人類社會。
或許,下一個(gè)改變世界的AI應(yīng)用,就誕生在一臺AMD AI PC之上。
本文來源:http://www.iv82.cn/news/52a36799580.html
版權(quán)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn),該文觀點(diǎn)僅代表作者本人。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容,請發(fā)送郵件舉報(bào),一經(jīng)查實(shí),本站將立刻刪除。