【三妍良語的生活隨筆】-14 我的podcast頻道三妍良語聊不完籌備中
#筆電真的GG了😭
今天維修中心打電話來,說我的硬碟壞了,建議我去外面買一顆回來給他裝會比較便宜,打電話問老公,一顆硬碟大概要2千元。
接著維修中心又說,主機板好像也有問題,下禮拜調一個主機板測試,如果確定主機板也壞了,就要打電話問我願不願意花4千多元換主機板,我一口老血差點沒噴出來。
#跟ipad繼續磨合
#我的podcast頻道三妍良語聊不完籌備中
我想筆電壞掉就是要讓我改用ipad工作吧?
還是因為跟我對宇宙許願,希望可以用這一台iPad賺到30萬有關呢?
從去年12月演講完後,我跟 天使美學銷售 銷售顧問蕾媚媚老師合作一個企劃,開一個podcast的頻道來聊聊在職場、生活、人際、家庭上會遇到的各式各樣的小問題。
叫做 #三妍良語聊不完
第一集錄完音後在2月底剪輯完成,
主題非常的炫,叫做
「我和你媽掉進水裡,你會先救誰?」
蕾媚媚老師告訴我怎麼從一句女生最常問
男友的一句話,去理解背後真正的意思,
達到有效的回應和溝通。
我首先上架到SoundClub中文平台,
現在上SoundClub裡搜尋「三妍良語聊不完」
可以先聽第一集了。
連結在這裡:https://player.soundon.fm/p/b94763a5-1fc0-4d22-9c05-0b818f715b72
然後再複製它的RSS連結,到知名度比較高的蘋果podcast,官網說大約3-5天,不過2個禮拜過去了還沒審核過,問了朋友才知道蘋果審核
時間超長的,我的媽呀!
#我不管了啦!
SoundClub的平台知名度又沒蘋果高,
連結貼到粉專還要下載app才能收聽,
我心一橫想著不管了,乾脆上傳到YouTube變影片吧!!
Ipad有個imove就用它來做!
借妹妹的筆電,把隨身碟裡的檔案丟到line裡面,打開ipad載下來,然後檔案...就不見了,查了好久發現是存在蘋果的雲端裡,但是蘋果雲端app我沒有,上了蘋果商店也載不下來,就是一個看的到吃不到的狀態。
轉個腦袋把下載設定改成存在ipad,含淚重新下載檔案一次,總算出現了。
正當我把imove打開,把圖片匯入找音檔的時候,換音檔消失了,只留下滿地的挫折,花了2個小時,我依然無法把音訊檔結合成影片,更別說是上傳到YouTube了,更別說預定明天早上發佈了,只留下滿地的玻璃心碎成一地。
明天我準備再換個方法,上傳音訊和圖片到YouTube合作的轉檔網頁,但我不知道ipad能不能開網頁版本的網站,該說碰到障礙我已經不覺得奇怪了~哈哈哈😂
#隔天再磨合
今天早早九點起床,喝了一杯無糖豆漿,準備重新再上。
我打開網路找到和YouTube合作的轉檔網頁,
沒想到檔案上限是30MB,我剛好37MB多那麼一些,只好再找過新的網站。
經網紅分享,我找到Headliner這個軟體,
可以將音頻用一張圖片配上波形圖,製作簡單的影片。
我用了ipad打開網頁試試看,但是畢竟是平板,強制我下載APP,而APP是英文介面,還只能分享不能合成影片,試到這裡我決定放棄ipad,打開家裡多年的老主機一決勝負!
打開老主機嘗試播放檔案時卻沒有聲音,我這才想起音響似乎壞了,而老主機若是搖晃它就會自動關機,更糟還會開不起來,所以也沒辦法檢查音響的線~
就這樣我認真思考著,要不就先在沒辦法聽聲音的情況下先去合成影片,然後再用手機打開來聽聽看?
#真佩服我這麼隨機應變😂
要上傳YouTube還要做一張符合尺寸的圖片,
我使用Headliner內建的範本做了1個小時,發現字的顏色還是改不了後,我還是把canva打開來,兩三下排好一張新的圖,上傳到Headliner裡面,終於進階到合成影片的階段了,我真的超感動的!!
但是哪有這麼簡單就給我通過呢?
影片似乎要一個小時才會完成,就這樣我先放著去工作,中途再回來看看轉檔是否成功,結果轉檔失敗了,於是我不死心又重轉一次,然後又失敗,就這樣轉了5次還是沒成功後.......
我忽然體認到一點,當你在挑戰新的東西時遇到障礙的時候,你遇到的障礙不是告訴你做不到,而是為了「證明你對這件事情有多認真」
就這樣從昨晚凌晨1點弄到3點,又從早上到了晚上8點,我的影片依然沒做好,我感到沮喪和挫折而且在浪費時間。
但似乎又不是,只是告訴我,這條路行不通,我還有幾個想法,希望再試過後再看看能不能成功,總而言之繼續加油,希望第一集能夠順利上傳啦!
#ipad你壞壞
#pocdcast的酸甜苦辣
#文章合作請私訊三妍良語
#三妍良語的勵志實驗室
聲音 波形 軟體 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答
AI 將可快速分離人聲、各式樂器等音源,Facebook 開源 Demucs 計畫
作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |
音樂源分離,是利用技術將一首歌曲分解成它的組成成分,如人聲、低音和鼓,這和人類大腦的工作很類似,大腦可以將一個單獨的對話,從周圍的噪音和一屋子的人聊天中分離出來。
如果你擁有原始的錄音室多軌錄音,這很容易實現,你只需調整混音來分離一個音軌,但是,如果你從一個普通 MP3 檔案開始,所有的樂器和聲音都被混合到一個立體聲錄音中,即使是最複雜的軟體程式也很難精確地挑出一個部分。
Facebook AI 的研究人員已經開發了一個系統,可以做到這一點──精確度高得驚人。
創建者名叫亞歷山大‧笛福茲(Alexandre Defossez),是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs,這個名字來源於「音樂資源深度提取器」,其工作原理是檢測聲波中的複雜模式,對每種樂器或聲音的波形模式建立一個高層次的理解,然後利用人工智慧將它們巧妙地分離。
笛福茲說,像 Demucs 這樣的技術,不僅能幫助音樂家學習複雜的吉他即興重複段落,總有一天,它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說,他的目標是讓人工智慧系統擅長辨識音頻源的組成部分,就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。
分解聲波的更好方法
聲源分離長期以來一直吸引著科學家。1953 年,英國認知科學家科林‧切爾瑞(Colin Cherry)創造了「雞尾酒會效應」這個詞語,用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。
工程師們首先試圖透過調整立體聲錄音中的左右聲道,或調整均衡器設置來提高或降低某些頻率,進而隔離歌曲的人聲或吉他聲。
基於聲譜圖的人工智慧系統,在分離出以單一頻率響起或共振的樂器的音符方面相對有效,例如鋼琴或小提琴旋律。
這些旋律在聲譜圖上顯示為清晰、連續的水平線,但是隔離那些產生殘餘噪音的撞擊聲,比如鼓、低音拍擊,是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件,但它實際上包含了不同的部分。對於鼓來說,它包括覆蓋較高頻率範圍的初始撞擊,隨後是在較低頻率範圍內的無音高衰減。笛福茲說,一般的小鼓「就頻率而言,到處都是」。
聲譜圖只能將聲波表現為時間和頻率的組合,無法捕捉到這樣的細微差別。因此,他們將鼓點或拍子低音處理成幾條不連續的垂直線,而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道,聽起來常常是模糊不清的。
夠聰明的系統來重建缺失
基於人工智慧的波形模型避免了這些問題,因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋,波形模型的工作方式與電腦視覺相似,電腦視覺是人工智慧的研究領域,旨在讓電腦學會從數位圖像中辨識模式,進而獲得對視覺世界的高級理解。
電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」,笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後,它開始推斷更高比例的結構,以增加細微差別,並精細雕刻每個波形。
笛福茲說,他的系統也可以比做探測和記錄地震的地震儀。地震時,地動儀的底座會移動,但懸掛在上面的重物不會移動,這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震,然後推斷出每個地震的震級和強度的細節。同樣,笛福茲的系統分析並分離出一首歌曲的本來面目,而不是根據預先設定的聲譜圖結構來分割它。
笛福茲解釋,構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構,這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做,因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶,這種結構允許網路處理整個數據序列,如一段音樂或一段視頻,而不僅是一個數據點,如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。
這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net,比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛,引擎噪音會淹沒一個人的聲音」,笛福茲說。
以前的波形模型,透過簡單地移除原始音頻源文件的一部分來處理這個問題,但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力,「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻」,這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符,因為它理解應該呈現什麼樣的聲音。
這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說,Demucs 已經與最好的波形技術相匹配,並且「遠遠超出」最先進的聲譜技術。
在盲聽測試中,38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音,這 50 首曲目由 3 個模型分開:Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影(如背景噪音或失真)方面表現最佳。
Demucs 已經引起了人工智慧愛好者的興趣,精通技術的讀者可以從 GitHub 下載 Demucs 的代碼,代碼用 MusDB 數據集來分離音樂源。
笛福茲解釋,隨著 Demucs 的發展,它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器,通常需要對原始硬體進行大量的數位化改造。
想像一下,如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音,Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。
資料來源:https://technews.tw/2020/03/11/using-ai-for-music-source-separation/?fbclid=IwAR1C-0LhFNEkIFUg9QS3xRQK8VKeqKIkPEx9kh7QdGamcsCfUViwyeXyqXg
聲音 波形 軟體 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
AI 將可快速分離人聲、各式樂器等音源,Facebook 開源 Demucs 計畫
作者 雷鋒網 | 發布日期 2020 年 03 月 11 日 10:59 |
音樂源分離,是利用技術將一首歌曲分解成它的組成成分,如人聲、低音和鼓,這和人類大腦的工作很類似,大腦可以將一個單獨的對話,從周圍的噪音和一屋子的人聊天中分離出來。
如果你擁有原始的錄音室多軌錄音,這很容易實現,你只需調整混音來分離一個音軌,但是,如果你從一個普通 MP3 檔案開始,所有的樂器和聲音都被混合到一個立體聲錄音中,即使是最複雜的軟體程式也很難精確地挑出一個部分。
Facebook AI 的研究人員已經開發了一個系統,可以做到這一點──精確度高得驚人。
創建者名叫亞歷山大‧笛福茲(Alexandre Defossez),是 Facebook 人工智慧巴黎實驗室的科學家。笛福茲的系統被稱為 Demucs,這個名字來源於「音樂資源深度提取器」,其工作原理是檢測聲波中的複雜模式,對每種樂器或聲音的波形模式建立一個高層次的理解,然後利用人工智慧將它們巧妙地分離。
笛福茲說,像 Demucs 這樣的技術,不僅能幫助音樂家學習複雜的吉他即興重複段落,總有一天,它還能讓人工智慧助理在嘈雜的房間裡更容易聽到語音指令。笛福茲說,他的目標是讓人工智慧系統擅長辨識音頻源的組成部分,就像它們現在可以在一張照片中準確地區分不同的物體一樣。「我們在音頻方面還沒有達到同樣的水平。」他說。
分解聲波的更好方法
聲源分離長期以來一直吸引著科學家。1953 年,英國認知科學家科林‧切爾瑞(Colin Cherry)創造了「雞尾酒會效應」這個詞語,用來描述人類在擁擠嘈雜的房間裡專注於一次談話的能力。
工程師們首先試圖透過調整立體聲錄音中的左右聲道,或調整均衡器設置來提高或降低某些頻率,進而隔離歌曲的人聲或吉他聲。
基於聲譜圖的人工智慧系統,在分離出以單一頻率響起或共振的樂器的音符方面相對有效,例如鋼琴或小提琴旋律。
這些旋律在聲譜圖上顯示為清晰、連續的水平線,但是隔離那些產生殘餘噪音的撞擊聲,比如鼓、低音拍擊,是一項非常艱鉅的任務。鼓點感覺像一個單一的、即時的整體事件,但它實際上包含了不同的部分。對於鼓來說,它包括覆蓋較高頻率範圍的初始撞擊,隨後是在較低頻率範圍內的無音高衰減。笛福茲說,一般的小鼓「就頻率而言,到處都是」。
聲譜圖只能將聲波表現為時間和頻率的組合,無法捕捉到這樣的細微差別。因此,他們將鼓點或拍子低音處理成幾條不連續的垂直線,而不是一個整齊、無縫的聲音。這就是為什麼透過聲譜圖分離出來的鼓和低音軌道,聽起來常常是模糊不清的。
夠聰明的系統來重建缺失
基於人工智慧的波形模型避免了這些問題,因為它們不試圖將一首歌放到時間和頻率的僵化結構中。笛福茲解釋,波形模型的工作方式與電腦視覺相似,電腦視覺是人工智慧的研究領域,旨在讓電腦學會從數位圖像中辨識模式,進而獲得對視覺世界的高級理解。
電腦視覺使用神經網路來檢測基本模式──類似於在圖像中發現角落和邊緣──然後推斷更高級或更複雜的模式。「波形模型的工作方式非常相似」,笛福茲說。他解釋了波形模型如何需要幾秒鐘來適應歌曲中的突出頻率──人聲、低音、鼓或吉他──並為每一個元素生成單獨的波形。然後,它開始推斷更高比例的結構,以增加細微差別,並精細雕刻每個波形。
笛福茲說,他的系統也可以比做探測和記錄地震的地震儀。地震時,地動儀的底座會移動,但懸掛在上面的重物不會移動,這使得附著在重物上的筆可以畫出記錄地面運動的波形。人工智慧模型可以探測到同時發生的幾個不同地震,然後推斷出每個地震的震級和強度的細節。同樣,笛福茲的系統分析並分離出一首歌曲的本來面目,而不是根據預先設定的聲譜圖結構來分割它。
笛福茲解釋,構建這個系統需要克服一系列複雜的技術挑戰。他首先使用了 Wave-U-Net 的底層架構,這是一個為音樂源分離開發的早期人工智慧波形模型。然後他還有很多工作要做,因為聲譜圖模型的表現優於 Wave-U-Net。他透過添加線性單元來微調波形網路中分析模式的演算法參數。笛福茲還增加了長短期記憶,這種結構允許網路處理整個數據序列,如一段音樂或一段視頻,而不僅是一個數據點,如圖像。笛福茲還提高了 Wave-U-Net 的速度和記憶體使用率。
這些修改幫助 Demucs 在一些重要方面勝過 Wave-U-Net,比如它如何處理一種聲音壓倒另一種聲音的問題。「你可以想像一架飛機起飛,引擎噪音會淹沒一個人的聲音」,笛福茲說。
以前的波形模型,透過簡單地移除原始音頻源文件的一部分來處理這個問題,但是它們不能重建丟失材料的重要部分。笛福茲增強了 Demucs 解碼器的能力,「Demucs 可以重新創建它認為存在但卻迷失在混音中的音頻」,這意味著他的模型可以重新合成可能被響亮的鐃鈸聲影響而遺失的柔和鋼琴音符,因為它理解應該呈現什麼樣的聲音。
這種重構和分離的能力使 Demucs 比其他波形模型有優勢。笛福茲說,Demucs 已經與最好的波形技術相匹配,並且「遠遠超出」最先進的聲譜技術。
在盲聽測試中,38 名參與者從 50 首測試曲目中隨機抽取 8 秒鐘進行聽音,這 50 首曲目由 3 個模型分開:Demucs、領先波形、頻譜圖技術。聽眾認為 Demucs 在品質和無偽影(如背景噪音或失真)方面表現最佳。
Demucs 已經引起了人工智慧愛好者的興趣,精通技術的讀者可以從 GitHub 下載 Demucs 的代碼,代碼用 MusDB 數據集來分離音樂源。
笛福茲解釋,隨著 Demucs 的發展,它將為人們在家中創作音樂的數位音頻工作站帶來聲音的真實性。這些工作站提供了能夠喚起特定時代或風格的合成儀器,通常需要對原始硬體進行大量的數位化改造。
想像一下,如果音樂源分離技術能夠完美地捕捉 20 世紀 50 年代搖滾歌曲中用電子管放大器演奏的老式空心電吉他的聲音,Demucs 讓音樂愛好者和音樂家離這個能力更近了一步。
資料來源:https://technews.tw/…/using-ai-for-music-source-separation/…