Posts for: #Python

Qrcode

很久以前,日本公司發明的,開放的規格,在日本比較普及,可以用來存放資料,用軟體辨識,讓人不需輸入,比文字的辨識容易,精確性高,要了解更多,請看維基百科 http://zh.wikipedia.org/wiki/QR%E7%A2%BC


Python 可用的函式庫

http://libpanda.s18.xrea.com/qrcode.html


在 Django 下可以這樣用,已經有大大作好了

http://d.hatena.ne.jp/technolize/20071005/1191582133

為您找家找房子 Find You Home

在網路上,要看房子越來越方便了,但是,各家房仲公司的網頁介面不同,有些有地圖,有些沒有,不太方便,一個整合地圖網站,可以方便找房子的站,用 Debian, DjangoLighttpd,和一些 Google 提供的 API 就可以達到一致化的好處,還做了地址的正規化,提供看屋的平台,最重要的是,做了所有地區和路段的 RSS 訂閱,這應該是有使用 RSS 的一大福音,不過話說回來,大概在台灣還是只有學生族群,還有網路重度使用者會用 RSS,一般的上網人口可能只會用作業系統預裝的IE6,還不會下載 FireFox ,是我低估了台灣人嗎? :-)

http://home.digez.com/

A Memo for wxPython

這是作給自己看的筆記,怕以後自己都忘了,主要說明一個 windos 庫存軟體的開發我所用的工具

要注意的事,都是安裝 win32 的套件包

基本套件


Python2.5
http://www.python.org/

wxPython http://wxpython.org/

wxGlade http://wxglade.sourceforge.net/ 可以快速拖拉的方式產生視窗程式碼
PIL
http://www.pythonware.com/products/pil/

Django http://www.djangoproject.com/ ,拜託不要K我,我在 windows 裡也是用他的 ORM,除了,幾乎所有的 SQL 都可以作,如果嫌套件太大,可以把 locales 的目錄去掉,就很小了

IPython
http://ipython.scipy.org/moin/ ,必須加裝 pyreadline http://ipython.scipy.org/dist/ 這種 shell 方式的測試開發,算是特別的福利喔,好好珍惜,很好用的
pywin32 http://sourceforge.net/projects/pywin32/ ,可以用 COM 的方式來控制元件

ReportLab
http://www.reportlab.org/ ,可以用PDF來處理列印

reportlab 在 windows 下有一個很久沒有修的 bug,maillist 上也有人說,就是沒修正,記得 /reportlab/pdfbase/_cidfontdata.py line 137

‘MSung-Light’: (‘cht’, ‘UniGB-UCS2-H’)
改成
‘MSung-Light’: (‘cht’, ‘UniCNS-UCS2-H’)

生成安裝包

py2exe
http://www.py2exe.org/ 生成執行程式,0.6.6版有一點怪怪的 bug,也許是 windows 系統的問題,記得發行套件加入 MSVCP71.dll http://www.dll-files.com/dllindex/dll-files.shtml?msvcp71

NSIS
http://nsis.sourceforge.net/ ,可以用來作安裝包,好用



ORM and SQL

在有 Database 的應用裡,寫多了 SQL(Structure Query Language) 會覺得他是一種累贅,讓你的邏輯不斷的,在程式語言,及 SQL 之間轉換,所以後來,就有了,很流行的 Database ORM (Object Relational Mapper) 來幫助我們開發,一來,可以用相同的邏輯思考方式,用物件的方式,去對應資料庫的元件,一來,可以有資料庫的抽象層,對一個系統的開發有很大的助益,但是,如果,要寫的 code ,比一般的 SQL 還要複雜,還要隴長,你該怎麼作呢?

寫回去 SQL 嗎?還是就去適應這樣的物件對應方式?

這也許沒有一定的答案,不過,我來分享一下,我用 Django ORM 到目前所遇到的問題,和解決的方法,所以,裡面有一些是個人好惡的選擇

* 現在Unicode 的branch 還沒有 merge 到 truck 裡,如果用 wxPython unicode 的版本,自己要處理,string to unicode 及 unicode to string 的問題

* ManytoManyField 的欄位,Q object OR 沒有辦法套用,在 djangosnippets 有解決辦法,連結是 http://www.djangosnippets.org/tags/m2m/ 不過還是希望有官方的

* 目前如果是用 truk 的 Django, 用 groupu_by() 只能在對應該物件的 database table 裡分 group,無法使用別的欄位作 group_by 的條件,在別的 branch 有解決了,可是基於,愛乾淨不要混用,太多 branch 的原則,我是用 extra 的解法,算是走 SQL 的回頭路,不過, “GROUP BY” 在 SQL 也是標準的語法,不至於破壞了資料庫的抽象層,不過,如果有用 GROUP BY 的話,不可以混用 filter 的功能,不然,產生的 SQL 語法不對,我們要決定所有的 where 條件,第一個例子,是有 where 的 group by,第二個,是沒有 whehe 可是要強加 grouop by 在不同欄位,這樣就還可以在 DB 上只用一個 query,在 Django 上還是傳回 QuerySet 的作法,不過,這一個 QuerySet 不可以再用 filter 的方式,因為這樣會讓 group by 及 where 的位置錯了

範例1::

qset = Stock.objects.extra(select={’totalsum’:‘sum(volume)’},where=[“customer_id=’%s’ group by product_id” %(customerid)])


範例2::

qset = Stock.objects.extra(select={’totalsum’:‘sum(volume)’},where=[“1 group by product_id”])

以上,是目前,我遇到的一些限制,及解決辦法,也許對您有參考的價值,在 Desktop 的應用程式上, 如果,還有更複雜的的需求, SQLAlchemy 應該是不錯的選擇

.. -- mode: rst --

Django and MySQL

最近在做的東西,是用 MySQL (懶,已經有 MySQL了,不想再裝 PostgreSQL 了),在資料庫上預設用 UTF8 編碼,在 Django 上,如果 DATABASE_ENGINE = ‘mysql’,第一個 connection 都會下, SET NAMES utf8; 然後,之後的 Query 都會自己加 SET NAMES latin1; 大多時候,是正常,不過,有時是亂碼,奇怪就在,我把這一個有問題的結果,print 出來除錯時,螢幕是亂碼,可是在網頁上又可以變正常,真想掉眼淚

這種情形,一開始用 Sqlite 開發的時候,也沒有,所以開發環境,還是跟實際一模一樣比較好

真是很怪的情形,令我頭痛好幾個晚上,有點像是靈異現象了

不過還好試一下舊的mysql engine ,還可以用,而且不會有這種怪情形,他只有會在connection 時下, SET NAMES utf8; 之後的 Query 不會加 SET NAMES latin1

暫時用這一個好了,設定 settings.py 裡改成 DATABASE_ENGINE = ‘mysql_old’

作業環境,Debian_etch,python2.4.4,python-mysqldb-1.2.1-p2-4,mysql-server-5.0.32,Django svn 4866

.. -- mode: rst --

大老說話了

Guido 說,Django 是Web framework 的選擇,但是因為開發模式不同,並不會納入,標準的函式庫之中,會像是 PIL 或 NumPy 一樣的方式,同時也希望,Django 和 TurboGear 可以和在一起

聽到大老這樣說,打擊最大的應該是 TurbeGear 的起始開發者,Kevin Dangoor,不過,相信開發還是會繼續,不過,令人擔心的是,這樣也許,會引響使用者的成長,現在也只能看看以後的發展摟

順便,技一下目前的近況好了

Django

目前可以多個資料庫的版本快要 commit 了,然後有 json 的 serializer, 要加入,AJAX 的應用可以方便一點了

TurboGear

慢慢要換成是 SQLAlchemy 的 ORM,不過,FastData 還有 CatWalk 一時沒辦法追上

Django 的 admin 真的很方便,Cache 很好用,效能沒有話說,不過,目前自己整合 Javascript 的函式庫,還是比較麻煩一點點,TurboGear 則是 Widget 的部分好用,input,output 有加了一成資料格式的處理,方便直接與 Javascript 呼用,不過,目前 ORM 正在過度期,也連帶影響了其他的套件,不過還真希望,好用的東西互用,開發可以同心協力,不過,一直以來,現實與理想總是有些許的差距,不過,直得開心的是,都會向前走

連結

http://www.blueskyonmars.com/2006/08/19/there-cant-be-only-one/

http://pyre.third-bit.com/blog/archives/613.html

SQLAlchemy

最近,實在太久沒有 Blog 了

SQLAlchemy 定義比較繁瑣,不過,彈性似乎更大,作者說,比較像 Java 的 Hibernate, 也非常用力的維護,可以參考一下,以後,也許用的上,在 2006/04/03 後,開始,支援 MSSQL,這樣就蠻完整的了,SQLite, PostgreSQL, MySQL, Oracle, MSSQL 都支援了,大咖的剩下 DB2,不過我也沒用 :-)

MSSQL 的支援

SQLAlchemy

DjanGo and TurboGears

說真的要比較這兩個 Web FrameWork 的話,真是說來話長,不過基本上,都是是不錯的選擇,這兩個專案,都是由很強的開發者,所主導的,所以都很好啦,不需要爭那一個比較好啦,就像是世界上的 Web Framework, 不會永遠只有 Java, dot NET,PHP, Ruby, Zope 或是 Perl, 每一個工具都有適合的地方啦,重點是我們能掌握多少,活用多少

基本上對於這兩個的比較,真的是很難有誰勝誰優的

這可以分成好幾個部份

URL mapping


DjanGo 是用像 Regular Expression 的方式作 mapping,速度很快,也有很大的彈性, 熟 Regular Expression 的人,該知道他的彈性,喜歡 Regular Expression 的人,就可以選它。

TurboGears 是用 CherryPy 的關係,他的 mapping 像是 python 物件一樣,把 class 或是 參數 mapping 到 url上

Database Mapping


DjanGo 自己有一套資料庫對應的 API,用起來已經夠用的,提供的不管是欄位對應,或是資料表的關係對應,都足敷一般的使用。

TurboGears 他則是採用 SQLObject 這一個模組,已經是相當成熟的模組,對應的方式,更像是真實 Python 物件。

Template System


DjanGo 有自己的一套 template 系統,也可以選用 ZPT 的方式

TurboGears 則是選用 Kid,不過已經有 Cheetah,也可以用 Buffet 支援的 template,現在有 CherryTemplate,Kid,Myghty,Python 2.4 String Templates,XSLT 等

Cache System


在 Cache 上,是 DjanGo 的方式比較成熟,功能比較強,TurboGears 則是仰賴, CherryPy,SQLObject,及採用範本系統的 Cache 機制。

Scalability


兩者的可延伸性,都很好,在 Apache 下可以用 mod_python,也可不用 Apache 改用 LightTPD ,來提昇效能。

其實很多的部份都是個人的選擇,和喜好,所以很難說那一個比較好,當然 DjanGo 比較成熟,對於初學者或是有經驗的人都是比較好的選擇,也提供一個很穩定的架構,API 也不會有很大的變動,文件比較齊全,非常有系統的架構,我想應該是很好的選擇,不用擔心以後要不要改的問題。

所以真的是看個性,我自己,因為都不排斥新的架構,也不太擔心那一個會是終極的解決方案,更不相信廠商說得,永遠只有他們提供的架構最好,純粹,以個人的喜好,我比較喜歡,TurboGears,因為 CherryPy 物件方式的 Controller 我比較不會出錯,比較有系統,SQLObject 非常直覺,已經非常像真實的物件了,CherryPy 支援的 template 系統很多,以後要加,應該更有彈性,也有我喜歡的,ClearSilver,可以有 C 的終極效能,還有已經要和 Subway 合併了,在 SVN 中的進步更是飛快,不過多是整合好的模組,或是,加強,TurboGears 自身的工具,在他的 tg-admin shell 裡,也是直接用 ipython,都是原本就很方便的工具,很快的也有權限及群組的功能,在 toolbox 裡,已經可以自動有管理的介面, Model Viewer,i18n tool set (在 DjanGo 中 i18n 也有好的解決方法),還有還在討論的元件,這些都是很令人感興趣的。

開發的方法方面,每個人的想法會不同,有時候,都整合好的套件好用,我自身則是喜歡 TurboGears 的哲學,把一些已經很成熟功能強大的套件整合,這樣的好處,可以將不同的模組運用在不同的地方,不一定是 Web 的 AP,像是 SQLObject 就可以不管是 web base 或 form base 的應用裡,一旦 API 運用自如,很快就可以上手,如果以後對,TurboGears 不爽,可以直接由 CherryPy 這一層開始,如果,不喜歡SQLObjetc,想要跳槽,也可以,因為他們原本就是分開的,再來就是 OpenSource 的哲學之一,就是 Reuse,我們顧好自己的應用,如果發現採用的套件有 Bug, 將 Bug回報,讓別人幫我們維護我們也需要的部份,所以我覺得 TurboGears 的開發者在方法上,和我比較接近,說起來真賊,不過確是對大家都有易的,雖然,整個完整的方案像是 DjanGo,可以有集中的管理,和發展,但是對我來說,我用 TurboGears 只是再用原本就有在用的工具而已 (SQLObject,iPython…)。其實我相信,以後這兩個 Framework 會互相學習彼此的優點,所以都不錯啦。

聽再多,都比不上,你自己實做一下,自己感受一下吧 :-)

TurboGears

在 Python 的 Web FrameWork 真的是多到,令人嘆為觀止,不過應該還跟 Java 沒得比,這是好處也是壞處,好處是選擇多了,壞處是力量分散了,還有很多人還真不知道如何選,像是學 Java 的,FrameWork 可能會有很多人看到吐血,太多的文件,以及規範了,這就是為何? Ruby on Rail 會如此成功的原因之一,因為在 Ruby 上,這是一條最大的路,大多數的人也不需要作選擇,沒有的功能,就是加強她,或是整合進去,不像,其他的解決方案,反而有太多的選擇,而分散了力量,徒增加太多的開發時間,TurboGears 的主要開發者 Kevin Dangoor ,希望的是,他可以整合一個的最好的開發方法,不必再讓別人煩惱要選那一個,他說了兩點 : “best-of-breed”,“one way to do it”,但也有提到,雖然希望是這樣,不過保有可以用不同方法的可能,在最新的 mail list 裡甚至有討論到和 Subway 合併在一起的可能性,不是以後有免費的潛艇堡可以吃,這是另一個 Python 的 Web Framework。

實際用的感想,我只能說,把所有相當成熟的模組,合在一起用的感覺真好,在不同的地方也都用的上,看一次 API 後,都可以受用,像是 SQLObject 也有整合在一個 Zope 3 的一個專案中, sqlos 的產品當中,CherryPy 更是成熟的 Web Framework ,也可以用多種的範本系統,彈性也相當大,只是 TurboGears 只加入 Kid ,有用過 Zope zpt 的朋友應該會感覺很熟悉,應該馬上就可以上手,不過要換,也不是難事,畢竟基本的架構是用 cherrypy ,他支援的 template 就很多了,Cheetah,或是 ClearSilver 都有,不過在 TurboGears 要在自己掛進來,也要自己維護,我還是懶一點,用 Kid 就好,還有整合一個輕量的 javascript 的函式庫 MochiKit ,讓你想作 Ajax 的網頁時,可以輕鬆些。

如果你的系統不會用到 ftp,webdav,也不需要複雜的權限管理,老闆,或是經理要求一定要他們聽過的 Database 不能是 ZODB,或是原本後端就是在 SQL 的環境,那就非常建議,你們的 Web Ap 可以考慮一下了,很快的她就會釋出 0.9 ,及 1.0 stable ,所以到時候就可以真正開發一些應用了 ~~~~

cherrypy 讓你的 web framework 可以直接映射到你的 python 物件上

sqlobject 讓你,不用寫一大堆的 SQL query,table,join 來 join 去,定義好資料型態,還有對應關係,就可以了 ,對付一般的 SQL 情形來說,應該游刃有餘,只要處理一些特殊的部份就好

Mochiki 如果想要用 javascript,讓你有一個現成式庫去擴充

Kid 範本系統,這是將邏輯,和視覺呈現分開的必備工具

上面這些都發揮作用以後,想想,真正的程式可能真的很短了,奸笑中 …… 沒有美術天份的我如果不需要自己蠻幹範本的話,就更美好了~~~

還有很多太細了,還有興趣的朋友,就自己再看了 :-),那個短片教學也很不錯,不過,還是文件內容比較新 :-)

TurboGears 網站 http://turbogears.org/

“Kevin Dangoor” 的 blog http://www.blueskyonmars.com/

Planet Turbogears http://planet.turbogears.org/

Zope 下的內容管理系統


CMS (Content Management System)


Zope 一用好幾年了,現在已經有好幾套內容管理系統可用,有時會讓很多人不知道如何選用

Zope 的 CMS 大多是基於 CMF 的框架上,再繼續發展,所以有一定的相依性,不過這是好也是不好,Zope 和 CMF 是不同的專案,這樣增加了彈性,不過卻也讓新版的 CMF 永遠必須比 Zope 慢,像這一次 Zope3 是比較大的改版,CMF 要好一陣子才能跟上來,對專案的開發不利,比如說你的專案是相依在 CMF 上,那就算是 Zope3 出來了,你可能還要苦等 CMF Zope3 的版本很久,如果您的專案是相依 CMF 及 Plone 的話,那你可能要等更久,這都是讓開發人員不喜歡的,可能以前作過的都要重新作了。就像是 Zope3 出來到現在,不知道要多久,她的 Product 及成熟度才可以和 Zope2 相同。

好吧開始說 CMS 了

Plone 算是在台灣最有名的,不過從 2.1 的版本後,他的內容就都是用 Archetype 了,不再是 CMF 的內容元件了,也就是說以後相依性,要加 Archetype ,而且在升級時,如果自己裝了很多的產品,或是客製太多的內容,都會造成一定的難度,要自己 patch 升級的程式,這對不是開發人員的使用者來說是個難題。

CPS 網頁的內管理系統,架構於 Zope 與 CMF 上,適合於內容網站,或是企業內部或是外部的站台

Silva 也是一個內容管理系統,內容均以 XML 的格式儲存

CPS 和 Silva 應該都是基於 CMF 比較多的,但是目前中文的支援都比較不好

感言


效能還是蠻重要的,好像目前在大型的站台的運用,除了 Cache 還是 Cache,這對一些個人化的服務是一個缺點,一旦沒有太多的經費加伺服器,然後線上人數很多時,在沒有 Cache 的狀態,反應時間有一點點難過。

Zope 的發展,到了 Zope3 真的是變很多,如果各家 CMS 的產品也都可以共用不知道有多好,要是可以集合各家的專長和力量,一定可以做出更可怕的東西。

不過以 Plone 為基礎來開發,已經是很強的系統了,讓使用者有很多不同的體驗,也有許多其他的架構所沒有的優勢及彈性,在介面上 web,webdav,ftp,plonedesktop 還有 external editor 都是很好用的,這樣的內容管理系統也是很夠用了,不過還是希望可以再進步。